Skalbarhet för Dell-färdiga lösningar för lagring med HPC BeeGFS

Hur skalar man lagringslösningen Dell BeeGFS med hög prestanda när det gäller kapacitet eller prestanda eller både och?

Se information i avsnittet Lösning.

Innehållsförteckning

1. Introduktion
2. Baskonfigurationer
3. BeeGFS beräkning av användbart utrymme
4. Skalbara konfigurationer
5. Prestanda karakterisering
6. Sammanfattning och framtida arbete
    

---

Introduktion

Den här bloggen beskriver skalbarheten för Dell EMC Ready-lösningar för HPC BeeGFS-lagring som nyligen tillkännagavs.  BeeGFS-arkitekturen består av fyra huvudtjänster, hanteringstjänsten, metadatatjänsten, lagringstjänsten och klienttjänsten. Det är möjligt att köra någon kombination av dessa fyra huvudtjänster, inklusive alla, på samma server, eftersom rollerna och maskinvaran inte är ordentligt integrerade när det gäller BeeGFS.  I en "hyperkonvergerad lösning" körs alla fyra tjänsterna på samma server. Den här konfigurationen rekommenderas inte för prestandakritiska miljöer eftersom klientprogram vanligtvis använder resurser som kan påverka lagringstjänsternas prestanda. Dell EMC-lösningen använder dedikerade lagringsservrar och en metadata- och lagringsserver med dubbla syften för att tillhandahålla en högpresterande och skalbar lagringslösning. Det är möjligt att skala systemet genom att lägga till ytterligare lagringsservrar till ett befintligt system. I den här bloggen kommer vi att presentera konfigurationer med olika antal lagringsservrar och den prestanda som kan förväntas med dessa konfigurationer.

---

Baskonfigurationer

BeeGFS-lagringslösningen, som är utformad för att tillhandahålla ett högpresterande scratch-filsystem, använder följande maskinvarukomponenter:

• Hanteringsserver
  • R640, dubbla Intel Xeon Gold 5218 2,3 GHz, 16 kärnor, 96 GB (12x 8 GB 2 666 MT/s RDIMM), 6 × 15 000 RPM 300 GB SAS, H740P
• Metadata och lagringsservrar
  • R740xd, 2x Intel Xeon Platinum 8268-processor vid 2,90 GHz, 24 kärnor, 384 GB (12x 32 GB 2 933 MT/s RDIMM-moduler)
  • BOSS-kort med 2 × 240 GB M.2 SATA SSD-hårddiskar i RAID 1 för operativsystem
  • 24x, Intel 1,6 TB, NVMe, Express Flash med blandad användning, 2,5 SFF-enheter, programvaru-RAID

Hanteringsservern kör övervakningstjänsten BeeGFS. Metadataservern använder de 12 enheterna i NUMA 0-zonen för att vara värd för MetaData-mål (MDT). Medan de återstående 12 enheterna i NUMA 1-zonen är värdar för lagringsmålen (STs). En dedikerad metadataserver används inte eftersom lagringskapacitetskraven för BeeGFS-metadata är mycket små. Metadata- och lagringsmål och -tjänster isoleras på separata NUMA-noder så att en betydande separation mellan arbetsbelastningar etableras. De lagringsservrar som används i konfigurationen har tre lagringstjänster som körs per NUMA-zon, sex totalt per server. Mer information finns i tillkännagivandebloggen. Bild 1 visar de två baskonfigurationer som har testats och validerats vid Dell EMC HPC and AI Innovation Lab.

Bild 1: Baskonfigurationer

Den lilla konfigurationen består av tre R740xd-servrar. Den har totalt 15 lagringsmål. Den medelstora konfigurationen har 6xR740xd-servrar och har totalt 33 lagringsmål. Användaren kan börja med en "liten" konfiguration eller med "Medel"-konfigurationen och kan lägga till lagrings- eller metadataservrar efter behov för att öka lagringsutrymmet och övergripande prestanda, eller antalet filer och metadataprestanda. Tabell 1 visar prestandadata för de baskonfigurationer som har testats och validerats utförligt i Dell EMC HPC and AI Innovation Lab.

Tabell 1: Information om kapacitet och prestanda i baskonfigurationer

 

---

BeeGFS beräkning av användbart utrymme

Beräknat användbart utrymme beräknas i TiB (eftersom de flesta verktyg visar användbart utrymme i binära enheter) med hjälp av följande formel:

BeeGFS Användbart utrymme i TiB= (0,99* # enheter* storlek i TB * (10^12/2^40)

I ovanstående formel är 0.99 den faktor som kom genom att försiktigt anta att det finns 1 % extra kostnader från filsystemet.  Vid ankomst till antalet enheter för lagring ingår även 12 enheter från MDS. Det beror på att de 12 enheterna i NUMA-zon 0 i MDS används för metadata och att de 12 enheterna i NUMA-zonen 1 används för lagring. Den sista faktorn i formeln 10^12/2^40 är att konvertera det användbara utrymmet från TB till TiB.

---

Skalbara konfigurationer

BeeGFS högpresterande lagringslösning har utformats för att vara flexibel och du kan enkelt och smidigt skala prestanda och/eller kapacitet genom att lägga till ytterligare servrar enligt nedan:

Tabell 2: Kapacitets- och prestandainformation om skalade konfigurationer

 

---

Prestanda karakterisering

Prestandan hos de olika konfigurationerna har testats genom att lagringspooler skapas. Den lilla konfigurationen har 15 lagringsmål och varje extra lagringsserver lägger till ytterligare sex lagringsmål. I syfte att testa prestandan hos de olika konfigurationerna skapades lagringspooler från 15 till 39 lagringsmål (steg om sex för små, små+ 1, små+ 2, medel, medel+1). För var och en av dessa pooler kördes tre iterationer av iozone-prestandatestet, var och en med en till 1 024 trådar (med två steg). Den testmetod som använts är densamma som den som beskrivs i tillkännagivandebloggen . Bilderna 3 och 4 visar skriv- och läsprestanda för de skalbara konfigurationerna, med maximal prestanda för var och en av konfigurationerna markerade för klar referens:


 
Bild 3:  Skrivprestanda för skalbara konfigurationer


, bild 4:  Läs prestanda för skalbara konfigurationer

Obs!

Lagringspoolen som hänvisas till skapades endast i det uttryckliga syftet att karakterisera prestanda för olika konfigurationer.  När prestandautvärderingen av den medelstora konfigurationen som beskrivs i tillkännagivandebloggen utfördes fanns alla 33 mål endast i standardpoolen. Utdata för kommandot beegfs-ctl --liststoragepools som anges nedan visar tilldelningen av lagringsmålen:

# beegfs-ctl --liststoragepools
Pool ID Pool Description Targets Avbildningsgrupper
======= ================== ============================ ============================
1 standard 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12,
                                                 13, 14, 15, 16, 17, 18, 19, 20, 21, 22,
23, 24, 25, 26, 27, 28, 29, 30, 31,
32, 33  

---

Sammanfattning och framtida arbete

I den här bloggen diskuteras skalbarheten för Dell EMC Ready-lösningar för HPC BeeGFS-lagring och markerade prestanda för sekventiell läs- och skrivgenomströmning för olika konfigurationer. Mer information om del 3 i denna bloggserie kommer att diskuteras ytterligare funktioner i BeeGFS och belyser användningen av "StorageBench", det inbyggda prestandatestet för lagringsmål för BeeGFS. Som en del av nästa steg kommer vi att publicera ett informationsdokument senare med metadataprestanda, IOR N-1-prestandautvärdering och med ytterligare information om designöverväganden, justering och konfiguration. 

Referenser

[1] Dell EMC-färdiga lösningar för lagring med HPC BeeGFS:  
https://www.dell.com/support/article/sln319381/[2] BeeGFS-dokumentation: 
https://www.beegfs.io/wiki/[3] Så här ansluter du två gränssnitt i samma delnät: 
https://access.redhat.com/solutions/30564[4] Referensdesign för PCI Express Direct Memory Access med externt minne: https://www.intel.com/content/www/us/en/programmable/documentation/nik1412547570040.html#nik1412547565760