Skalerbarhet av Dell Ready Solutions for HPC BeeGFS Storage

Slik skalerer du Dell BeeGFS-lagringsløsningen med høy ytelse når det gjelder kapasitet eller ytelse eller begge deler.

Se informasjon i delen Resolution (Løsning).

Innholdsfortegnelse

1. Innledning
2. Grunnleggende konfigurasjoner
3. Beregning av beeGFS brukbar plass
4. Skalerbare konfigurasjoner
5. Ytelsestegning
6. Konklusjon og fremtidig arbeid
    

---

Innledning

Denne bloggen drøfter skalerbarheten til Dell EMC Ready Solutions for HPC BeeGFS Storage , som nylig ble annonsert.  BeeGFS-arkitektur består av fire hovedtjenester, administrasjonstjenesten, metadatatjenesten, lagringstjenesten og klienttjenesten. Det er mulig å kjøre en hvilken som helst kombinasjon av disse fire hovedtjenestene, inkludert alle disse, på samme server, fordi rollene og maskinvaren ikke er tett integrert når det gjelder BeeGFS.  I en hyperkonvergerende løsning kjører alle fire tjenestene på samme server. Denne konfigurasjonen anbefales ikke for ytelseskritiske miljøer fordi klientapplikasjoner vanligvis bruker ressurser som kan påvirke ytelsen til lagringstjenestene. Dell EMC-løsningen bruker dedikerte lagringsservere og en metadata og lagringsserver med to formål for å gi en skalerbar lagringsløsning med høy ytelse. Det er mulig å skalere systemet ved å legge til flere lagringsservere i et eksisterende system. I denne bloggen vil vi presentere konfigurasjoner med ulike antall lagringsservere og ytelsen som kan forventes med disse konfigurasjonene.

---

Grunnleggende konfigurasjoner

BeeGFS-lagringsløsningen, som er utformet for å gi et filsystem med høy ytelse, bruker følgende maskinvarekomponenter:

• Administrasjonsserver
  • R640, Dual Intel Xeon Gold 5218 2,3 GHz, 16 kjerner, 96 GB (12 x 8 GB 2666 MT/s RDIMM-er), 6 x 15 000 GB SAS, H740P
• Metadata- og lagringsservere
  • R740xd, 2 x Intel Xeon Platinum 8268 CPU ved 2,90 GHz, 24 kjerner, 384 GB (12 x 32 GB 2933 MT/s RDIMM-er)
  • BOSS-kort med 2 x 240 GB M.2 SATA SSD-disker i RAID 1 for OS
  • 24x, Intel 1.6TB, NVMe, blandet bruk Express Flash, 2,5 SFF-stasjoner, programvare-RAID

Administrasjonsserveren kjører BeeGFS-overvåkingstjenesten. Metadataserveren bruker de 12 diskene i NUMA 0-sonen til å være vert for MdT-er (MetaData Targets), mens de resterende 12 diskene i NUMA 1-sonen er vert for lagringsmålene (STS). En dedikert metadataserver brukes ikke fordi kravene til lagringskapasitet for BeeGFS-metadata er svært små. Mål og tjenester for metadata og lagring er isolert på separate NUMA-noder, slik at en betydelig adskillelse av arbeidsbelastninger etableres. Lagringsserverne som brukes i konfigurasjonen, har tre lagringstjenester som kjører per NUMA-sone, seks totalt per server. Hvis du vil ha mer informasjon, kan du se kunngjøringsbloggen. Figur 1 viser de to grunnleggende konfigurasjonene som er testet og validert ved Dell EMC HPC and AI Innovation Lab.

Figur 1: Grunnleggende konfigurasjoner

Den lille konfigurasjonen består av tre R740xd-servere. Den har totalt 15 lagringsmål. Den mellomstore konfigurasjonen har 6xR740xd-servere og har totalt 33 lagringsmål. Brukeren kan starte med en "liten" konfigurasjon eller med "Medium"-konfigurasjonen og kan legge til lagrings- eller metadataservere etter behov for å øke lagringsplassen og den generelle ytelsen, eller antall filer og metadataytelse, henholdsvis. Tabell 1 viser ytelsesdata for de grunnleggende konfigurasjonene som er testet og godkjent i stor grad ved Dell EMC HPC and AI Innovation Lab.

Tabell 1: Informasjon om kapasitet og ytelse for basiskonfigurasjoner

 

---

Beregning av beeGFS brukbar plass

Estimert brukbar plass beregnes i TiB (siden de fleste verktøy viser brukbar plass i binære enheter) ved hjelp av følgende formel:

BeeGFS brukerbar plass i TiB= (0,99* antall stasjoner* størrelse i TB * (10^12/2^40)

I form av det ovennevnte er 0,99 faktoren som ble levert ved å anta at det er en 1 % overhead fra filsystemet.  For ankomst av antall stasjoner for lagring er 12 disker fra MDS også inkludert. Dette er fordi i MDS brukes de 12 diskene i NUMA-sone 0 for metadata, og de 12 diskene i NUMA-sone 1 brukes til lagring. Den siste faktoren i utformingen 10^12/2^40 er å konvertere den brukbare plassen fra TB til TiB.

---

Skalerbare konfigurasjoner

BeeGFS-lagringsløsningen med høy ytelse er utformet for å være fleksibel, og den kan enkelt og sømløst skalere ytelse og/eller kapasitet ved å legge til flere servere som vist nedenfor:

Tabell 2: Informasjon om kapasitet og ytelse for skalerte konfigurasjoner

 

---

Ytelsestegning

Ytelsen til de ulike konfigurasjonene ble testet ved å opprette lagringsutvalg. Den lille konfigurasjonen har 15 lagringsmål, og hver ekstra lagringsserver legger til ytterligere seks lagringsmål. For å teste ytelsen til de ulike konfigurasjonene ble lagringsutvalg opprettet fra 15 til 39 lagringsmål (trinn på seks for små, små+1, små+2, middels, middels+1). For hvert av disse utvalgene ble tre gjentakelser av iozone-ytelsestest kjørt, hver med én til 1024 tråder (i to trinns krefter). Testmetoden som er tatt i bruk, er den samme som den som er beskrevet i kunngjøringsbloggen . Figur 3 og 4 viser skrive- og leseytelsen til de skalerbare konfigurasjonene, med topp ytelse for hver av konfigurasjonene uthevet for klar referanse:


 
Figur 3:  Skriveytelse for skalerbare konfigurasjoner


figur 4:  Les ytelsen til skalerbare konfigurasjoner

Merk:

Lagringsutvalget som det refereres til, ble bare opprettet med det eksplisitte formålet å kjennetegne ytelsen til ulike konfigurasjoner.  Mens du utfører ytelsesevalueringen av den mellomstore konfigurasjonen som er beskrevet i kunngjøringsbloggen, var alle de 33 målene bare i standardutvalget. Utdataene fra beegfs-ctl --liststoragepools-kommandoen som er angitt nedenfor, viser tildelingen av lagringsmålene:

# beegfs-ctl --liststoragepools
Pool ID Pool Description Targets Azur Groups
======= ================== ============================ ============================
1 Standard 1,2,3,4,5,6,7,8,9,10,11,12,
                                                 13,14,15,16,17,18,19,20,21,
22,23,24,25,26,27,28,29,30,
31,32,33  

---

Konklusjon og fremtidig arbeid

Denne bloggen drøftet skalerbarheten til Dell EMC Ready Solutions for HPC BeeGFS Storage og fremhevet ytelsen for sekvensiell lese- og skrivegjennomstrømming for ulike konfigurasjoner. Følg med på del 3 i denne bloggserien som drøfter flere funksjoner i BeeGFS, og som vil fremheve bruken av "StorageBench", den innebygde lagringsmål-benchmarken for BeeGFS. Som en del av de neste trinnene vil vi publisere en rapport senere med metadataytelsen, IOR N-1-ytelsesevalueringen og med ytterligere informasjon om designhensyn, justering og konfigurasjon. 

Referanser

[1] Dell EMC Ready Solutions for HPC BeeGFS Storage:  
https://www.dell.com/support/article/sln319381/[2] BeeGFS-dokumentasjon: 
https://www.beegfs.io/wiki/[3] Slik kobler du sammen to grensesnitt på samme delnett: 
https://access.redhat.com/solutions/30564[4] PCI Express Direct Memory Access Reference Design ved hjelp av eksternt minne: https://www.intel.com/content/www/us/en/programmable/documentation/nik1412547570040.html#nik1412547565760