Schaalbaarheid van Dell Ready oplossingen voor HPC BeeGFS storage

Hoe schaal ik de Dell BeeGFS High Performance Storage Solution op het gebied van capaciteit of prestaties of beide?

Zie de informatie in het gedeelte Oplossing.

Inhoudsopgave

1. Inleiding
2. Basisconfiguraties
3. Berekening van bruikbare ruimte voor BeeGFS
4. Schaalbare configuraties
5. Prestatiepersonalisatie
6. Afronding en toekomstig werk
    

---

Inleiding

Deze blog behandelt de schaalbaarheid van Dell EMC Ready oplossingen voor HPC BeeGFS Storage die onlangs zijn aangekondigd.  De BeeGFS-architectuur bestaat uit vier hoofdservices, de beheerservice, metadataservice, storageservice en clientservice. Het is mogelijk om elke combinatie van deze vier hoofdservices, inclusief alle, uit te voeren op dezelfde server, omdat de rollen en de hardware niet nauw zijn geïntegreerd in het geval van BeeGFS.  In een "Hyper Converged Solution" worden alle vier de services op dezelfde server uitgevoerd. Deze configuratie wordt niet aanbevolen voor prestatiekritische omgevingen, omdat clientapplicaties meestal bronnen gebruiken die van invloed kunnen zijn op de prestaties van de storageservices. De Dell EMC oplossing maakt gebruik van speciale storageservers en dubbele metadata en storageservers om een krachtige, schaalbare storageoplossing te bieden. Het is mogelijk om het systeem te schalen door extra storageservers toe te voegen aan een bestaand systeem. In deze blog presenteren we configuraties met verschillende aantallen storageservers en de prestaties die met deze configuraties kunnen worden verwacht.

---

Basisconfiguraties

De BeeGFS Storage Solution, die is ontworpen om een krachtig scratchbestandssysteem te bieden, maakt gebruik van de volgende hardwarecomponenten:

• Beheerserver
  • R640, Dubbele Intel Xeon Gold 5218 2,3 GHz, 16 cores, 96 GB (12 x 8 GB 2666 MT/s RDIMM's), 6 x 15.000 rpm 300 GB SAS, H740P
• Metadata- en storageservers
  • R740xd, 2x Intel Xeon Platinum 8268 CPU bij 2,90 GHz, 24 cores, 384 GB (12 x 32 GB 2933 MT/s RDIMM's)
  • BOSS-kaart met 2 x 240 GB M.2 SATA SSD's in RAID 1 voor os
  • 24x, Intel 1,6 TB, NVMe, Mixed Use Express Flash, 2,5 SFF-schijven, Software RAID

De beheerserver voert de BeeGFS-bewakingsservice uit. De metadataserver gebruikt de 12 schijven in de NUMA 0-zone om de MetaData-doelen (MDT's) te hosten, terwijl de resterende 12 schijven in de NUMA 1-zone de Storage Targets (ST's) hosten. Er wordt geen speciale metadataserver gebruikt omdat de storagecapaciteitsvereisten voor BeeGFS-metadata zeer klein zijn. De metadata en storagedoelen en -services zijn geïsoleerd op afzonderlijke NUMA-knooppunten, zodat een aanzienlijke scheiding van workloads tot stand wordt gebracht. De storageservers die in de configuratie worden gebruikt, hebben drie storageservices die worden uitgevoerd per NUMA-zone, zes in totaal per server. Raadpleeg voor meer informatie de aankondigingsblog. Afbeelding 1 toont de twee basisconfiguraties die zijn getest en gevalideerd in het Dell EMC HPC en AI Innovation Lab.

Afbeelding 1: Basisconfiguraties

De kleine configuratie bestaat uit drie R740xd servers. Het heeft in totaal 15 storagedoelen. De middelgrote configuratie heeft 6xR740xd servers en heeft in totaal 33 storagedoelen. De gebruiker kan beginnen met een "kleine" configuratie of met de "gemiddelde" configuratie en kan indien nodig storage- of metadataservers toevoegen om de storageruimte en algehele prestaties of het aantal bestanden en metadataprestaties te verhogen. Tabel 1 toont de prestatiedata voor de basisconfiguraties die uitgebreid zijn getest en gevalideerd in het Dell EMC HPC en AI Innovation Lab.

Tabel 1: Capaciteits- en prestatiegegevens van basisconfiguraties

 

---

Berekening van bruikbare ruimte voor BeeGFS

Geschatte bruikbare ruimte wordt berekend in TiB (omdat de meeste tools bruikbare ruimte in binaire eenheden weergeven) met behulp van de volgende formule:

BeeGFS bruikbare ruimte in TiB= (0,99* aantal schijven* grootte in TB * (10^12/2^40)

In de bovenstaande formule is 0,99 de factor die wordt bereikt door conservatief aan te nemen dat er een overhead van 1% van het bestandssysteem is.  Voor het bereiken van het aantal schijven voor storage zijn ook 12 schijven van de MDS inbegrepen. Dit komt doordat in de MDS de 12 schijven in NUMA-zone 0 worden gebruikt voor metadata en de 12 schijven in de NUMA-zone 1 worden gebruikt voor storage. De laatste factor in de formule 10^12/2^40 is het converteren van de bruikbare ruimte van TB naar TiB.

---

Schaalbare configuraties

De BeeGFS High Performance Storage Solution is ontworpen om flexibel te zijn en u kunt de prestaties en/of capaciteit eenvoudig en naadloos schalen door extra servers toe te voegen, zoals hieronder wordt weergegeven:

Tabel 2: Capaciteits- en prestatiegegevens van geschaalde configuraties

 

---

Prestatiepersonalisatie

De prestaties van de verschillende configuraties zijn getest door storagegroepen te maken. De kleine configuratie heeft 15 storagedoelen en elke extra storageserver voegt nog eens zes storagedoelen toe. Om de prestaties van de verschillende configuraties te testen, zijn daarom storagegroepen gemaakt van 15 tot 39 storagedoelen (stappen van zes voor klein, klein+1, klein+2, gemiddeld, gemiddeld+1). Voor elk van deze pools werden drie iteraties van iozone-benchmark uitgevoerd, elk met één tot 1024 threads (in twee stappen). De gebruikte testmethodiek is hetzelfde als die in de aankondigingsblog wordt beschreven. Afbeelding 3 en 4 tonen respectievelijk de schrijf- en leesprestaties van de schaalbare configuraties, met de piekprestaties van elk van de configuratie gemarkeerd voor kant-en-klare referentie:


 
Afbeelding 3:  Schrijfprestaties van schaalbare configuraties


Afbeelding 4:  Lees de prestaties van schaalbare configuraties

Opmerking:

De storagepool waarnaar wordt verwezen, is alleen gemaakt voor het expliciete doel om de prestaties van verschillende configuraties te karakteriseren.  Tijdens het uitvoeren van de prestatie-evaluatie van de mediumconfiguratie die wordt beschreven in de aankondigingsblog, bevonden alle 33 doelen zich alleen in de 'standaardgroep'. De uitvoer van de opdracht beegfs-ctl --liststoragepools die hieronder wordt gegeven, toont de toewijzing van de storagedoelen:

# beegfs-ctl --liststoragepools
Pool ID Pool Description TargetsMaatgroepen
======= ================== ============================ ============================
1 standaard 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12,
                                                 13,14,15,16,17,18,19,20,21,
22,23,24,25,26,27,28,29,30,
31,32,33  

---

Afronding en toekomstig werk

Deze blog bespreekt de schaalbaarheid van Dell EMC Ready oplossingen voor HPC BeeGFS Storage en belichtte de prestaties voor sequentiële lees- en schrijfdoorvoer voor verschillende configuraties. Blijf op de hoogte van deel 3 van deze blogserie waarin de extra functies van BeeGFS worden besproken en waarin het gebruik van "StorageBench" wordt benadrukt, de ingebouwde storagedoelenbenchmark van BeeGFS. Als onderdeel van de volgende stappen publiceren we later een whitepaper met de metadataprestaties, IOR N-1 prestatie-evaluatie en met aanvullende details over ontwerpoverwegingen, afstemming en configuratie. 

Verwijzingen

[1] Dell EMC Ready oplossingen voor HPC BeeGFS Storage:  
https://www.dell.com/support/article/sln319381/[2] BeeGFS documentatie: 
https://www.beegfs.io/wiki/[3] Verbinding maken tussen twee interfaces op hetzelfde subnet: 
https://access.redhat.com/solutions/30564[4] PCI Express Direct Memory Access Reference Design met extern geheugen: https://www.intel.com/content/www/us/en/programmable/documentation/nik1412547570040.html#nik1412547565760