Dell EMC HPC NFS Storage Solution - Configuratie met hoge beschikbaarheid (NSS7.4 - HA)

Inhoudsopgave

1. Overzicht van de oplossing
2. NSS7.4-HA architectuur
3. Vergelijking van onderdelen in NSS7.4-HA versus NSS7.3-HA
4. Testbed-configuratie
5. Samenvatting van NSS7.4-HA I/O-prestaties
   • IPoIB sequentiële schrijf- en leesbewerkingen N-N
   • IPoIB willekeurige schrijf- en lesbewerkingen N-N
   • IPoIB metadatabewerkingen
6. Conclusie
7. Verwijzingen
   
    

---

Overzicht van de oplossing

Deze blog beschrijft de Dell EMC HPC NFS Storage Solution versie 7.4 (NSS7.4-HA), die gebruik maakt van de tweede generatie Xeon schaalbare processoren van Intel, met codenaam "Cascade Lake".  Deze verbeterde Xeon processoren zijn voorzien van maximaal 28 cores, 38,5 MB cache op het laatste niveau en zes 2933 MT/s geheugenkanalen per socket.  De belangrijkste functies van trapsgewijze Lake-processors zijn de geïntegreerde hardwareproblemen tegen communicatie aan de zijkant van het kanaal, de Intel DL-Boost (VNNI) en de ondersteuning voor hogere kloksnelheden en geheugen snelheden.

Het trapsgewijze Lake en de voorafgaande Skylake omvatten een functie genaamd ADDDC (eendaptive ddubbel dRAM dapparaat Correction). ADDDC wordt geïmplementeerd tijdens runtime om uitvallende DRAM-apparaten dynamisch te koppelen en tegelijk Single Device Data Correction (SDDC), Error-Correcting Code (ECC)-geheugen, te bieden voor een langere DIMM-levensduur. Deze functie is alleen geactiveerd voor X4 DRAM-apparaten en doet niets als het systeem X8 DRAM-apparaten bevat. Daar de nieuwste NSS-HA versie 7.4 alleen gebruik maakt van het 16 GB geheugen, een X8-organisatie, wordt ADDDC grijs weergegeven en is het geen instelbare optie in het BIOS. Als u echter een geheugen van maximaal 32 GB gebruikt, dan is ADDDC beschikbaar als tunable-optie en wordt aanbevolen om de prestaties te verbeteren ten bewijze van de functies van RAS.

Het wordt aanbevolen om de NFS servers met het HPC-profiel te configureren, zoals beschreven in de blog "BIOS-karakterisering voor Intel Cascade Lake processors" Dit omvat het afstemmen van de BIOS voor het instellen van subnuma cluster inschakelen, logische processor uitgeschakeld en Systeemprofiel ingesteld op "Performance". Als een bestaand systeem wordt geüpgraded, zorg er dan voor dat eerst het BIOS wordt bijgewerkt naar een versie die ondersteuning biedt voor Cascade Lake CPU's voordat de CPU's worden geüpgraded naar Cascade Lake processoren. Het HPC Engineering team in het HPC en AI Innovation Lab voerde een serie benchmarktests uit met NSS-servers voorzien van Cascade Lake processoren en vergeleek de resultaten met die van de NSS7.3-HA-oplossing met gebruik van de nieuwste versie PowerEdge-servers voorzien van de vorige generatie "Skylake-SP" Xeon processoren. De benchmark resultaten en de vergelijking worden in deze blog gepresenteerd.

De NFS opslagoplossing die door Dell EMC wordt geleverd, is geoptimaliseerd en afgestemd op de beste prestaties.  Bij het installeren van de NSS7.4-HA-oplossing dient u rekening te houden met de volgende belangrijke punten:

1. Het minimaal ondersteunde besturingssysteem voor gebruik van Cascade Lake processoren is Red Hat Enterprise Linux 7.6. Bij kernelversie 3.10.0-957.el7 zal NFS share echter vastlopen bij een taak als kworker, waarbij 100% van de CPU wordt gebruikt. De oorzaak van het probleem is dat de TCP-laag niet synchroon loopt met de transportstatus van de sunrpc-lagen. Dit probleem is opgelost vanaf het pakket kernel-3.10.0-957.5.1.el7 of hoger. Het basisbesturingssysteem dat voor deze oplossing wordt gebruikt, is RHEL7.6 en de gebruikte kernelversie is kernel 3.10.0-957.5.1.el7. Raadpleeg https://access.redhat.com/solutions/3742871 voor meer informatie.
2. Bij de NSS7.4-HA-oplossing kan de NFS serverbron niet worden gestart omdat nfs-idmapd.service niet start, tenzij de volgende pakketten zijn geïnstalleerd. Raadpleeg https://access.redhat.com/solutions/3746891 voor meer informatie.
   • resource-agents-4.1.1-12.el7_6.4
   • resource-agents-aliyun-4.1.1-12.el7_6.4
   • resource-agents-gcp-4.1.1-12.el7_6.4 or later.
3. De release-informatie van RHEL7.6 vestigt de aandacht op het feit dat een fout in de I/O-laag van LVM databeschadiging veroorzaakt in de eerste 128KB toewijsbare ruimte van een fysiek volume.  Het probleem is opgelost met lvm2-2.02.180-10.el7_6.2 of hoger.  Zorg er dus voor dat het lvm2-pakket is bijgewerkt naar de nieuwste versie. Als het bijwerken van lvm2 geen optie is, is het niet mogelijk om LVM-opdrachten te gebruiken die Volume Group (VG)-metadata wijzigen, zoals lvcreate of lvextend, terwijl logische volumes in de VG worden gebruikt.

---

NSS7.4-HA architectuur

Afbeelding 1 toont het NSS7.4-HA-ontwerp. Met uitzondering van de noodzakelijke software- en firmwareupdates delen NSS7.4-HA en NSS7.3-HA dezelfde HA-clusterconfiguratie en -storageconfiguratie. Het paar NFS-servers in de Active-Passive High Availability-configuratie is gekoppeld aan de PowerVault ME4084. Er zijn twee SAS-kaarten in elke NFS-server. Elke kaart heeft een SAS-kabel voor elke controller in de gedeelde storage, zodat één SAS-kaart- of SAS-kabelfout geen invloed heeft op de beschikbaarheid van data. (Raadpleeg de NSS7.3-HA whitepaper voor meer gedetailleerde informatie over de configuratie). NSS7.4-HA architectuur

 

---

 

Vergelijking van onderdelen in NSS7.4-HA versus NSS7.3-HA

Hoewel Dell NSS-HA-oplossingen veel hardware- en software-upgrades hebben gekregen voor hogere beschikbaarheid, hogere prestaties en grotere storagecapaciteit sinds de eerste NSS-HA-release, blijven de richtlijnen voor architectuurontwerp en implementatie van de NSS-HA-serie oplossingen ongewijzigd. Deze nieuwste versie en de eerdere versie, NSS7.3-HA, delen dezelfde Storage-backend als Power Vault ME4084. De volgende tabel toont een vergelijking van de onderdelen in de nieuwste NSS7.4-HA-oplossing en de eerdere NSS 7.3-HA-oplossing

 

In de rest van de blog wordt het testbed en de I/O-prestatiedata van NSS7.4-HA gepresenteerd. Om het prestatieverschil tussen NSS7.4-HA en de vorige release weer te geven, worden ook de overeenkomstige prestatienummers van NSS7.3-HA gepresenteerd.

 

---

Testbed-configuratie

Het testbed gebruikt om de prestaties en functionaliteit van de NSS7.4-HA-oplossing te evalueren, wordt hier beschreven. Houd er rekening mee dat de CPU's die worden gebruikt voor prestatietests verschillen van die welke voor de oplossing zijn geselecteerd, omdat de Xeon Gold 6240 CPU's niet tijdig voor dit werk zijn ontvangen. Het is de bedoeling dat sommige tests worden herhaald, zodra de 6240-processoren beschikbaar zijn, en dat dit rapport daarna zo nodig wordt gewijzigd.
    

Tabel 4: NSS 7,4-HA client configuratie   

---

Samenvatting van NSS7.4-HA I/O-prestaties

In dit gedeelte worden de resultaten van de I/O-prestatietests voor de huidige NSS7.4-oplossing gepresenteerd. Alle prestatietests zijn uitgevoerd in een foutvrij scenario om de maximale capaciteit van de oplossing te meten. De tests concentreerden zich op drie typen I/O-patronen: grote sequentiële lees-en schrijfbewerkingen, kleine willekeurige lees- en schrijfbewerkingen en drie metadatabewerkingen (bestand maken, stat en verwijderen). Net als de vorige versie NSS 7.3-HA gebruikt de oplossing deadline I/O-planner en 256 NFS-daemons.

Een 840TB (raw storage size)-configuratie is gebenchmarkd met een IPoIB-netwerkverbinding van meer dan EDR. Een computecluster met 32 knooppunten is gebruikt om de werklast voor de benchmarktests te genereren. Elke test werd uitgevoerd over een aantal clients om de schaalbaarheid van de oplossing te testen.

De IOzone-en mdtest-benchmarks werden gebruikt bij deze studie. IOzone werd gebruikt voor de sequentiële en willekeurige tests. Voor sequentiële tests werd een aanvraaggrootte van 1024KiB gebruikt. De totale hoeveelheid overgedragen data was 2TB om er zeker van te zijn dat de NFS-servercache verzadigd werd. Bij willekeurige tests werd een 4KiB-aanvraaggrootte gebruikt en elke client heeft een 4GiB-bestand gelezen en geschreven. Metadatatests werden uitgevoerd met behulp van de mdtest-benchmark met OpenMPI en omvatten bestanden maken, stat- en verwijderingsbewerkingen. (Zie appendix A van het NSS7.3-HA whitepaper voor de volledige opdrachten die in de tests zijn gebruikt.)

 

IPoIB sequentiële schrijf- en leesbewerkingen N-N

Voor het evalueren van sequentiële lees-en schrijfbewerkingen werd IOzone-benchmark, versie 3.487, gebruikt in de sequentiële lees- en schrijfmodus. Deze tests werden uitgevoerd op meerdere threadaantallen, vanaf 1 thread, en in stappen van 2 tot de macht n, tot maximaal 64 threads. Bij elk threadaantal werd een gelijk aantal bestanden gegenereerd, omdat deze test op één bestand per thread werkt of op N-N-basis. Er is een cumulatieve bestandsgrootte van 2 TB geselecteerd, die gelijkelijk wordt verdeeld over het aantal threads binnen een gegeven test.

Afbeelding 2 biedt een vergelijking van de opeenvolgende I/O-prestaties van de NSS 7,4-HA-versie met die van de NSS 7.3-HA-versie. Het resultaat geeft aan dat de nieuwste NSS7.4 en de vorige NSS7.3 vergelijkbare topprestaties leveren, met leesprestaties op ~ 7 GB/s en de maximale schrijfprestaties op ~ 5 GB/s. Bij sommige threads werd echter een daling van de schrijfprestaties van 15-20% gemeten in vergelijking met de NSS7.3-HA-oplossing. Onderzoek naar dit prestatieverschil is in uitvoering. De leesprestaties toonden een toename van bijna 45% bij threadaantallen 1 en 2 en een toename van 18% bij threadaantal 8. Voor aantallen threads vanaf 8 zijn de leesprestaties vergelijkbaar met die van de NSS7.3-HA-oplossing. De toename van de leesprestaties bij een lager aantal threads is waarschijnlijk te wijten aan de hardwarebewerkingen die gelden voor de Cascade Lake-processoren bij de zijkanaalaanvallen. IPoIB hoge sequentiële I/O-prestaties




 

IPoIB willekeurige schrijf- en lesbewerkingen N-N

Voor het evalueren van willekeurige IO-prestaties werd IOzone versie 3.487 gebruikt in de willekeurige modus. De tests zijn uitgevoerd op het aantal threads vanaf 1 tot 64 in stappen van 2 tot de macht n. De recordgrootte 4KB is gekozen. Elke client heeft een 4GiB-bestand gelezen of geschreven om kleine willekeurige datatoegangsbewerkingen te simuleren.  Aangezien het cluster maar een 32 knooppunten heeft, is het data punt van de 64-thread verkregen bij 32 clients waarop twee threads worden uitgevoerd.

In afbeelding 3 wordt de vergelijking van willekeurige schrijf-en lees-I/O-prestaties van NSS 7,4-HA met die van NSS 7.3 HA weergegeven. Het cijfer toont dat NSS7.4 vergelijkbare willekeurige schrijfpiekprestaties levert als NSS7.3-HA, ~ 7300 IOPS.  In de NSS 7.4-HA-oplossing, voor het lagere aantal threads van 1 en 2, zijn de schrijfprestaties ongeveer 14% lager vergeleken met de vorige versie van de oplossing - dit wordt onderzocht.  De willekeurige leesprestaties nemen geleidelijk toe op de NSS7.4 en de piekprestatie van 16607 IOPS wordt bereikt bij 64 threads. In de vorige release (NSS 7.3-HA) werd de piekprestatie van 28811 IOPS bereikt bij 32 threads, wat 42% hoger is dan de maximale prestaties voor willekeurige leesbewerkingen in de NSS7.4-HA oplossing. IPoIB willekeurige I/O-prestaties



 

IPoIB metadatabewerkingen

Voor het evalueren van de metadata-prestaties van het systeem is MDTest Tool-versie 1.9.3 gebruikt. De gebruikte MPI-distributie is OpenMPI-versie 1.10.7.  De metadatatests zijn uitgevoerd door 960000 bestanden te maken voor een threadaantal tot 32 en vervolgens het aantal bestanden te verhogen om de schaalbaarheid van de oplossing te testen zoals weergegeven in de Tabel 5. Metadata tests: Distributie van bestanden en mappen tussen threads 

Aantal threads	Aantal bestanden per map	Aantal directories per thread	Totaal aantal bestanden
1	3000	320	960000
2	3000	160	960000
4	3000	80	960000
8	3000	40	960000
16	3000	20	960000
32	3000	10	960000
64	3000	8	1536000
128	3000	4	1436000
256	3000	4	3072000
512	3000	4	6144000

In afbeelding 4, afbeelding 5 en afbeelding 6 worden respectievelijk de resultaten weergegeven van de bewerkingen voor het maken van bestanden, stat en verwijderen. Omdat het HPC computecluster 32 computeknooppunten heeft, werd, in de onderstaande grafieken, voor elke client maximaal één thread uitgevoerd per knooppunt voor aantallen tot 32. Voor clientaantallen van 64, 128, 256 en 512 heeft elk knooppunt 2, 4, 8 of 16 gelijktijdige bewerkingen uitgevoerd. Afbeelding 4: Het IPoIB-bestand maken prestaties



Afbeelding 5: Prestaties van het IPoIB-vel



. Afbeelding 6: -IPoIB-ve-prestaties verwijderen



 

---

Conclusie

De volgende tabel geeft een overzicht van het prestatieverschil dat wordt waargenomen tussen de laatste NSS7.4 en NSS7.3 oplossingen.  Tabel 5: vergelijking van de prestaties van NSS7.4 en NSS 7.3HA versies

Dell EMC HPC NFS Storage	NSS7.4-HA	NSS7.4 – HA NSS7.3-HA
Seq. 1MB schrijft piek: 1,4% minder	4,834 MB/s	4,906 MB/s
Seq. 1 MB aan-lezen piek: 0,7% minder	7,024 MB/s	7,073 MB/s
Willekeurig 4KB schrijft piek: 0,7% minder	7.290 IOps	7.341 IOps
Willekeurig 4KB-Lees piek: 42% minder	16.607 IOps	28.811 IOps
Piek bewerkingen maken/seconde: 1,1% minder	54.197 Op/s	54.795 Op/s
Piek werking/seconde: 35% minder	522.231 Op/s	808.317 Op/s
Verwijderbewerkingen/seconde piek: 35% minder	47.345 Op/s	73.320 Op/s

Uit de bovenstaande resultaten kunnen we concluderen dat de huidige NSS7.4-HA-oplossing vergelijkbare prestaties biedt als die van voorganger NSS7.3-HA. We zijn van plan de benchmarktests uit te voeren met Xeon Gold 6240 CPU's met 18 cores per processor, om te begrijpen of de daling van de prestaties voor willekeurige leesbewerkingen en de daling van de prestaties bij een hoger aantal threads bij de bewerkingen bestanden-stat en bestanden-verwijderen worden toegeschreven aan het kleinere aantal cores dat wordt gebruikt in de Xeon Gold 6244 CPU's (8 cores per processor) die worden gebruikt voor prestatiebenchmarking van de NSS 7.4-HA oplossing.

---

Verwijzingen

Raadpleeg voor meer informatie over NSS-HA-oplossingen onze gepubliceerde whitepapers

 

•  Dell HPC NFS Storage Solution - Configuratie met hoge beschikbaarheid (NSS6.0-HA) met Dell PowerEdge 13e generatie-servers, releaseversie NSS6.0-HA, gepubliceerd in november 2014.
•  Dell HPC NFS Storage Solution - Configuratie met hoge beschikbaarheid (NSS7.0-HA), releaseversie NSS7.0-HA, gepubliceerd in mei 2016.
•  Dell EMC Ready-oplossing voor HPC NFS Storage, releaseversie NSS7.3-HA, gepubliceerd in maart 2019.