Dell EMC HPC NFS-lagringslösning – konfiguration med hög tillgänglighet (NSS7.4-HA)

Innehållsförteckning

1. Översikt för lösning
2. NSS7.4-HA-arkitektur
3. Jämförelse av komponenter i NSS7.4-HA jämfört med NSS7.3-HA
4. Konfiguration av testbädd
5. Sammanfattning av NSS7.4-HA I/O-prestanda
   • IPoIB sekventiella skrivningar och läsningar N-N
   • IPoIB slumpmässiga skrivningar och läsningar N-N
   • IPoIB metadataåtgärder
6. Slutsats
7. Referenser
   
    

---

Översikt för lösning

Den här bloggen beskriver Dell EMC HPC NFS-lagringslösning version 7.4 (NSS7.4-HA) som använder Intels andra generationens skalbara Xeon-processorer med kodnamnet ”Cascade Lake”.  Dessa förbättrade Xeon-processorer har upp till 28 kärnor, upp till 38,5 MB cacheminne på senaste nivå och sex 2 933 MT/s-minneskanaler per sockel.  Huvud funktionerna i relaterade Lake-processorer är de integrerade maskin varu skydden mot sido kanal attacker, Intel dl Boost (VNNI) och stöd för högre klock hastigheter och minnes hastigheter.

Cascade och dess föregångare Skylake inkluderar en funktion som kallas ADDDC (adaptive double dram device Correction). ADDDC distribueras vid körning för att dynamiskt kartlägga DRAM-enheter som inte fungerar samtidigt som de fortsätter att tillhandahålla SDDC (Single Device Data Correction), ECC-minne (Error-correcting code), översatt till längre DIMM-livslängd. Den här funktionen aktiveras endast för x4 DRAM-enheter och gör ingenting när det finns x8 DRAM-enheter i systemet. Eftersom den senaste NSS-HA version 7.4 endast använder 16 GB minne, som är x8-organisation, är ADDDC gråmarkerad och inte ett valbart alternativ i BIOS. Men om du använder 32 GB minne som är x4 blir ADDDC tillgängligt som ett tunable-alternativ och det rekommenderas att vara inaktiverat för att prioritera prestanda över de RAS funktionerna.

Vi rekommenderar att du konfigurerar NFS-servrar med HPC-profilen enligt beskrivningen i bloggen "BIOS-karakterisering för Intel Cascade Lake processors" Detta innefattar att justera BIOS för att ställa in under-NUMA-kluster aktive rad, logisk processor inaktive rad och system profilen inställd på "Performance". Om du uppgraderar ett befintligt system ska du se till att BIOS först uppdateras till en version som stöder Cascade Lake-processorer innan du uppgraderar processorerna till Cascade Lake-processorer. HPC-teknikerteamet på HPC and AI Innovation Lab utförde en rad prestandatester med NSS-servrar utrustade med Cascade Lake-processorer och jämförde resultaten, med dem som tidigare erhållits från NSS7.3-HA-lösningen, som använde den senaste versionen av PowerEdge-servrar utrustade med den tidigare generationen ”Skylake-SP” Xeon-processorer i serien. Test resultaten och jämförelsen presenteras i den här bloggen.

NFS lagrings lösningen som tillhandahålls av Dell EMC är optimerad och justerad för bästa prestanda.  När du installerar NSS7.4-HA-lösningen bör följande framträdande punkter noteras:

1. Det minsta operativsystem som stöds för användning av Cascade Lake-processorer är Red Hat Enterprise Linux 7.6. Men med kernel-version 3.10.0-957.el7, hänger sig NFS-delning med en uppgift, t.ex. kworker, som förbrukar 100 % av processorn. Orsaken till problemet beror på att TCP-skiktet tappar synkroniseringen med sunrpc-skiktens transportläge. Det här problemet har lösts med paketet kernel-3.10.0-957.5.1.el7 eller senare. Det grundläggande operativsystem som används för den här lösningen är RHEL7.6 och den kernel-version som används är kernel-3.10.0-957.5.1.el7. Se https://access.redhat.com/solutions/3742871 om du vill ha mer information.
2. För NSS7.4-HA-lösningen, såvida inte följande paket har installerats, startar inte nfsserver-resursen eftersom nfs-idmapd.service inte startar. Se https://access.redhat.com/solutions/3746891 om du vill ha mer information.
   • resource-agents-4.1.1-12.el7_6.4
   • resource-agents-aliyun-4.1.1-12.el7_6.4
   • resource-agents-gcp-4.1.1-12.el7_6.4 eller senare.
3. I versionskommentarerna för RHEL7.6 uppmärksammas det faktum att ett fel i I/O-lagret av LVM orsakar datafel i de första 128 kB av det allokeringsbara utrymmet på en fysisk volym.  Problemet har lösts med lvm2-2.02.180-10.el7_6.2 eller senare.  Se till att lvm2-paketet har uppdaterats till den senaste versionen. Om uppdatering av lvm2 inte är ett alternativ, kan du kringgå problemet genom att inte använda LVM-kommandon för att ändra volymgruppens (VG) metadata, t.ex. lvcreate eller lvextend, medan logiska volymer i VG används.

---

NSS7.4-HA-arkitektur

Bild 1 visar utformningen av NSS7.4-HA. Förutom nödvändiga uppdateringar av programvara och fast programvara har NSS7.4-HA och NSS7.3-HA samma HA-klusterkonfiguration och -lagringskonfiguration. Parkopplingen av NFS-servrar i aktiv-passiv konfiguration med hög tillgänglighet är ansluten till PowerVault-ME4084. Det finns dubbla SAS-kort i varje NFS-server. Varje kort har en SAS-kabel till varje styrenhet i den delade lagringen så att ett enstaka fel på SAS-kort eller SAS-kabel inte påverkar datatillgängligheten. (Se informationsdokumentet NSS7.3-HA för mer information om konfigurationen). NSS7.4-HA-arkitektur

 

---

 

Jämförelse av komponenter i NSS7.4-HA jämfört med NSS7.3-HA

Även om Dell NSS-HA-lösningar har fått många maskinvaru- och programuppdateringar för att erbjuda högre tillgänglighet, högre prestanda och större lagringskapacitet sedan den första NSS-HA-versionen har riktlinjerna för arkitektonisk utformning och distribution för NSS-HA-lösningen förblivit oförändrad. Den här senaste versionen och den tidigare versionen NSS7.3-HA har samma lagringsbackend som är Power Vault-ME4084. Följande tabell ger en jämförelse av komponenterna i den senaste NSS7.4-HA-lösningen och den tidigare NSS7.3-HA-lösningen

 

I resten av bloggen presenteras testbädden och information om I/O-prestanda för NSS7.4-HA. För att visa prestandaskillnaden mellan NSS7.4-HA och föregående version, presenteras också motsvarande prestandasiffror för NSS7.3-HA.

 

---

Konfiguration av testbädd

Den testbädd som används för att utvärdera prestanda och funktionalitet hos NSS7.4-HA-lösningen beskrivs här. Observera att de processorer som används för att testa prestanda skiljer sig från de som valdes för lösningen eftersom Xeon Gold 6240-processorerna inte mottogs i tid för det här arbetet. Planen är att upprepa en del av testerna när 6240-processorerna är tillgängliga och ändra den här rapporten efter behov.
    

Tabell 4: NSS 7.4-HA-klientkonfiguration   

---

Sammanfattning av NSS7.4-HA I/O-prestanda

I det här avsnittet presenteras resultaten av I/O-prestandatesterna för den aktuella NSS7.4-lösningen. Alla prestandatest har utförts i ett felfritt scenario för att mäta lösningens maximala kapacitet. Testerna fokuserade på tre typer av I/O-mönster: stora sekventiella läsningar och skrivningar, små slumpmässiga läsningar och skrivningar och tre metadataåtgärder (filskapande, statistik och borttagning). Precis som den tidigare versionen NSS 7,3-HA använder lösningen tids gräns I/O Scheduler och 256 NFS daemon.

En 840TB (RAW Storage size)-konfiguration har benchmarking med IPoIB-nätverksanslutning via EDR. Ett beräkningskluster med 32 noder användes för att skapa arbetsbelastning för prestandatesterna. Varje test utfördes över ett intervall av klienter för att testa skalbarheten för lösningen.

IOzone-och mdtest-benchmarks används i denna studie. IOzone användes för sekventiella och slumpmässiga tester. För sekventiella tester användes en begärandestorlek på 1024 KiB. Den totala mängden data som överfördes var 2 TB för att säkerställa att NFS-serverns cacheminne var mättat. Slumpmässiga tester använde en begärandestorlek på 4 KiB och varje klient läste och skrev en 4 GiB-fil. Metadatatesterna utfördes med hjälp av mdtest-prestandatest med OpenMPI och innehöll åtgärder för filskapande, statistik och borttagning. (Mer information om fullständiga kommandon som används i testerna finns i bilaga A till informationsdokumentet NSS7.3-HA.)

 

IPoIB sekventiella skrivningar och läsningar N-N

För att utvärdera sekventiell läsning och skrivning användes IOzone-prestandatestet, version 3.487, i sekventiellt läs- och skrivläge. Dessa tester utfördes på flera antal trådar med start från 1 tråd, som ökar med en faktor på två, upp till 64 trådar. Vid varje antal trådar genererades ett lika stort antal filer, eftersom det här testet fungerar på en fil per tråd eller i N-N-höljet. En sammanlagd fil storlek på 2 TB har valts, vilket är lika tilldelat bland antalet trådar i ett givet test.

Bild 2 ger en jämförelse av den sekventiella I/O-prestandan hos NSS 7.4-HA-versionen med den NSS 7,3-HA-versionen. I bilden observeras att den senaste NSS7.4 och den föregående NSS7.3 har liknande maximal prestanda, med läsning på ~ 7 GB/s och maximal skrivprestanda på ~ 5 GB/s. Men vid ett visst antal trådar uppmättes 15–20 % minskning av skrivprestandan jämfört med NSS7.3-HA-lösningen. Det pågår en undersökning av den här prestandaskillnaden. Läsprestandan registrerade en ökning på nästan 45 % vid trådantal 1 och 2 och en ökning med 18 % vid trådantal 8. För fler antal trådar än 8 är läsprestandan densamma som för NSS7.3-HA-lösningen. Ökningen av läsprestanda vid lägre antal trådar beror troligen på de maskinvarubegränsningar som finns på Cascade Lake-processorerna mot sidokanalsattacker. IPoIB stora sekventiella I/O-prestanda




 

IPoIB slumpmässiga skrivningar och läsningar N-N

För att utvärdera slumpvisa I/O-prestanda användes IOzone version 3.487 i slumpvis läge. Testerna utfördes på flera antal trådar, med start från 1 tråd, som ökar med en faktor på två, upp till 64 trådar. Poststorlek valdes att vara 4 KB. Varje klient läste eller skrev en 4 GiB-fil för att simulera små slumpmässiga dataåtkomster.  Eftersom klustret endast hade 32 noder erhölls data punkten 64-tråd med 32-klienter som kör 2 trådar vardera.

Bild 3 visar jämförelsen av slumpmässig skrivning och Läs-I/O-prestanda för NSS 7.4-HA med det för NSS 7,3-HA. I bilden observeras att NSS7.4 har liknande slumpmässig maximal skrivprestanda som NSS7.3-HA, ~ 7300 IOPS.  I NSS7.4-HA-lösningen för det lägre antalet trådar på 1 och 2 är skrivprestandan ungefär 14 % mindre jämfört med den tidigare versionen av lösningen och detta håller på att undersökas.  Den slumpmässiga läsprestandan ökar stadigt på NSS7.4 och når maximal prestanda på 16607 IOPS vid 64 trådar. I den föregående versionen (NSS7.3-HA) uppnåddes den maximala prestandan på 28811 IOPS vid 32 trådar, vilket är 42 % högre än den maximala prestandan som uppnåddes för slumpmässiga läsningar i NSS7.4-HA-lösningen. IPoIB slumpmässig I/O-prestanda



 

IPoIB metadataåtgärder

För att utvärdera systemets metadataprestanda har MDTest-verktyget version 1.9.3 använts. Den MPI-distribution som användes var OpenMPI-version 1.10.7.  Metadatatesterna utfördes genom att skapa 960 000 filer för trådantal upp till 32 och sedan öka antalet filer för att testa skalbarheten hos lösningen, vilket visas i tabellform i Tabell 5. Metadata test: Distribution av filer och kataloger över trådar 

Antal trådar	Antal filer per katalog	Antal kataloger per tråd	Totalt antal filer
1	3 000	320	960 000
2	3 000	160	960 000
4	3 000	80	960 000
8	3 000	40	960 000
16	3 000	20	960 000
32	3 000	10	960 000
64	3 000	8	1 536 000
128	3 000	4	1 436 000
256	3 000	4	3 072 000
512	3 000	4	6 144 000

Bild 4, bild 5 och bild 6 visar resultat för filskapande, statistik och borttagning. Eftersom HPC-beräkningsklustret har 32 beräkningsnoder, i diagrammen nedan, körde varje klient högst en tråd per nod för antal upp till 32. För klientantal 64, 128, 256 och 512 körde varje nod 2, 4, 8 eller 16 samtidiga åtgärder. Bild 4: IPoIB-fil skapa prestanda



Bild 5: IPoIB Fiel stat-prestanda



Bild 6: IPoIB fie ta bort prestanda



 

---

Slutsats

I följande tabell sammanfattas den prestandaskillnad som observerats mellan de senaste NSS7.4- och NSS7.3-lösningarna.  Tabell 5: Jämförelse av prestanda hos versionerna NSS7.4- och NSS7.3 HA

Dell EMC HPC NFS-lagring	NSS7.4-HA	NSS7.4 – HA NSS7.3-HA
Sekventiell 1 MB skriver toppvärde: 1,4% minskning	4 834 MB/s	4 906 MB/s
Sekventiell 1 MB läst topp: 0,7% minskning	7 024 MB/s	7 073 MB/s
Slumpmässiga 4KB skrivningar: 0,7% minskning	7 290 IOps	7 341 IOps
Slumpmässig 4KB läser topp: 42% minskning	16 607 IOps	28 811 IOps
Create Operations/sekund topp: 1,1% minskning	54 197 Op/s	54 795 Op/s
Stat/sekund topp: 35% minskning	522 231 Op/s	808 317 Op/s
Ta bort åtgärder/näst topp: 35% minskning	47 345 Op/s	73 320 Op/s

Från ovanstående resultat kan vi dra slutsatsen att den aktuella NSS7.4-HA-lösningen ger jämförbar prestanda med föregångaren, NSS7.3-HA-lösningen. Vi planerar att köra prestandatesterna med Xeon Gold 6240-processorer med 18 kärnor per processor för att förstå om den minskade prestandan för slumpmässiga läsningar och den minskade prestandan vid högre antal trådar i filstatistik- och filborttagningsåtgärderna kan tillskrivas det mindre antalet kärnor som används i Xeon Gold 6244-processorerna (8 kärnor per processor) som används i prestandatestet av NSS7.4-HA-lösningen.

---

Referenser

Om du vill ha mer information om NSS-HA-lösningar kan du läsa våra publicerade informationsdokument

 

•  Dell HPC NFS Storage Solution - High Availability (NSS6.0-HA) Configuration with Dell PowerEdge 13th Generation Servers, version NSS 6.0-HA (på engelska) som publicerades i november 2014.
•  Dell HPC NFS Storage Solution - High Availability (NSS7.0-HA) Configuration, version NSS7.0-HA (på engelska) som publicerades i maj 2016.
•  Dell EMC Ready Solution for HPC NFS Storage, version NSS7.3-HA (Dell EMC Ready-lösning för HPC NFS-lagring) som publicerades i mars 2019.