Zu den Hauptinhalten
  • Bestellungen schnell und einfach aufgeben
  • Bestellungen anzeigen und den Versandstatus verfolgen
  • Profitieren Sie von exklusiven Prämien und Rabatten für Mitglieder
  • Erstellen Sie eine Liste Ihrer Produkte, auf die Sie jederzeit zugreifen können.

Dell EMC HPC NFS-lagringslösning – konfiguration med hög tillgänglighet (NSS7.4-HA)

Zusammenfassung: Den här bloggen beskriver Dell EMC HPC NFS-lagringslösning version 7.4 (NSS7.4-HA) som använder Intels andra generationens skalbara Xeon-processorer med kodnamnet ”Cascade Lake”.

Dieser Artikel gilt für Dieser Artikel gilt nicht für Dieser Artikel ist nicht an ein bestimmtes Produkt gebunden. In diesem Artikel werden nicht alle Produktversionen aufgeführt.

Symptome

Artikel skriven av Nirmala Sundararajan och Mario Gallegos från Dell EMC HPC and AI Innovation Lab i juni 2019

Ursache

Lösung


Översikt för lösning

Den här bloggen beskriver Dell EMC HPC NFS-lagringslösning version 7.4 (NSS7.4-HA) som använder Intels andra generationens skalbara Xeon-processorer med kodnamnet ”Cascade Lake”.  Dessa förbättrade Xeon-processorer har upp till 28 kärnor, upp till 38,5 MB cacheminne på senaste nivå och sex 2 933 MT/s-minneskanaler per sockel.  Huvud funktionerna i relaterade Lake-processorer är de integrerade maskin varu skydden mot sido kanal attacker, Intel dl Boost (VNNI) och stöd för högre klock hastigheter och minnes hastigheter.

Cascade och dess föregångare Skylake inkluderar en funktion som kallas ADDDC (adaptive double dram device Correction). ADDDC distribueras vid körning för att dynamiskt kartlägga DRAM-enheter som inte fungerar samtidigt som de fortsätter att tillhandahålla SDDC (Single Device Data Correction), ECC-minne (Error-correcting code), översatt till längre DIMM-livslängd. Den här funktionen aktiveras endast för x4 DRAM-enheter och gör ingenting när det finns x8 DRAM-enheter i systemet. Eftersom den senaste NSS-HA version 7.4 endast använder 16 GB minne, som är x8-organisation, är ADDDC gråmarkerad och inte ett valbart alternativ i BIOS. Men om du använder 32 GB minne som är x4 blir ADDDC tillgängligt som ett tunable-alternativ och det rekommenderas att vara inaktiverat för att prioritera prestanda över de RAS funktionerna.

Vi rekommenderar att du konfigurerar NFS-servrar med HPC-profilen enligt beskrivningen i bloggen "BIOS-karakterisering för Intel Cascade Lake processors" Detta innefattar att justera BIOS för att ställa in under-NUMA-kluster aktive rad, logisk processor inaktive rad och system profilen inställd på "Performance". Om du uppgraderar ett befintligt system ska du se till att BIOS först uppdateras till en version som stöder Cascade Lake-processorer innan du uppgraderar processorerna till Cascade Lake-processorer. HPC-teknikerteamet på HPC and AI Innovation Lab utförde en rad prestandatester med NSS-servrar utrustade med Cascade Lake-processorer och jämförde resultaten, med dem som tidigare erhållits från NSS7.3-HA-lösningen, som använde den senaste versionen av PowerEdge-servrar utrustade med den tidigare generationen ”Skylake-SP” Xeon-processorer i serien. Test resultaten och jämförelsen presenteras i den här bloggen.

NFS lagrings lösningen som tillhandahålls av Dell EMC är optimerad och justerad för bästa prestanda.  När du installerar NSS7.4-HA-lösningen bör följande framträdande punkter noteras:
  1. Det minsta operativsystem som stöds för användning av Cascade Lake-processorer är Red Hat Enterprise Linux 7.6. Men med kernel-version 3.10.0-957.el7, hänger sig NFS-delning med en uppgift, t.ex. kworker, som förbrukar 100 % av processorn. Orsaken till problemet beror på att TCP-skiktet tappar synkroniseringen med sunrpc-skiktens transportläge. Det här problemet har lösts med paketet kernel-3.10.0-957.5.1.el7 eller senare. Det grundläggande operativsystem som används för den här lösningen är RHEL7.6 och den kernel-version som används är kernel-3.10.0-957.5.1.el7. Se https://access.redhat.com/solutions/3742871 om du vill ha mer information.
  2. För NSS7.4-HA-lösningen, såvida inte följande paket har installerats, startar inte nfsserver-resursen eftersom nfs-idmapd.service inte startar. Se https://access.redhat.com/solutions/3746891 om du vill ha mer information.
    • resource-agents-4.1.1-12.el7_6.4
    • resource-agents-aliyun-4.1.1-12.el7_6.4
    • resource-agents-gcp-4.1.1-12.el7_6.4 eller senare.
  3. I versionskommentarerna för RHEL7.6 uppmärksammas det faktum att ett fel i I/O-lagret av LVM orsakar datafel i de första 128 kB av det allokeringsbara utrymmet på en fysisk volym.  Problemet har lösts med lvm2-2.02.180-10.el7_6.2 eller senare.  Se till att lvm2-paketet har uppdaterats till den senaste versionen. Om uppdatering av lvm2 inte är ett alternativ, kan du kringgå problemet genom att inte använda LVM-kommandon för att ändra volymgruppens (VG) metadata, t.ex. lvcreate eller lvextend, medan logiska volymer i VG används.



NSS7.4-HA-arkitektur

Bild 1 visar utformningen av NSS7.4-HA. Förutom nödvändiga uppdateringar av programvara och fast programvara har NSS7.4-HA och NSS7.3-HA samma HA-klusterkonfiguration och -lagringskonfiguration. Parkopplingen av NFS-servrar i aktiv-passiv konfiguration med hög tillgänglighet är ansluten till PowerVault-ME4084. Det finns dubbla SAS-kort i varje NFS-server. Varje kort har en SAS-kabel till varje styrenhet i den delade lagringen så att ett enstaka fel på SAS-kort eller SAS-kabel inte påverkar datatillgängligheten. (Se informationsdokumentet NSS7.3-HA för mer information om konfigurationen). NSS7.4-HA-arkitektur
SLN317325_en_US__1001
 

 

Jämförelse av komponenter i NSS7.4-HA jämfört med NSS7.3-HA

Även om Dell NSS-HA-lösningar har fått många maskinvaru- och programuppdateringar för att erbjuda högre tillgänglighet, högre prestanda och större lagringskapacitet sedan den första NSS-HA-versionen har riktlinjerna för arkitektonisk utformning och distribution för NSS-HA-lösningen förblivit oförändrad. Den här senaste versionen och den tidigare versionen NSS7.3-HA har samma lagringsbackend som är Power Vault-ME4084. Följande tabell ger en jämförelse av komponenterna i den senaste NSS7.4-HA-lösningen och den tidigare NSS7.3-HA-lösningen

 
Tabell 1: Tabell 1: Jämförelse av komponenterna i NSS7.4-HA och NSS7.3-HA 
Lösning NSS7.4-HA-version (juni 2019) NSS7.3-HA-version (oktober 2018)
NFS-servermodell 2x Dell EMC PowerEdge R740
Interna anslutningsmöjligheter Gigabit Ethernet med Dell Networking S3048-ON
Undersystem för lagring Dell EMC PowerVault ME4084
84-3,5 "NL SAS enheter, upp till 12TB.
Stöder upp till 1008TB (RAW Space)
8 LUN, linjär 8 + 2 RAID 6, segment storlek 128KiB.
4 globala HHD-reservenheter.
Lagringsanslutning SAS-anslutningar med 12 Gbit/s.
Processor 2 x Intel Xeon Gold 6240 vid 2,6 GHz, 18 kärnor per processor 2 x Intel Xeon Gold 6136 vid 3,0 GHz, 12 kärnor per processor
Minne 12 x 16 GiB 2933 MT/s RDIMM-moduler 12 x 16 GiB 2666 MT/s RDIMM-moduler
Operativsystem Red Hat Enterprise Linux 7.6 Red Hat Enterprise Linux 7.5
Kernel-version 3.10.0-957.5.1.el7.x86_64 3.10.0-862.el7.x86_64
Red Hat Scalable File System (XFS) v4.5.0-18 v4.5.0-15
Extern nätverksanslutning Mellanox ConnectX-5 InfiniBand EDR/100 GbE och 10 GbE Mellanox ConnectX-5 InfiniBand EDR och 10 GbE.
För NSS 7,3-ha-lösnings bloggenhar Mellanox ConnectX-4 IB EDR/100 GbE, använts.
OFED Version Mellanox OFED 4.5-1.0.1.0 Mellanox OFED 4.4-1.0.0


I resten av bloggen presenteras testbädden och information om I/O-prestanda för NSS7.4-HA. För att visa prestandaskillnaden mellan NSS7.4-HA och föregående version, presenteras också motsvarande prestandasiffror för NSS7.3-HA.

 



Konfiguration av testbädd

Den testbädd som används för att utvärdera prestanda och funktionalitet hos NSS7.4-HA-lösningen beskrivs här. Observera att de processorer som används för att testa prestanda skiljer sig från de som valdes för lösningen eftersom Xeon Gold 6240-processorerna inte mottogs i tid för det här arbetet. Planen är att upprepa en del av testerna när 6240-processorerna är tillgängliga och ändra den här rapporten efter behov.
 
Tabell 2: NSS 7.4-HA maskin varu konfiguration 
Serverkonfiguration
NFS-servermodell Dell PowerEdge R740
Processor 2 x Intel Xeon Gold 6244-processor vid 3,60 GHz med åtta kärnor vardera
Minne 12 x 16 GiB 2933 MT/s RDIMM-moduler
Lokala diskar och RAID-styrenhet PERC H730P med fem 300 GB 15K SAS-hårddiskar. Två hårddiskar konfigureras i RAID1 för operativsystemet, två enheter konfigureras i RAID0 för växlingsutrymme och den femte enheten är en reserv för RAID1-diskgruppen.
Mellanox EDR-kort (plats 8) Mellanox ConnectX-5 EDR-kort
1GbE Ethernet-kort (plats för dotterkort) Broadcom 5720 QP 1 Gigabit Ethernet-nätverksdotterkort. Eller Intel(R) Gigabit 4P I350-t rNDC
Extern lagringsstyrenhet (kortplats 1 och kortplats 2) Två Dell 12Gbps SAS HBA
System hantering iDRAC9 Enterprise
Lagringskonfiguration
Lagringshölje 1x Dell PowerVault ME4084-hölje
RAID-styrenheter Duplex RAID-styrenheter i Dell ME4084
Hårddiskar 84 - 10 TB 7,2 K NL SAS-hårddiskar per disksystem, 84 x 10 TB disk totalt
Andra komponenter
Privat Gigabit Ethernet-switch Dell Networking S3048-ON
Strömförsörjningsenhet Två APC-switchade rack-PDU-enheter, modell AP7921B


Tabell 3: NSS 7.4-HA-serverprogram versioner 
Komponent Beskrivning
Operativsystem Red Hat Enterprise Linux (RHEL) 7.6 x86_64 errata
Kernel-version 3.10.0-957.5.1.el7.x86_64
Cluster Suite Red Hat Cluster Suite från RHEL 7.6
Filsystem Red Hat Scalable File System (XFS) 4.5.0-18.
Systemhanteringsverktyg Dell OpenManage Server Administrator 9.3.0-3407_A00
  

Tabell 4: NSS 7.4-HA-klientkonfiguration 
Komponent Beskrivning
Servrar 32x Dell EMC PowerEdge C6420-beräkningsnoder
Processor 2 x Intel Xeon Gold 6148-processor vid 2,40 GHz med 20 kärnor per processor
Minne 12 x 16 GiB 2666 MT/s RDIMM-moduler
Operativsystem Red Hat Enterprise Linux Server version 7.6
Kernel-version 3.10.0-957.el7.x86_64
 Interconnect Mellanox InfiniBand EDR
OFED-version 4.3-1.0.1.0
ConnectX-4 fast programvara 12.17.2052
 


Sammanfattning av NSS7.4-HA I/O-prestanda

I det här avsnittet presenteras resultaten av I/O-prestandatesterna för den aktuella NSS7.4-lösningen. Alla prestandatest har utförts i ett felfritt scenario för att mäta lösningens maximala kapacitet. Testerna fokuserade på tre typer av I/O-mönster: stora sekventiella läsningar och skrivningar, små slumpmässiga läsningar och skrivningar och tre metadataåtgärder (filskapande, statistik och borttagning). Precis som den tidigare versionen NSS 7,3-HA använder lösningen tids gräns I/O Scheduler och 256 NFS daemon.

En 840TB (RAW Storage size)-konfiguration har benchmarking med IPoIB-nätverksanslutning via EDR. Ett beräkningskluster med 32 noder användes för att skapa arbetsbelastning för prestandatesterna. Varje test utfördes över ett intervall av klienter för att testa skalbarheten för lösningen.

IOzone-och mdtest-benchmarks används i denna studie. IOzone användes för sekventiella och slumpmässiga tester. För sekventiella tester användes en begärandestorlek på 1024 KiB. Den totala mängden data som överfördes var 2 TB för att säkerställa att NFS-serverns cacheminne var mättat. Slumpmässiga tester använde en begärandestorlek på 4 KiB och varje klient läste och skrev en 4 GiB-fil. Metadatatesterna utfördes med hjälp av mdtest-prestandatest med OpenMPI och innehöll åtgärder för filskapande, statistik och borttagning. (Mer information om fullständiga kommandon som används i testerna finns i bilaga A till informationsdokumentet NSS7.3-HA.)

 

IPoIB sekventiella skrivningar och läsningar N-N

För att utvärdera sekventiell läsning och skrivning användes IOzone-prestandatestet, version 3.487, i sekventiellt läs- och skrivläge. Dessa tester utfördes på flera antal trådar med start från 1 tråd, som ökar med en faktor på två, upp till 64 trådar. Vid varje antal trådar genererades ett lika stort antal filer, eftersom det här testet fungerar på en fil per tråd eller i N-N-höljet. En sammanlagd fil storlek på 2 TB har valts, vilket är lika tilldelat bland antalet trådar i ett givet test.

Bild 2 ger en jämförelse av den sekventiella I/O-prestandan hos NSS 7.4-HA-versionen med den NSS 7,3-HA-versionen. I bilden observeras att den senaste NSS7.4 och den föregående NSS7.3 har liknande maximal prestanda, med läsning på ~ 7 GB/s och maximal skrivprestanda på ~ 5 GB/s. Men vid ett visst antal trådar uppmättes 15–20 % minskning av skrivprestandan jämfört med NSS7.3-HA-lösningen. Det pågår en undersökning av den här prestandaskillnaden. Läsprestandan registrerade en ökning på nästan 45 % vid trådantal 1 och 2 och en ökning med 18 % vid trådantal 8. För fler antal trådar än 8 är läsprestandan densamma som för NSS7.3-HA-lösningen. Ökningen av läsprestanda vid lägre antal trådar beror troligen på de maskinvarubegränsningar som finns på Cascade Lake-processorerna mot sidokanalsattacker. IPoIB stora sekventiella I/O-prestanda

SLN317325_en_US__2image002 (3)


 

IPoIB slumpmässiga skrivningar och läsningar N-N

För att utvärdera slumpvisa I/O-prestanda användes IOzone version 3.487 i slumpvis läge. Testerna utfördes på flera antal trådar, med start från 1 tråd, som ökar med en faktor på två, upp till 64 trådar. Poststorlek valdes att vara 4 KB. Varje klient läste eller skrev en 4 GiB-fil för att simulera små slumpmässiga dataåtkomster.  Eftersom klustret endast hade 32 noder erhölls data punkten 64-tråd med 32-klienter som kör 2 trådar vardera.

Bild 3 visar jämförelsen av slumpmässig skrivning och Läs-I/O-prestanda för NSS 7.4-HA med det för NSS 7,3-HA. I bilden observeras att NSS7.4 har liknande slumpmässig maximal skrivprestanda som NSS7.3-HA, ~ 7300 IOPS.  I NSS7.4-HA-lösningen för det lägre antalet trådar på 1 och 2 är skrivprestandan ungefär 14 % mindre jämfört med den tidigare versionen av lösningen och detta håller på att undersökas.  Den slumpmässiga läsprestandan ökar stadigt på NSS7.4 och når maximal prestanda på 16607 IOPS vid 64 trådar. I den föregående versionen (NSS7.3-HA) uppnåddes den maximala prestandan på 28811 IOPS vid 32 trådar, vilket är 42 % högre än den maximala prestandan som uppnåddes för slumpmässiga läsningar i NSS7.4-HA-lösningen. IPoIB slumpmässig I/O-prestanda

SLN317325_en_US__303 (1)

 

IPoIB metadataåtgärder

För att utvärdera systemets metadataprestanda har MDTest-verktyget version 1.9.3 använts. Den MPI-distribution som användes var OpenMPI-version 1.10.7.  Metadatatesterna utfördes genom att skapa 960 000 filer för trådantal upp till 32 och sedan öka antalet filer för att testa skalbarheten hos lösningen, vilket visas i tabellform i Tabell 5. Metadata test: Distribution av filer och kataloger över trådar 
Antal trådar Antal filer per katalog Antal kataloger per tråd Totalt antal filer
1 3 000 320 960 000
2 3 000 160 960 000
4 3 000 80 960 000
8 3 000 40 960 000
16 3 000 20 960 000
32 3 000 10 960 000
64 3 000 8 1 536 000
128 3 000 4 1 436 000
256 3 000 4 3 072 000
512 3 000 4 6 144 000


Bild 4, bild 5 och bild 6 visar resultat för filskapande, statistik och borttagning. Eftersom HPC-beräkningsklustret har 32 beräkningsnoder, i diagrammen nedan, körde varje klient högst en tråd per nod för antal upp till 32. För klientantal 64, 128, 256 och 512 körde varje nod 2, 4, 8 eller 16 samtidiga åtgärder.
Vid filskapande är det 20 % bättre prestanda vid upp till 16 trådar och från 32 trådar och uppåt är prestandan hos båda versionerna nästan lika. 
Ger åtgärder i NSS 7.4 registrerat en 10% förbättring av prestandan för de nedre trådarna (1, 2, 8 och 16) och en > 30% lägre prestanda vid högre tråds antal (från 64 trådar till 512 trådar).
Slutligen har Remove (ta bort) en minskning på 14% upp till 64 klienter och en > 20% minskning för det högre antalet trådar på 128 256 och 512.

 
Bild 4: IPoIB-fil skapa prestanda
SLN317325_en_US__404 (1)


Bild 5: IPoIB Fiel stat-prestanda
SLN317325_en_US__505 (1)


Bild 6: IPoIB fie ta bort prestanda
SLN317325_en_US__606 (1)


 

Slutsats

I följande tabell sammanfattas den prestandaskillnad som observerats mellan de senaste NSS7.4- och NSS7.3-lösningarna.  Tabell 5: Jämförelse av prestanda hos versionerna NSS7.4- och NSS7.3 HA
Dell EMC HPC NFS-lagring NSS7.4-HA NSS7.4 – HA NSS7.3-HA
Sekventiell 1 MB skriver toppvärde: 1,4% minskning 4 834 MB/s 4 906 MB/s
Sekventiell 1 MB läst topp: 0,7% minskning 7 024 MB/s 7 073 MB/s
Slumpmässiga 4KB skrivningar: 0,7% minskning 7 290 IOps 7 341 IOps
Slumpmässig 4KB läser topp: 42% minskning 16 607 IOps 28 811 IOps
Create Operations/sekund topp: 1,1% minskning 54 197 Op/s 54 795 Op/s
Stat/sekund topp: 35% minskning 522 231 Op/s 808 317 Op/s
Ta bort åtgärder/näst topp: 35% minskning 47 345 Op/s 73 320 Op/s


Från ovanstående resultat kan vi dra slutsatsen att den aktuella NSS7.4-HA-lösningen ger jämförbar prestanda med föregångaren, NSS7.3-HA-lösningen. Vi planerar att köra prestandatesterna med Xeon Gold 6240-processorer med 18 kärnor per processor för att förstå om den minskade prestandan för slumpmässiga läsningar och den minskade prestandan vid högre antal trådar i filstatistik- och filborttagningsåtgärderna kan tillskrivas det mindre antalet kärnor som används i Xeon Gold 6244-processorerna (8 kärnor per processor) som används i prestandatestet av NSS7.4-HA-lösningen.



Referenser

Om du vill ha mer information om NSS-HA-lösningar kan du läsa våra publicerade informationsdokument

 

Betroffene Produkte

High Performance Computing Solution Resources
Artikeleigenschaften
Artikelnummer: 000145124
Artikeltyp: Solution
Zuletzt geändert: 28 Feb. 2021
Version:  4
Antworten auf Ihre Fragen erhalten Sie von anderen Dell NutzerInnen
Support Services
Prüfen Sie, ob Ihr Gerät durch Support Services abgedeckt ist.