Dell EMC HPC NFS Storage Solution - konfiguration med høj tilgængelighed (NSS7.4 - HA)

Indholdsfortegnelse

1. Løsningsoversigt
2. NSS7.4-HA-arkitektur
3. Sammenligning af komponenter i NSS7.4-HA vs. NSS7.3-HA
4. Prøvestandskonfiguration
5. NSS7.4-HA I/O-ydeevneoversigt
   • IPoIB sekventielle skrivninger og læsninger N-N
   • IPoIB tilfældige skrivninger og læsninger N-N
   • IPoIB-metadatahandlinger
6. Konklusion
7. Referencer
   
    

---

Løsningsoversigt

Denne blog beskriver Dell EMC HPC NFS Storage Solution, version 7.4 (NSS7.4-HA), som udnytter Intels anden generations, skalerbare Xeon-processorer med kodenavnet "Cascade Lake".  Disse forbedrede Xeon-processorer har op til 28 kerner, op til 38,5 MB cachehukommelse på sidste niveau og seks 2933 MT/s-hukommelseskanaler pr. sokkel.  De vigtigste funktioner i overlappende sø-processorer er integreret hardware afhjælpning i forhold til side kanals angreb, Intel DL Boost (VNNI) og understøttelse af øgede clock-hastigheder og hukommelses hastigheder.

Overlappende sø-og dets forgænger Skylake omfatter en funktion, der kaldes ADDDC (endaptive double DRAM device Correction). ADDDC implementeres i driftstid for dynamisk at kortlægge svigtende DRAM-enheder og samtidig fortsætte med at yde Single Device data Correction (SDDC), ECC-fejlkorrektionskode (EEC) for hukommelse, hvilket betyder længere DIMM-modullevetid. Denne funktion aktiveres kun for x4 DRAM-enheder og er slået fra, når der er x8 DRAM-enheder i systemet. Eftersom den nyeste NSS-HA-version 7.4 kun bruger 16 GB hukommelse, hvilket er x8 organisation, gråtones ADDDC og er ikke en anvendelig indstilling i BIOS. Hvis du imidlertid bruger 32 GB hukommelse, som er X4, vil ADDDC være tilgængelig som en tunable-funktion, og det anbefales at indstilles til deaktiveret for at tilfredsstille præstationen i henhold til RAS funktioner.

Det anbefales at konfigurere de NFS servere med HPC profilen som beskrevet i blog "BIOS-karakterisering for Intel Cascade-processorer" Dette omfatter justering af BIOS til at indstille under-Numa-klynger aktiveret, logisk processor deaktiveret og system profil er indstillet til "ydeevne". Hvis du opgraderer et eksisterende system, skal du kontrollere, at BIOS først opdateres til en version, som understøtter Cascade Lake CPU’er, før CPU'erne opgraderes til Cascade Lake-processorer. HPC-teknikerteamet hos HPC and AI Innovation Lab har udført en række benchmark-tests med NSS-servere udstyret med Cascade Lake-processorer og sammenlignede resultaterne med dem, som tidligere blev opnået ved NSS7.3-HA-løsningen, som brugte den nyeste version af PowerEdge-servere udstyret med den forrige generation af "Skylake-SP"-processorer i Xeon-familien. Benchmark-resultaterne og sammenligningen præsenteres i denne blog.

NFS Storage-løsningen, der leveres af Dell EMC, er optimeret og tilpasset til den bedste ydelse.  Ved indstilling af NSS7.4-HA-løsningen skal følgende vigtige punkter bemærkes:

1. Minimum understøttet operativsystem til brug af Cascade Lake-processorer er Red Hat Enterprise Linux 7.6. Med kerneversion 3.10.0-957.el7 hænger NFS-deling imidlertid med en opgave, f.eks. kworker, som forbruger 100 % af CPU'en. Årsagen til problemet skyldes, at TCP-laget kommer ud af synkronisering med sunrpc-lagenes transporttilstand. Dette problem er blevet løst med pakken kernel-3.10.0-957.5.1.el7 eller nyere. Basisoperativsystemet, der bruges til denne løsning, er således RHEL7.6, og kerneversionen er kernel-3.10.0-957.5.1.el7. Se https://access.redhat.com/solutions/3742871 for at få flere oplysninger.
2. For NSS7.4-HA-løsningen, medmindre følgende pakker installeres, vil nfsserver-ressourcen ikke starte, fordi nfs-idmapd.service ikke kan starte. Se https://access.redhat.com/solutions/3746891 for at få flere oplysninger.
   • resource-agents-4.1.1-12.el7_6.4
   • resource-agents-aliyun-4.1.1-12.el7_6.4
   • resource-agents-gcp-4.1.1-12.el7_6.4 eller nyere.
3. Produktmeddelelser vedrørende RHEL7.6 henleder opmærksomheden på, at en fejl i I/O-laget i LVM medfører dataødelæggelse i de første 128 KB af den allokerbare plads på en fysisk diskenhed.  Problemet er blevet løst med lvm2-2.02.180-10.el7_6.2 eller nyere.  Sørg for, at lvm2-pakken er opdateret til den nyeste version. Hvis det ikke er muligt at opdatere lvm2, så er løsningen ikke at bruge LVM-kommandoer, som ændrer diskenhedsgruppens (VG) metadata såsom lvcreate eller lvextend, mens logiske diskenheder VG er i brug.

---

NSS7.4-HA-arkitektur

Figur 1 viser udformningen af NSS7.4-HA. Bortset fra nødvendig software og firmwareopdateringer deler NSS7.4-HA og NSS7.4-HA samme HA-klyngekonfiguration og lagerkonfiguration. Et par NFS-servere i aktiv-passiv-konfiguration med høj tilgængelighed sluttes til PowerVault ME4084. Der er dobbelte SAS-kort i hver NFS-server. Hvert kort har et SAS-kabel til hver controller i det delte lager, så en enkelt SAS-kort- eller SAS-kabelfejl ikke påvirker datatilgængeligheden. (Se NSS7.3-HA white paper for at få flere detaljerede oplysninger om konfigurationen). NSS7.4-HA-arkitektur

 

---

 

Sammenligning af komponenter i NSS7.4-HA vs. NSS7.3-HA

Selvom Dell NSS-HA-løsninger har modtaget mange hardware- og softwareopgraderinger og giver større tilgængelighed, højere ydeevne og større lagerkapacitet siden den første NSS-HA-version, forbliver retningslinjerne for den arkitektoniske udformnings- og implementeringsløsning i NSS-HA-familien uændrede. Denne nyeste version og den tidligere version, NSS7.3-HA, deler den samme lagerkonsol, som er Power Vault ME4084. Nedenstående tabel indeholder en sammenligning af komponenterne i den nyeste NSS7.4-HA-løsning og den tidligere NSS7.3-HA-løsning

 

I resten af bloggen beskrives prøvestands- og I/O-ydeevneoplysningerne vedrørende NSS7.4-HA. For at vise forskellen i ydeevne mellem NSS7.4-HA og den forrige udgave anvendes de tilsvarende ydeevnetal for NSS7.3-HA.

 

---

Prøvestandskonfiguration

Den prøvestand, der anvendes til at evaluere ydeevnen og funktionaliteten i NSS7.4-HA-løsningen beskrives her. Bemærk, at CPU'er anvendt til test af ydeevnen er forskellig fra den, der er valgt til løsningen, da Xeon Gold 6240 CPU'erne ikke var modtaget på tidspunktet for dette arbejde. Planen er at gentage en del af testen, når 6240-processorerne er tilgængelige, og ændre denne rapport efter behov.
    

Tabel 4: NSS 7.4-HA klientkonfiguration   

---

NSS7.4-HA I/O-ydeevneoversigt

Dette afsnit beskriver resultaterne af I/O-ydeevnetests for den nuværende NSS7.4-løsning. Alle ydeevnetests blev udført i et fejlfrit scenarie for at måle løsningens maksimale kapacitet. Testene fokuserede på tre typer I/O-mønstre: Store sekventielle læsninger og skrivninger, mindre tilfældige læsninger og skrivninger, og tre metadatahandlinger (filoprettelse, -opbevaring og -fjernelse). Som den forrige version NSS 7.3-HA bruger løsningen deadline I/O-planlægning og 256 NFS-daemons.

En 840TB (RAW-lagerstørrelse)-konfiguration blev benchmarket med IPoIB-netværkstilslutning over EDR. En 32-knudepunkters databehandlingsklynge blev brugt til at generere en arbejdsbelastning til benchmarking-testene. Hver test blev kørt over en række klienter for at teste løsningens skalerbarhed.

IOzone-og mdtest-benchmarks er brugt i denne undersøgelse. IOzone blev anvendt til de sekventielle tests og tilfældige tests. Til de sekventielle tests blev der anvendt en anmodningsstørrelse på 1024 KiB. Den samlede mængde overførte data var 2 TB for at sikre, at NFS-serverens cachehukommelse var mættet. De tilfældige tests brugte en 4 KiB anmodningsstørrelse, og hver klient læste og skrev en 4 GiB fil. Metadatatestene blev udført vha. mdtest-benchmark med OpenMPI og omfattede filoprettelses-, opbevarings- og fjernelseshandlinger. (Se bilag A i NSS7.3-HA-whitepaper for at udføre kommandoerne, der anvendes ved testene).

 

IPoIB sekventielle skrivninger og læsninger N-N

For at evaluere sekventielle læsninger og skrivninger blev IOzone-benchmark, version 3.487, brugt i den sekventielle læse- og skrivetilstand. Disse tests blev gennemført på tællere med flere tråde startende med 1 tråd og stigende i 2. potens op til 64 tråde. Ved hvert trådtælling genereredes et tilsvarende antal filer, da denne test fungerer på én fil pr. tråd eller N-N-tilfældet. Der er valgt en samlet filstørrelse på 2 TB, som er ligeligt fordelt på antallet af tråde inden for en given test.

Figur 2 giver en sammenligning af den sekventielle I/O-ydelse i NSS 7.4-HA-version med den af NSS 7.3-HA-versionen. Af figuren fremgår det, at den nyeste NSS7.4 og den tidligere NSS7.3 har samme maks. ydeevne, med en læsning på ~ 7 GB/s og maks. skriveevne ~ 5 GB/s. På nogle trådtællinger måltes en 15-20 % reduktion i skriveydeevnen i sammenligning med NSS7.3-HA-løsningen. Undersøgelsen af denne forskel i ydeevne er nu i gang. Læseydeevnen registrerede en stigning på næsten 45 % ved trådtællinger 1 og 2 og en stigning på 18 % ved trådtælling 8. For trådtællinger højere end 8 svarer læseydeevnen til den for NSS7.3-HA-løsningen. Stigningen i læseydeevne ved lavere trådtælling skyldes muligvis hardwareforanstaltningerne, der er truffet som beskyttelse mod sidekanalsangreb på Cascade Lake-processorerne. IPoIB stor sekventiel I/O-ydeevne




 

IPoIB tilfældige skrivninger og læsninger N-N

For at evaluere den tilfældige IO-ydeevne, blev IOzone-version 3.487 brugt i tilfældig tilstand. Testene blev udført på trådtællinger startende fra 1 op til 64 i 2. potens. Registreringsstørrelse blev valgt til 4 KB. Hver klient læste eller skrev en 4 GiB fil for at simulere små tilfældige dataadgange.  Da klyngen kun har 32-noder, blev 64-trådens datapunkt opnået med 32 klienter, der kører 2 tråde hver.

Figur 3 viser sammenligningen af tilfældige skrive-og læse-I/O-ydeevne i NSS 7.4-HA med NSS 7.3-HA. Af figuren fremgår det, at NSS7.4 har samme tilfældige maks. skriveydeevne som NSS7.3-HA, dvs. ~ 7300 IOPS.  I NSS7.4-HA-løsningen, for den nederste trådtælling på 1 og 2, er skriveydeevnen ca. 14 % mindre sammenlignet med den forrige version af løsningen, og dette bliver i øjeblikket undersøgt.  Den tilfældige læseydeevne stiger støt på NSS7.4 og når en maks. ydeevne på 16607 IOPS ved 64 tråde. I den tidligere udgave (NSS7.3-HA) opnåedes den maksimale ydeevne på 28811 IOPS ved 32 tråde, hvilket er 42 % højere end den maksimale ydeevne, der blev opnået for tilfældige læsninger i NSS7.4-HA-løsningen. IPoIB tilfældig I/O-ydeevne



 

IPoIB-metadatahandlinger

MDTest-værktøj version 1.9.3 blev brug til at evaluere systemets metadataydeevne. Den anvendte MPI-fordeling var OpenMPI version 1.10.7.  Metadataetestene blev udført ved at oprette 960000 filer for trådtælling op til 32 og derefter øge antallet af filer for at teste løsningens skalerbarhed som anført i Tabel 5. Metadata test: Distribution af filer og mapper på tværs af tråde 

Antal tråde	Antal filer pr. mappe	Antal mapper pr. tråd	Samlet antal filer
1	3000	320	960000
2	3000	160	960000
4	3000	80	960000
8	3000	40	960000
16	3000	20	960000
32	3000	10	960000
64	3000	8	1536000
128	3000	4	1436000
256	3000	4	3072000
512	3000	4	6144000

Figur 4, figur 5 og figur 6 viser henholdsvis resultaterne af filoprettelses-, opbevarings- og fjernelseshandlinger. Da HPC-databehandlingsklyngen har 32 databehandlingsknudepunkter i nedenstående grafer, udførte hver klient maks. én tråd pr. knudepunkt for tællinger op til 32. For klienttællinger på 64, 128, 256, 512 udførte hvert knudepunkt 2, 4, 8 eller 16 samtidige handlinger. Figur 4: IPoIB-fil Opret ydeevne



Figur 5: IPoIB Fiel stat


performance
Figur 6: IPoIB Fie-Fjern ydeevne



 

---

Konklusion

Nedenstående tabel sammenfatter forskellen i ydeevne, der blev konstateret mellem den nyeste NSS7.4- og NSS7.3-løsning.  Tabel 5: Sammenligning af ydeevnen mellem NSS7.4- og NSS7.3 HA-versionerne

Dell EMC HPC NFS Storage	NSS7.4-HA	NSS7.4 – HA NSS7.3-HA
Sekv. 1 MB skrive spids: 1,4% reduktion	4.834 MB/s	4.906 MB/s
Sekv. 1 MB læsninger: 0,7% reduktion	7.024 MB/s	7.073 MB/s
Tilfældige 4KB-skrivninger spids: 0,7% reduktion	7.290 IOps	7.341 IOps
Tilfældige 4KB-belastninger: 42% reduktion	16.607 IOps	28.811 IOps
Opret operationer/anden top: 1,1% reduktion	54.197 Op/s	54.795 Op/s
Statens arbejds spids/sekundtal: 35% reduktion	522.231 Op/s	808.317 Op/s
Fjernhandlinger/anden spidsbelastning: 35% reduktion	47.345 Op/s	73.320 Op/s

Ud fra ovenstående resultater kan vi konkludere, at den nuværende NSS7.4-HA-løsning giver sammenlignelig ydeevne med forgængeren, NSS7.3-HA-løsningen. Vi planlægger at køre benchmark-tests med Xeon Gold 6240 CPU'er med 18 kerner pr. processor for at finde ud af, om reduktionen i ydeevne ved tilfældige læsninger og reduktionen i ydeevnen ved højere trådtællinger i filopbevarings- og filfjernelseshandlinger skyldes det færre antal kerner, som benyttes i Xeon Gold 6244 CPU'er (8 kerner pr. processor), der anvendes til benchmarking af NSS7.4-HA-løsningen.

---

Referencer

Få detaljerede oplysninger om NSS-HA-løsninger ved at læse vores offentliggjorte whitepapers

 

•  Dell HPC NFS Storage Solution - High Availability (NSS6.0-HA) Configuration with Dell PowerEdge 13th Generation Servers, udgivelsesversion NSS6.0-HA, offentliggjort i november 2014.
•  Dell HPC NFS Storage Solution - High Availability (NSS7.0-HA) Configuration, udgivelsesversion NSS7.0-HA, offentliggjort i maj 2016.
•  Dell EMC Ready Solution for HPC NFS Storage, udgivelsesversion NSS7.3-HA, offentliggjort i marts 2019.