Zu den Hauptinhalten
  • Bestellungen schnell und einfach aufgeben
  • Bestellungen anzeigen und den Versandstatus verfolgen
  • Profitieren Sie von exklusiven Prämien und Rabatten für Mitglieder
  • Erstellen Sie eine Liste Ihrer Produkte, auf die Sie jederzeit zugreifen können.

Dell EMC HPC NFS Storage Solution - konfiguration med høj tilgængelighed (NSS7.4 - HA)

Zusammenfassung: Denne blog beskriver Dell EMC HPC NFS Storage Solution, version 7.4 (NSS7.4-HA), som udnytter Intels anden generations, skalerbare Xeon-processorer med kodenavnet "Cascade Lake". ...

Dieser Artikel gilt für Dieser Artikel gilt nicht für Dieser Artikel ist nicht an ein bestimmtes Produkt gebunden. In diesem Artikel werden nicht alle Produktversionen aufgeführt.

Symptome

Artikel skrevet af Nirmala Sundararajan og Mario Gallegos fra Dell EMC HPC og AI Innovation Lab i juni 2019

Ursache

Lösung


Løsningsoversigt

Denne blog beskriver Dell EMC HPC NFS Storage Solution, version 7.4 (NSS7.4-HA), som udnytter Intels anden generations, skalerbare Xeon-processorer med kodenavnet "Cascade Lake".  Disse forbedrede Xeon-processorer har op til 28 kerner, op til 38,5 MB cachehukommelse på sidste niveau og seks 2933 MT/s-hukommelseskanaler pr. sokkel.  De vigtigste funktioner i overlappende sø-processorer er integreret hardware afhjælpning i forhold til side kanals angreb, Intel DL Boost (VNNI) og understøttelse af øgede clock-hastigheder og hukommelses hastigheder.

Overlappende sø-og dets forgænger Skylake omfatter en funktion, der kaldes ADDDC (endaptive double DRAM device Correction). ADDDC implementeres i driftstid for dynamisk at kortlægge svigtende DRAM-enheder og samtidig fortsætte med at yde Single Device data Correction (SDDC), ECC-fejlkorrektionskode (EEC) for hukommelse, hvilket betyder længere DIMM-modullevetid. Denne funktion aktiveres kun for x4 DRAM-enheder og er slået fra, når der er x8 DRAM-enheder i systemet. Eftersom den nyeste NSS-HA-version 7.4 kun bruger 16 GB hukommelse, hvilket er x8 organisation, gråtones ADDDC og er ikke en anvendelig indstilling i BIOS. Hvis du imidlertid bruger 32 GB hukommelse, som er X4, vil ADDDC være tilgængelig som en tunable-funktion, og det anbefales at indstilles til deaktiveret for at tilfredsstille præstationen i henhold til RAS funktioner.

Det anbefales at konfigurere de NFS servere med HPC profilen som beskrevet i blog "BIOS-karakterisering for Intel Cascade-processorer" Dette omfatter justering af BIOS til at indstille under-Numa-klynger aktiveret, logisk processor deaktiveret og system profil er indstillet til "ydeevne". Hvis du opgraderer et eksisterende system, skal du kontrollere, at BIOS først opdateres til en version, som understøtter Cascade Lake CPU’er, før CPU'erne opgraderes til Cascade Lake-processorer. HPC-teknikerteamet hos HPC and AI Innovation Lab har udført en række benchmark-tests med NSS-servere udstyret med Cascade Lake-processorer og sammenlignede resultaterne med dem, som tidligere blev opnået ved NSS7.3-HA-løsningen, som brugte den nyeste version af PowerEdge-servere udstyret med den forrige generation af "Skylake-SP"-processorer i Xeon-familien. Benchmark-resultaterne og sammenligningen præsenteres i denne blog.

NFS Storage-løsningen, der leveres af Dell EMC, er optimeret og tilpasset til den bedste ydelse.  Ved indstilling af NSS7.4-HA-løsningen skal følgende vigtige punkter bemærkes:
  1. Minimum understøttet operativsystem til brug af Cascade Lake-processorer er Red Hat Enterprise Linux 7.6. Med kerneversion 3.10.0-957.el7 hænger NFS-deling imidlertid med en opgave, f.eks. kworker, som forbruger 100 % af CPU'en. Årsagen til problemet skyldes, at TCP-laget kommer ud af synkronisering med sunrpc-lagenes transporttilstand. Dette problem er blevet løst med pakken kernel-3.10.0-957.5.1.el7 eller nyere. Basisoperativsystemet, der bruges til denne løsning, er således RHEL7.6, og kerneversionen er kernel-3.10.0-957.5.1.el7. Se https://access.redhat.com/solutions/3742871 for at få flere oplysninger.
  2. For NSS7.4-HA-løsningen, medmindre følgende pakker installeres, vil nfsserver-ressourcen ikke starte, fordi nfs-idmapd.service ikke kan starte. Se https://access.redhat.com/solutions/3746891 for at få flere oplysninger.
    • resource-agents-4.1.1-12.el7_6.4
    • resource-agents-aliyun-4.1.1-12.el7_6.4
    • resource-agents-gcp-4.1.1-12.el7_6.4 eller nyere.
  3. Produktmeddelelser vedrørende RHEL7.6 henleder opmærksomheden på, at en fejl i I/O-laget i LVM medfører dataødelæggelse i de første 128 KB af den allokerbare plads på en fysisk diskenhed.  Problemet er blevet løst med lvm2-2.02.180-10.el7_6.2 eller nyere.  Sørg for, at lvm2-pakken er opdateret til den nyeste version. Hvis det ikke er muligt at opdatere lvm2, så er løsningen ikke at bruge LVM-kommandoer, som ændrer diskenhedsgruppens (VG) metadata såsom lvcreate eller lvextend, mens logiske diskenheder VG er i brug.



NSS7.4-HA-arkitektur

Figur 1 viser udformningen af NSS7.4-HA. Bortset fra nødvendig software og firmwareopdateringer deler NSS7.4-HA og NSS7.4-HA samme HA-klyngekonfiguration og lagerkonfiguration. Et par NFS-servere i aktiv-passiv-konfiguration med høj tilgængelighed sluttes til PowerVault ME4084. Der er dobbelte SAS-kort i hver NFS-server. Hvert kort har et SAS-kabel til hver controller i det delte lager, så en enkelt SAS-kort- eller SAS-kabelfejl ikke påvirker datatilgængeligheden. (Se NSS7.3-HA white paper for at få flere detaljerede oplysninger om konfigurationen). NSS7.4-HA-arkitektur
SLN317325_en_US__1001
 

 

Sammenligning af komponenter i NSS7.4-HA vs. NSS7.3-HA

Selvom Dell NSS-HA-løsninger har modtaget mange hardware- og softwareopgraderinger og giver større tilgængelighed, højere ydeevne og større lagerkapacitet siden den første NSS-HA-version, forbliver retningslinjerne for den arkitektoniske udformnings- og implementeringsløsning i NSS-HA-familien uændrede. Denne nyeste version og den tidligere version, NSS7.3-HA, deler den samme lagerkonsol, som er Power Vault ME4084. Nedenstående tabel indeholder en sammenligning af komponenterne i den nyeste NSS7.4-HA-løsning og den tidligere NSS7.3-HA-løsning

 
Tabel 1: Tabel 1: Sammenligning af komponenterne i NSS7.4-HA vs. NSS7.3-HA 
Løsning NSS7.4-HA-udgave (juni 2019) NSS7.3-HA-udgave (oktober 2018)
NFS Server-model 2x Dell EMC PowerEdge R740
Interne tilslutningsmuligheder Gigabit Ethernet via Dell Networking S3048-ON
Lagringsundersystem Dell EMC PowerVault ME4084
84-3,5 "NL SAS-drev, op til 12TB.
Understøtter op til 1008TB (RAW-rum)
8 LUN'er, lineær 8 + 2 RAID 6, segmentstørrelse 128KiB.
4 Global-reserveharddiskdrev.
Lagerforbindelse 12 Gbit/s SAS-forbindelser.
Processor 2x Intel Xeon Gold 6240 ved 2,6 GHz, 18 kerner pr. processor 2x Intel Xeon Gold 6136 ved 3,0 GHz, 12 kerner pr. processor
Hukommelse 12 x 16 GiB 2933 MT/s RDIMM-moduler 12 x 16 GiB 2666 MT/s RDIMM-moduler
Operativsystem Red Hat Enterprise Linux 7.6 Red Hat Enterprise Linux 7.5
Kerneversion 3.10.0-957.5.1.el7.x86_64 3.10.0-862.el7.x86_64
Red Hat skalerbart filsystem (XFS) v4.5.0-18 v4.5.0-15
Ekstern netværkstilslutningsmulighed Mellanox ConnectX-5 InfiniBand EDR/100 GbE og 10 GbE Mellanox ConnectX-5 InfiniBand EDR og 10 GbE.
For NSS 7.3-ha-løsnings blog, Mellanox ConnectX-4 Ib EDR/100 GbE.
OFED-version Mellanox OFED 4.5-1.0.1.0 Mellanox OFED 4.4-1.0.0


I resten af bloggen beskrives prøvestands- og I/O-ydeevneoplysningerne vedrørende NSS7.4-HA. For at vise forskellen i ydeevne mellem NSS7.4-HA og den forrige udgave anvendes de tilsvarende ydeevnetal for NSS7.3-HA.

 



Prøvestandskonfiguration

Den prøvestand, der anvendes til at evaluere ydeevnen og funktionaliteten i NSS7.4-HA-løsningen beskrives her. Bemærk, at CPU'er anvendt til test af ydeevnen er forskellig fra den, der er valgt til løsningen, da Xeon Gold 6240 CPU'erne ikke var modtaget på tidspunktet for dette arbejde. Planen er at gentage en del af testen, når 6240-processorerne er tilgængelige, og ændre denne rapport efter behov.
 
Tabel 2: NSS 7.4-HA hardware konfiguration 
Serverkonfiguration
NFS Server-model Dell PowerEdge R740
Processor 2x Intel Xeon Gold 6244 CPU ved 3,60 GHz med 8 kerner hver
Hukommelse 12 x 16 GiB 2933 MT/s RDIMM-moduler
Lokale harddiske og RAID-controller PERC H730P med fem 300 GB 15K SAS-harddiske. To diske er konfigureret i RAID1 til operativsystemet, to diske er konfigureret i RAID0 til at kunne bytte plads, og den femte disk er en anvendelig reserve til RAID1-diskgruppen.
Mellanox EDR-kort (plads 8) Mellanox ConnectX-5 EDR-kort
1 GbE Ethernet-kort (datterkortplads) Broadcom 5720 QP 1 Gigabit Ethernet-netværksdatterkort. Eller Intel(R) Gigabit 4P I350-t rNDC
Ekstern lagercontroller (plads 1 og plads 2) Two Dell 12 Gbit/s SAS HBA'er
Systemadministration iDRAC9 Enterprise
Lagerkonfiguration
Lagerkabinet 1x Dell PowerVault ME4084-kabinet
RAID-controllere Dupleks RAID-controllere i Dell ME4084
Harddiske 84 x 10 TB 7,2 K NL SAS-harddiske pr. system, 84 x 10 TB harddiske i alt
Andre komponenter
Privat Gigabit Ethernet-switch Dell Networking S3048-ON
Strømfordelingsenhed To APC-koblede rack-PDU’er, model AP7921B


Tabel 3: NSS 7.4-HA server software versioner 
Component Beskrivelse
Operativsystem Red Hat Enterprise Linux (RHEL) 7.6 x86_64 errata
Kerneversion 3.10.0-957.5.1.el7.x86_64
Klyngepakke Red Hat Cluster Suite fra RHEL 7.6
Filsystem Red Hat skalerbart filsystem (XFS) 4.5.0-18.
Systemadministrationsværktøj Dell OpenManage Server Administrator 9.3.0-3407_A00
  

Tabel 4: NSS 7.4-HA klientkonfiguration 
Component Beskrivelse
Servere 32x Dell EMC PowerEdge C6420-databehandlingsknudepunkter
CPU 2x Intel Xeon Gold 6148 CPU ved 2,40 GHz med 20 kerner pr. processor
Hukommelse 12 x 16 GiB 2666 MT/s RDIMM-moduler
Operativsystem Red Hat Enterprise Linux Server, version 7.6
Kerneversion 3.10.0-957.el7.x86_64
 Interconnect Mellanox InfiniBand EDR
OFED-version 4.3-1.0.1.0
ConnectX-4-firmware 12.17.2052
 


NSS7.4-HA I/O-ydeevneoversigt

Dette afsnit beskriver resultaterne af I/O-ydeevnetests for den nuværende NSS7.4-løsning. Alle ydeevnetests blev udført i et fejlfrit scenarie for at måle løsningens maksimale kapacitet. Testene fokuserede på tre typer I/O-mønstre: Store sekventielle læsninger og skrivninger, mindre tilfældige læsninger og skrivninger, og tre metadatahandlinger (filoprettelse, -opbevaring og -fjernelse). Som den forrige version NSS 7.3-HA bruger løsningen deadline I/O-planlægning og 256 NFS-daemons.

En 840TB (RAW-lagerstørrelse)-konfiguration blev benchmarket med IPoIB-netværkstilslutning over EDR. En 32-knudepunkters databehandlingsklynge blev brugt til at generere en arbejdsbelastning til benchmarking-testene. Hver test blev kørt over en række klienter for at teste løsningens skalerbarhed.

IOzone-og mdtest-benchmarks er brugt i denne undersøgelse. IOzone blev anvendt til de sekventielle tests og tilfældige tests. Til de sekventielle tests blev der anvendt en anmodningsstørrelse på 1024 KiB. Den samlede mængde overførte data var 2 TB for at sikre, at NFS-serverens cachehukommelse var mættet. De tilfældige tests brugte en 4 KiB anmodningsstørrelse, og hver klient læste og skrev en 4 GiB fil. Metadatatestene blev udført vha. mdtest-benchmark med OpenMPI og omfattede filoprettelses-, opbevarings- og fjernelseshandlinger. (Se bilag A i NSS7.3-HA-whitepaper for at udføre kommandoerne, der anvendes ved testene).

 

IPoIB sekventielle skrivninger og læsninger N-N

For at evaluere sekventielle læsninger og skrivninger blev IOzone-benchmark, version 3.487, brugt i den sekventielle læse- og skrivetilstand. Disse tests blev gennemført på tællere med flere tråde startende med 1 tråd og stigende i 2. potens op til 64 tråde. Ved hvert trådtælling genereredes et tilsvarende antal filer, da denne test fungerer på én fil pr. tråd eller N-N-tilfældet. Der er valgt en samlet filstørrelse på 2 TB, som er ligeligt fordelt på antallet af tråde inden for en given test.

Figur 2 giver en sammenligning af den sekventielle I/O-ydelse i NSS 7.4-HA-version med den af NSS 7.3-HA-versionen. Af figuren fremgår det, at den nyeste NSS7.4 og den tidligere NSS7.3 har samme maks. ydeevne, med en læsning på ~ 7 GB/s og maks. skriveevne ~ 5 GB/s. På nogle trådtællinger måltes en 15-20 % reduktion i skriveydeevnen i sammenligning med NSS7.3-HA-løsningen. Undersøgelsen af denne forskel i ydeevne er nu i gang. Læseydeevnen registrerede en stigning på næsten 45 % ved trådtællinger 1 og 2 og en stigning på 18 % ved trådtælling 8. For trådtællinger højere end 8 svarer læseydeevnen til den for NSS7.3-HA-løsningen. Stigningen i læseydeevne ved lavere trådtælling skyldes muligvis hardwareforanstaltningerne, der er truffet som beskyttelse mod sidekanalsangreb på Cascade Lake-processorerne. IPoIB stor sekventiel I/O-ydeevne

SLN317325_en_US__2image002 (3)


 

IPoIB tilfældige skrivninger og læsninger N-N

For at evaluere den tilfældige IO-ydeevne, blev IOzone-version 3.487 brugt i tilfældig tilstand. Testene blev udført på trådtællinger startende fra 1 op til 64 i 2. potens. Registreringsstørrelse blev valgt til 4 KB. Hver klient læste eller skrev en 4 GiB fil for at simulere små tilfældige dataadgange.  Da klyngen kun har 32-noder, blev 64-trådens datapunkt opnået med 32 klienter, der kører 2 tråde hver.

Figur 3 viser sammenligningen af tilfældige skrive-og læse-I/O-ydeevne i NSS 7.4-HA med NSS 7.3-HA. Af figuren fremgår det, at NSS7.4 har samme tilfældige maks. skriveydeevne som NSS7.3-HA, dvs. ~ 7300 IOPS.  I NSS7.4-HA-løsningen, for den nederste trådtælling på 1 og 2, er skriveydeevnen ca. 14 % mindre sammenlignet med den forrige version af løsningen, og dette bliver i øjeblikket undersøgt.  Den tilfældige læseydeevne stiger støt på NSS7.4 og når en maks. ydeevne på 16607 IOPS ved 64 tråde. I den tidligere udgave (NSS7.3-HA) opnåedes den maksimale ydeevne på 28811 IOPS ved 32 tråde, hvilket er 42 % højere end den maksimale ydeevne, der blev opnået for tilfældige læsninger i NSS7.4-HA-løsningen. IPoIB tilfældig I/O-ydeevne

SLN317325_en_US__303 (1)

 

IPoIB-metadatahandlinger

MDTest-værktøj version 1.9.3 blev brug til at evaluere systemets metadataydeevne. Den anvendte MPI-fordeling var OpenMPI version 1.10.7.  Metadataetestene blev udført ved at oprette 960000 filer for trådtælling op til 32 og derefter øge antallet af filer for at teste løsningens skalerbarhed som anført i Tabel 5. Metadata test: Distribution af filer og mapper på tværs af tråde 
Antal tråde Antal filer pr. mappe Antal mapper pr. tråd Samlet antal filer
1 3000 320 960000
2 3000 160 960000
4 3000 80 960000
8 3000 40 960000
16 3000 20 960000
32 3000 10 960000
64 3000 8 1536000
128 3000 4 1436000
256 3000 4 3072000
512 3000 4 6144000


Figur 4, figur 5 og figur 6 viser henholdsvis resultaterne af filoprettelses-, opbevarings- og fjernelseshandlinger. Da HPC-databehandlingsklyngen har 32 databehandlingsknudepunkter i nedenstående grafer, udførte hver klient maks. én tråd pr. knudepunkt for tællinger op til 32. For klienttællinger på 64, 128, 256, 512 udførte hvert knudepunkt 2, 4, 8 eller 16 samtidige handlinger.
I filoprettelser er der en 20 % forbedring i ydeevnen op til 16 tråde, og fra 32 tråde og fremefter er ydeevnen i begge versioner næsten ens. 
Operations handlinger i NSS 7.4 registrerede en 10% forbedring af ydeevnen for de lavere tråd-antal (1, 2, 8 og 16) og en > 30% reduktion i ydeevnen ved højere tråds antal (fra 64 tråde til 512 tråde).
Endelig har fjernelses arbejderne en formindskelse på 14% op til 64 klienter og en > på 20% for at reducere antallet af 128.256 og 512.

 
Figur 4: IPoIB-fil Opret ydeevne
SLN317325_en_US__404 (1)


Figur 5: IPoIB Fiel stat
SLN317325_en_US__505 (1)

performance
Figur 6: IPoIB Fie-Fjern ydeevne
SLN317325_en_US__606 (1)


 

Konklusion

Nedenstående tabel sammenfatter forskellen i ydeevne, der blev konstateret mellem den nyeste NSS7.4- og NSS7.3-løsning.  Tabel 5: Sammenligning af ydeevnen mellem NSS7.4- og NSS7.3 HA-versionerne
Dell EMC HPC NFS Storage NSS7.4-HA NSS7.4 – HA NSS7.3-HA
Sekv. 1 MB skrive spids: 1,4% reduktion 4.834 MB/s 4.906 MB/s
Sekv. 1 MB læsninger: 0,7% reduktion 7.024 MB/s 7.073 MB/s
Tilfældige 4KB-skrivninger spids: 0,7% reduktion 7.290 IOps 7.341 IOps
Tilfældige 4KB-belastninger: 42% reduktion 16.607 IOps 28.811 IOps
Opret operationer/anden top: 1,1% reduktion 54.197 Op/s 54.795 Op/s
Statens arbejds spids/sekundtal: 35% reduktion 522.231 Op/s 808.317 Op/s
Fjernhandlinger/anden spidsbelastning: 35% reduktion 47.345 Op/s 73.320 Op/s


Ud fra ovenstående resultater kan vi konkludere, at den nuværende NSS7.4-HA-løsning giver sammenlignelig ydeevne med forgængeren, NSS7.3-HA-løsningen. Vi planlægger at køre benchmark-tests med Xeon Gold 6240 CPU'er med 18 kerner pr. processor for at finde ud af, om reduktionen i ydeevne ved tilfældige læsninger og reduktionen i ydeevnen ved højere trådtællinger i filopbevarings- og filfjernelseshandlinger skyldes det færre antal kerner, som benyttes i Xeon Gold 6244 CPU'er (8 kerner pr. processor), der anvendes til benchmarking af NSS7.4-HA-løsningen.



Referencer

Få detaljerede oplysninger om NSS-HA-løsninger ved at læse vores offentliggjorte whitepapers

 

Betroffene Produkte

High Performance Computing Solution Resources
Artikeleigenschaften
Artikelnummer: 000145124
Artikeltyp: Solution
Zuletzt geändert: 28 Feb. 2021
Version:  4
Antworten auf Ihre Fragen erhalten Sie von anderen Dell NutzerInnen
Support Services
Prüfen Sie, ob Ihr Gerät durch Support Services abgedeckt ist.