Oversigt

Den seneste version af Dell EMC Ready Solution til HPC NFS Storage (NSS) med High Availability (NSS-HA-løsning) bliver NSS7.3-HA, og udgivelsen er planlagt senere på måneden.
Denne version af NSS indeholder de nye Dell EMC PowerVault ME4084-storagesystemer og Red Hat Enterprise Linux 7.5 og fortsætter med at bruge CPU'erne i Intel Xeon-serien af skalerbare processorer (arkitektur med kodenavnet Skylake) for at tilbyde højere samlet systemydeevne end tidligere NSS-HA-løsninger. Denne blog præsenterer resultaterne af I/O-ydelsestestene for denne seneste version af NSS-løsningen.
Figur 1 viser designet af NSS7.3-HA-konfigurationen. De største forskelle mellem NSS7.3-HA og dens umiddelbare forgænger, NSS7.2-HA er:

• Back end-storage-system:
  • NSS7,2-HA: PowerVault MD3460 + valgfri MD3060e (60 eller 120 harddiske)
  • NSS7,3-HA: PowerVault ME4084 (84 harddiske)
• Operativsystem:
  • NSS7,2-HA: RHEL 7.4
  • NSS7,3-HA: Red Hat® Enterprise Linux® 7.5

Bortset fra elementer som nødvendige software- og firmwareopdateringer deler NSS7.2-HA og NSS7.3-HA det samme HA-klyngedesign og grundlæggende storagekonfiguration. (Se NSS7.0-HA-hvidbogen for at få mere detaljerede oplysninger om konfigurationen.)
En anden stor forbedring fra NSS7.2-HA og NSS7.3-HA er den store stigning i maksimal kapacitet. Mens NSS7.2-HA er begrænset af Red Hat XFS' nuværende supportgrænse på 500 TB, har Dell EMC og Red Hat efter omfattende test og validering i vores laboratorier indgået en samarbejdsaftale, der understøtter NSS7.3-HA-konfigurationer med op til 768 TB brugbar plads. Det er en Dell EMC PowerVault ME4084, der er fuldt udfyldt med 12 TB harddiske eller 1008 TB rå storageplads.

NSS-HA-arkitektur

Figur 1 viser NSS 7.3-arkitekturen inde i det stiplede rektangel, indlejret i det typiske testanlæg, der omfatter klienter og den offentlige netværksswitch.

Figur 1. NSS7.3-HA 1008 TB Raw Space (768 TB brugbar) arkitektur og testbed

Den næste tabel opsummerer de forskellige komponenter i den nye NSS HA 7.3-løsning.
  

Tabel 1. Komponenter til NSS7.2-HA og NSS7.3-HA

	NSS7.2-HA-version (april 2018) "PowerEdge 14. generations servere og MD3460 + MD3060e"	NSS7.3-HA-version (oktober 2018) "14. generations PowerEdge-server og ME4084-baseret løsning"
Software	Red Hat Enterprise Linux 7.4, kerne 3.10.0-693.el7.x86_64 Red Hat skalerbart filsystem (XFS) v4.5.0-12	Red Hat Enterprise Linux 7.5, kerne 3.10.0-862.el7.x86_64 Red Hat skalerbart filsystem (XFS) v4.5.0-15
NFS-servere	To Dell PowerEdge R740-servere. CPU: Dual Intel Xeon Gold 6136 @ 3,0 GHz, 12 kerner pr. processor. Hukommelse: 12 x 16 GiB 2666 MT/s RDIMM'er.
Ekstern netværkstilslutningsmulighed	EDR InfiniBand, 10 GbE eller Intel Omni-Path. Til denne blog, Mellanox ConnectX-4 IB EDR/100 GbE. For ordrer, CX-5 IB EDR/100 GbE.
Interne tilslutningsmuligheder	Gigabit Ethernet, skift Dell Networking S3048-ON
OFED-version	Mellanox OFED 4.3-1.0.1.0	Mellanox OFED 4.4-1.0.0
Direkte lagerforbindelse	12 Gbit/s SAS-forbindelser.
Storage-undersystem	Dell EMC MD3460 + valgfri MD3060e. 60-120-3,5" NL SAS 4 TB-drev. To konfigurationer, 240 eller 480 TB (rå plads). 6 eller 12 LUN er, 8+2 RAID 6, segmentstørrelse 512 KB Ingen reservedele	Dell EMC PowerVault ME4084. 84 - 3,5" NL SAS-drev, op til 12 TB. Én konfiguration: op til 1008 TB (rå plads). 8 LUNs, lineær 8+2 RAID 6, chunk-størrelse 128 KiB. 4 Global-reserveharddiskdrev.

 

Den nye PowerVault ME4084-storage anvender fortsat lineær 8+2 RAID 6 som grundlæggende bygningsenhed med en ny fragmentstørrelse (segmentstørrelse) på 128 KiB og en readahead-værdi på "stripe-størrelse" valgt for optimal ydeevne. Da vi nu har 84 drev, har vi desuden 8 LUN er baseret på RAID 6s og 4 globale ekstra harddiske, der er konfigureret til øjeblikkeligt at erstatte enhver fejlbehæftet disk. Det betyder, at denne løsning kan have op til 768 TB brugbar plads.

NSS7.3-HA I/O-ydeevne

Denne blog præsenterer resultaterne af I/O-ydelsestestene for den aktuelle NSS-HA-løsning, nemlig NSS7.3. Alle ydelsestests blev udført i et fejlfrit HA-scenarie for at måle løsningens maksimale kapacitet. Testene fokuserede på tre typer I/O-mønstre: store sekventielle læsninger og skrivninger, små vilkårlige læsninger og skrivninger og tre metadatahandlinger (filoprettelse, statistik og fjernelse).
Der blev brugt en beregningsklynge med 32 noder til at generere arbejdsbelastning til benchmarkingtestene. Klienterne og NSS-konfigurationen på 1008 TB (rå lagerstørrelse) blev forbundet ved hjælp af InfiniBand EDR og filsystemet monteret via IPoIB. Hver I/O-benchmarktest blev kørt over en række klienter for at teste løsningens skalerbarhed. Oplysninger om de anvendte klienter er angivet i den næste tabel.

Tabel 2. Klientkonfiguration (test af ydeevne)

Servermodel	PowerEdge C6420
Antal servere	32 Server klynge
CPU	Intel(R) Xeon(R) Gold 6148 CPU @ 2,40 GHz
RAM	192 GiB
Operativsystem	Red Hat Enterprise Linux Server version 7.4
Kerne	3.10.0-693.17.1.el7.x86_64
Netværkskort	Mellanox ConnectX-4 VPI IB EDR/100 GbE enkeltport QSFP28
OFED-version	MLNX_OFED-4.3.1.0.1.0

 

IOzone og MDtest benchmarks blev brugt i denne undersøgelse. IOzone blev brugt til sekventielle og tilfældige tests. Til sekventielle tests blev der anvendt en anmodningsstørrelse på 1024 KiB. Den samlede mængde data, der blev overført, var 256 GiB for at sikre, at NFS-servercachen var mættet. Tilfældige tests brugte en 4 KiB-anmodningsstørrelse, og hver klient læste og skrev en 4 GiB-fil. Metadatatest blev udført ved hjælp af MDtest-benchmarket med OpenMPI og omfattede handlinger til filoprettelse, statistik og fjernelse. (Se appendiks A i NSS7.0-HA-hvidbogen for de komplette kommandoer, der blev brugt i testene.)

IPoIB sekventielle skrivninger og læser

Figur 2 og 3 viser den sekventielle skrive- og læseydelse. Da testklyngen havde 32 noder, blev datapunktet med 64 tråde opnået ved hjælp af 32 klienter, der kørte 2 tråde hver.
For NSS7.3-HA er den maksimale læseydelse 7 GB / sek, og den maksimale skriveydelse er næsten 5 GB / sek. Ud fra de to tal er det indlysende, at den nuværende NSS7.3-HA-løsning har højere sekventielle ydelsestal end den tidligere version. Læsninger er op til 18,7% bedre, men skriveydelsen er især bedre med op til 2,65 gange (ved 16 tråde) ydeevnen af den tidligere løsning. Når man sammenligner topydelsesværdier, er skrivninger på NSS7.3-HA 2.13 gange hurtigere, og læsninger er 12.5% bedre.
Dette skyldes til dels den højere interne SAS-hastighed på 12 Gbps for alle interne PowerVault ME4084-komponenter, herunder harddiske (PowerVault MD3460 var 6 Gbps), hvilket giver mulighed for en højere overførselshastighed pr. LUN, men også de nye storagecontrollere, der kan behandle oplysninger hurtigere end den forrige generation af PowerVault MD3.

Figur 2. IPoIB stor sekventiel skriveydeevne

 

Figur 3. IPoIB stor sekventiel læseydeevne

IPoIB vilkårligt skriver og læser

Figur 4 og figur 5 viser den vilkårlige skrive- og læseydeevne.
Fra figuren opnår den tilfældige skrivning maksimal ydeevne ved 32 tråde, mens den tidligere version af løsningen toppede ved 64 tråde. Den tilfældige læseydelse stiger støt på NSS7.3 op til 32 klienter, og for den tidligere løsning var toppen på 16 klienter. Igen viser den nye storage sin overlegne ydeevne i forhold til forgængeren med op til 3,44 gange forbedring af skrivninger (ved 2 tråde) og 85 % højere læseydelse (ved 32 tråde) end forgængeren. Sammenligning af toppræstationer er forskellen ca. 13% på tilfældige skrivninger og 85% på tilfældige læsninger. Disse forbedringer skyldes primært de nye PowerVault ME4084-controllere, som har hurtigere processoregenskaber sammenlignet med PowerVault MD3460-controllere.

Figur 4. IPoIB ydeevne for vilkårlig skrivning

Figur 5. IPoIB vilkårlig læseydeevne

 

IPoIB-metadatahandlinger

Figur 6, figur 7 og figur 8 viser resultaterne af henholdsvis filoprettelse, statistik og fjernelse. Da HPC-beregningsklyngen kun har 32 beregningsnoder, har hver klient i graferne nedenfor maksimalt udført én tråd for klienttællinger på op til 32, og for trådtællinger på 64, 128, 256 og 512 har hver klient udført 2, 4, 8 eller 16 samtidige handlinger (tråde).
For filoprettelser, sammenlignet med den tidligere løsning, viser den nye løsning en vedvarende forbedring på ca. det dobbelte af ydeevnen med en spidsforskel (208%) ved 32 klienter, og falder derefter lidt, men selv hvis man sammenligner topydelsen for begge løsninger ved 256 tråde, er den nye løsning 30% hurtigere.
Stat-operationer forbedres mest af det nye lager, hvor forbedringerne er så høje som 7,7 gange af forgængeren ved 256 tråde, og sammenligner man toppræstationerne, viser NSS7.3 næsten 6 gange antallet af statoperationer pr. sekund end den tidligere version af NSS.
Endelig har fjernelseshandlinger en marginal forbedring med de fleste datapunkter på 33% eller bedre ydeevne end den tidligere løsning; Bortset fra 128 tråde, hvor ydeevnen er 2.21 gange bedre. Ved maksimal ydeevne opnår den nye storage næsten 55 % højere ydeevne sammenlignet med det tidligere NSS-system.
Alle disse forbedringer skyldes de hurtigere harddiske med SAS3-hastigheder (12 Gbps) hele vejen rundt, samt de nye PowerVault ME4084-controllere, der kan give højere IOPs og båndbredde.

Figur 6. IPoIB-filoprettelsesydeevne

 

 

 

Figur 8. IPoIB-filfjernelsesydeevne

Konklusioner og fremtidigt arbejde

I løbet af de forskellige generationer af løsningen har NSS-HA-løsningen gennemgået mange hardware- og softwareopdateringer for løbende at tilbyde høj tilgængelighed, højere ydeevne og større lagerkapacitet. I alle disse versioner er det arkitektoniske kernedesign af NSS-HA-løsningsfamilien forblevet uændret. For at vise ydeevneforskellen mellem NSS7.3-HA og den forrige version (NSS7.2-HA) blev ydeevnetallene for begge løsninger kontrasteret, hvilket viser den overlegne ydeevne for den nyeste version af løsningen baseret på PowerVault ME4084: 

•  Op til 2,65 gange den sekventielle skrivning og op til 18,7 % hurtigere læseydelse.
  
•  Op til 3,44 gange den vilkårlige skrivning og op til 85 % hurtigere vilkårlig læsning.
  
•  Op til 2,1 gange oprettelseshastigheden, 7,7 gange statistikhastigheden og 2,2 gange fjernelseshastigheden.

  Den næste fase vil karakterisere NSS7.3-HA-løsningen, der er forbundet med Intel Omni-Path-adaptere. For detaljeret information om NSS-HA-løsninger henvises til vores offentliggjorte hvidbøger:

•  Dell HPC NFS Storage Solution High Availability Configurations, udgivelsesversion NSS2-HA, udgivet i april 2011.
  
•  Dell HPC NFS Storage Solution High Availability Configurations with Large Capacity, udgivelsesversion NSS3-HA, udgivet i februar 2012.
  
•  Dell HPC NFS Storage Solution High Availability (NSS-HA)-konfigurationer med Dell PowerEdge 12. generations servere, udgivelsesversion NSS4-HA, udgivet i juli 2012.
  
•  Dell HPC NFS-storageløsning – NSS-HA-konfiguration (High Availability) med Dell PowerVault MD3260/MD3060e-storagesystemer, versionsversion NSS4.5-HA opdateret, udgivet i maj 2013.
  
•  Dell HPC NFS Storage Solution – High Availability NSS5-HA configurations, udgivelsesversionNSS5.0-HA, udgivet i september 2013.
  
•  Dell HPC NFS-storageløsning – High Availability-konfiguration (NSS5.5-HA) med Dell PowerVault MD3460- og MD3060e-storagesystemer, udgivelsesversionNSS5.5-HA, udgivet i september 2013.
  
•  Dell HPC NFS Storage Solution - High Availability (NSS6.0-HA) Configuration with Dell PowerEdge 13th Generation Servers, udgivelsesversion NSS6.0-HA, offentliggjort i november 2014.
  
•  Dell HPC NFS Storage Solution - High Availability (NSS7.0-HA) Configuration, udgivelsesversion NSS7.0-HA, offentliggjort i maj 2016.

   

  Bemærk: Kontakt din Dell EMC-repræsentant for specifikke retningslinjer for alle tilpassede konfigurationer/implementeringer.