Oversikt

Den nyeste versjonen av Dell EMC Ready Solution for HPC NFS Storage (NSS) med høy tilgjengelighet (NSS-HA-løsning) vil være NSS7.3-HA, med lansering planlagt senere denne måneden.
Denne utgivelsen av NSS omfatter de nye Dell EMC PowerVault ME4084-lagringsmatrisene og Red Hat Enterprise Linux 7.5, og fortsetter å bruke CPU-er i Intel Xeon Scalable Processor-serien (arkitektur med kodenavnet Skylake) for å tilby høyere generell systemytelse enn tidligere NSS-HA-løsninger. Denne bloggen presenterer resultatene av I/O-ytelsestestene for denne siste versjonen av NSS-løsningen.
Figur 1 viser utformingen av NSS7.3-HA-konfigurasjonen. De største forskjellene mellom NSS7.3-HA og dens umiddelbare forgjenger, NSS7.2-HA er:

• Back End-lagringsmatrise:
  • NSS7.2-HA: PowerVault MD3460 + valgfri MD3060e (60 eller 120 HDD-er)
  • NSS7.3-HA: PowerVault ME4084 (84 HDD-er)
• Operativsystem:
  • NSS7.2-HA: RHEL 7.4
  • NSS7.3-HA: Red Hat® Enterprise Linux® 7.5

Bortsett fra elementer som nødvendige programvare- og fastvareoppdateringer, deler NSS7.2-HA og NSS7.3-HA samme HA-klyngedesign og grunnleggende lagringskonfigurasjon. (Se NSS7.0-HA-rapporten for mer detaljert informasjon om konfigurasjonen.)
En annen stor forbedring fra NSS7.2-HA og NSS7.3-HA, er den store økningen i maksimal kapasitet. Mens NSS7.2-HA er begrenset av Red Hat XFS' nåværende støttegrense på 500 TB, inngikk Dell EMC og Red Hat etter omfattende testing og validering i laboratoriene våre en samarbeidsavtale som støtter NSS7.3-HA-konfigurasjoner med opptil 768 TB bruksklar plass. Det vil si en Dell EMC PowerVault ME4084 som er fullt utstyrt med 12 TB HDD-er eller 1008 TB rå lagringsplass.

NSS-HA-arkitektur

Figur 1 viser NSS 7.3-arkitekturen inne i det stiplede rektangelet, innebygd i den typiske testsengen som inkluderer klienter og den offentlige nettverkssvitsjen.

Figur 1. NSS7.3-HA 1008 TB ukomprimert plass (768 TB kan brukes) Arkitektur og testmiljø

Den neste tabellen oppsummerer de ulike komponentene i den nye NSS HA 7.3-løsningen.
  

Tabell 1. Komponenter til NSS7.2-HA og NSS7.3-HA

	NSS7.2-HA-utgivelse (april 2018) "14. generasjons PowerEdge-servere og MD3460 + MD3060e"	NSS7.3-HA-utgivelse (oktober 2018) "14. generasjons PowerEdge-server og ME4084-basert løsning"
Programvare	Red Hat Enterprise Linux 7.4, kjerne 3.10.0-693.el7.x86_64 Red Hat Scalable File System (XFS) v4.5.0-12	Red Hat Enterprise Linux 7.5, kjerne 3.10.0-862.el7.x86_64 Red Hat Scalable File System (XFS) v4.5.0-15
NFS-servere	To Dell PowerEdge R740-servere. CPU: Dobbel Intel Xeon Gold 6136 @ 3,0 GHz, 12 kjerner per prosessor. Minne: 12 x 16 GiB, 2666 MT/s, RDIMM-er.
Ekstern nettverkstilkobling	EDR InfiniBand, 10 GbE eller Intel Omni-Path. For denne bloggen, Mellanox ConnectX-4 IB EDR/100 GbE. For bestillinger, CX-5 IB EDR / 100 GbE.
Intern tilkoblingsmulighet	Gigabit Ethernet, svitsj Dell Networking S3048-ON
OFED-versjon	Mellanox OFED 4.3-1.0.1.0	Mellanox OFED 4.4-1.0.0
Tilkobling til direkte lagring	12 GB/s SAS-tilkoblinger.
Lagringsundersystem	Dell EMC MD3460 + valgfri MD3060e. 60 – 120 – 3,5" NL SAS 4 TB-disker. To konfigurasjoner, 240 eller 480 TB (ledig plass). 6 eller 12 LUN-er, 8+2 RAID 6, segmentstørrelse 512KiB Ingen reservedeler	Dell EMC PowerVault ME4084. 84–3,5" NL SAS-disker, opptil 12 TB. Én konfigurasjon: opptil 1008 TB (ukomprimert plass). 8 LUN-er, lineær 8 + 2 RAID 6, 128 KiB delstørrelse. 4 globale reserveharddisker.

 

Den nye PowerVault ME4084-lagringen fortsetter å bruke lineær 8+2 RAID 6 som grunnleggende bygningsenhet med en ny delstørrelse (segmentstørrelse) på 128 KiB og en leseverdi for "stripestørrelse" valgt for optimal ytelse. Siden vi nå har 84 disker, har vi 8 LUN-er basert på RAID 6s og 4 globale reserveharddisker konfigurert til å umiddelbart erstatte eventuelle defekte disker. Det betyr at denne løsningen kan ha opptil 768 TB bruksplass.

NSS7.3-HA I/O-ytelse

Denne bloggen presenterer resultatene av I / O-ytelsestestene for den nåværende NSS-HA-løsningen, nemlig NSS7.3. Alle ytelsestester ble utført i et scenario uten HA for å måle maksimal funksjonalitet for løsningen. Testene fokuserte på tre typer I / O-mønstre: store sekvensielle leser og skriver, små tilfeldige leser og skriver, og tre metadataoperasjoner (filopprette, stat og fjern).
En 32-noders beregningsklynge ble brukt til å generere arbeidsbelastning for ytelsestestingene. Klientene og 1008 TB (rå lagringsstørrelse) NSS-konfigurasjonen ble koblet til ved hjelp av InfiniBand EDR og filsystemet montert via IPoIB. Hver I/O-ytelsestest ble kjørt over en rekke klienter for å teste skalerbarheten til løsningen. Detaljer om klientene som brukes, er oppført i neste tabell.

Tabell 2. Klientkonfigurasjon (ytelsestesting)

Servermodell	PowerEdge C6420
Antall servere	32 serverklynger
CPU	Intel (R) Xeon (R) Gold 6148 CPU @ 2,40 GHz
RAM	192 GiB
Operativsystem	Red Hat Enterprise Linux Server versjon 7.4
Kjerne	3.10.0-693.17.1.el7.x86_64
Nettverkskort	Mellanox ConnectX-4 VPI IB EDR / 100 GbE enkel port QSFP28
OFED-versjon	MLNX_OFED-4.3.1.0.1.0

 

IOzone- og MDtest-referansene ble brukt i denne studien. IOzone ble brukt til sekvensielle og tilfeldige tester. For sekvensielle tester ble det brukt en forespørselsstørrelse på 1024 KiB. Den totale mengden data som ble overført var 256 GiB for å sikre at NFS-serverbufferen var mettet. Tilfeldige tester brukte en 4 KiB forespørsel størrelse og hver klient lese og skrev en 4 GiB fil. Metadatatestene ble utført ved hjelp av MDtest-ytelsestesten med OpenMPI og inkluderte operasjonene for oppretting av filer, stater og fjerning. (Se vedlegg A i NSS7.0-HA hvitboken for de fullstendige kommandoene som brukes i testene.)

IPoIB sekvensiell skriving og lesing

Figur 2 og 3 viser sekvensiell skrive- og leseytelse. Siden testklyngen hadde 32 noder, ble datapunktet med 64 tråder innhentet ved hjelp av 32 klienter som kjørte 2 tråder hver.
For NSS7.3-HA er den høyeste leseytelsen 7 GB/sek, og den høyeste skriveytelsen er nesten 5 GB/sek. Fra de to tallene er det åpenbart at den nåværende NSS7.3-HA-løsningen har høyere sekvensielle ytelsestall enn den forrige versjonen. Leseoperasjonene er opptil 18,7 % bedre, men skriveytelsen er spesielt bedre med opptil 2,65 ganger (ved 16 tråder) ytelsen til den forrige løsningen. Sammenligning av topp ytelsesverdier, skriver på NSS7.3-HA er 2,13 ganger raskere, og leser er 12,5% bedre.
Dette skyldes delvis den høyere interne SAS-hastigheten på 12 Gbps for alle interne PowerVault ME4084-komponenter, inkludert HDD-er (PowerVault MD3460 var 6 Gbps), noe som gir høyere gjennomstrømning per LUN, men også på grunn av de nye lagringskontrollerne som kan behandle informasjon raskere enn forrige generasjons PowerVault MD3.

Figur 2. IPoIB stor sekvensiell skriveytelse

 

Figur 3. IPoIB stor sekvensiell leseytelse

IPoIB tilfeldig skriver og leser

Figur 4 og figur 5 viser tilfeldig skrive- og leseytelse.
Fra figuren oppnår den tilfeldige skrivingen topp ytelse ved 32 tråder, mens den forrige versjonen av løsningen toppet på 64 tråder. Den tilfeldige leseytelsen øker jevnt på NSS7.3 opptil 32 klienter, og for den forrige løsningen var toppen på 16 klienter. Igjen viser den nye lagringen overlegen ytelse i forhold til forgjengeren med opptil 3,44 ganger forbedring på skriveoperasjoner (ved 2 tråder) og 85 % høyere leseytelse (ved 32 tråder) enn forgjengeren. Sammenligning av toppresultater er forskjellen omtrent 13 % ved tilfeldige skrivinger og 85 % ved tilfeldige lesinger. Disse forbedringene skyldes hovedsakelig de nye PowerVault ME4084-kontrollerne som har raskere behandlingsfunksjonalitet sammenlignet med PowerVault MD3460-kontrollerne.

Figur 4. IPoIB tilfeldig skriveytelse

Figur 5. IPoIB tilfeldig leseytelse

 

IPoIB-operasjoner for metadata

Figur 6, figur 7 og figur 8 viser resultatene av henholdsvis filoppretting, stat og fjerning. Siden HPC-databehandlingsklyngen bare har 32 databehandlingsnoder, utførte hver klient i grafene nedenfor maksimalt én tråd for klientantall opptil 32, og for trådantall på 64, 128, 256 og 512 utførte hver klient 2, 4, 8 eller 16 samtidige operasjoner (tråder).
For filopprettelser, sammenlignet med den forrige løsningen, viser den nye løsningen en vedvarende forbedring på omtrent dobbelt så høy ytelse med en toppforskjell (208 %) hos 32 klienter, og reduseres deretter litt, men selv om man sammenligner toppytelsen for begge løsningene ved 256 tråder, er den nye løsningen 30 % raskere.
Stat-operasjoner er mest forbedret av den nye lagringen, hvor forbedringer er så høye som 7,7 ganger av forgjengeren på 256 tråder, og sammenligner man toppytelsene, viser NSS7.3 nesten 6 ganger antall statoperasjoner per sekund enn den forrige versjonen av NSS.
Til slutt har fjerningsoperasjoner relativt sett en marginal forbedring med de fleste datapunkter på 33% eller bedre ytelse enn den forrige løsningen; Bortsett fra 128 tråder hvor ytelsen er 2,21 ganger bedre. Ved topp ytelse oppnår den nye lagringen nesten 55 % høyere ytelse sammenlignet med det tidligere NSS-systemet.
Alle disse forbedringene skyldes de raskere harddiskene som bruker SAS3-hastigheter (12 Gbps) rundt omkring, samt de nye PowerVault ME4084-kontrollerne, som har høyere IOP-er og båndbredde.

Figur 6. IPoIB-filopprettingsytelse

 

 

 

Figur 8. IPoIB-filfjerningsytelse

Konklusjoner og fremtidig arbeid

I løpet av de forskjellige generasjonene av løsningen har NSS-HA-løsningen gjennomgått mange maskinvare- og programvareoppdateringer for kontinuerlig å tilby høy tilgjengelighet, høyere ytelse og større lagringskapasitet. I alle disse versjonene har den arkitektoniske kjerneutformingen av NSS-HA-løsningsfamilien vært uendret. For å vise ytelsesforskjellen mellom NSS7.3-HA og den forrige versjonen (NSS7.2-HA) ble ytelsestallene for begge løsningene kontrastert, noe som viser den overlegne ytelsen til den nyeste versjonen av løsningen basert på PowerVault ME4084: 

•  Opptil 2,65 ganger sekvensiell skriving og opptil 18,7 % raskere leseytelse.
  
•  Opptil 3,44 ganger tilfeldig skriving og opptil 85 % raskere tilfeldig leseytelse.
  
•  Opptil 2,1 ganger skapefrekvensen, 7,7 ganger stativsatsen og 2,2 ganger fjerningsraten.

  Neste fase vil karakterisere NSS7.3-HA-løsningen koblet til Intel Omni-Path-adaptere. For detaljert informasjon om NSS-HA-løsninger, se våre publiserte hvitbøker:

•  Dell HPC NFS Storage Solution High Availability Configurations, utgivelsesversjonNSS2-HA, publisert april 2011.
  
•  Dell HPC NFS-lagringsløsning High Availability Configurations with Large Capacities, utgivelsesversjon NSS3-HA, publisert i februar 2012.
  
•  Dell HPC NFS-lagringsløsning med konfigurasjoner med høy tilgjengelighet (NSS-HA) med Dell PowerEdge 12. generasjons servere, utgivelsesversjonNSS4-HA, publisert i juli 2012.
  
•  Dell HPC NFS-lagringsløsning – konfigurasjon med høy tilgjengelighet (NSS-HA) med Dell PowerVault MD3260/MD3060e-lagringsarrayer, utgivelsesversjonNSS4.5-HA oppdatert, publisert i mai 2013.
  
•  Dell HPC NFS Storage Solution – NSS5-HA-konfigurasjoner med høy tilgjengelighet, utgivelsesversjonNSS5.0-HA, publisert i september 2013.
  
•  Dell HPC NFS-lagringsløsning – konfigurasjon med høy tilgjengelighet (NSS5.5-HA) med Dell PowerVault MD3460- og MD3060e-lagringsarrayer, utgitt versjon NSS5.5-HA, publisert i september 2013.
  
•  Dell HPC NFS Storage Solution – høy tilgjengelighet (NSS 6.0-HA) Konfigurasjon med Dell PowerEdge 13. generasjons servere, versjon NSS 6.0-HA, utgitt i november 2014.
  
•  Dell HPC NFS Storage Solution – høy tilgjengelighet (NSS 7.0-HA) Konfigurasjon, versjon NSS 7.0-HA, utgitt i mai 2016.

   

  Merk: Hvis du vil ha en tilpasset konfigurasjon/implementering, kan du kontakte Dell EMC-representanten din for spesifikke retningslinjer.