Översikt

Den senaste versionen av Dell EMC Ready Solution för HPC NFS-lagring (NSS) med hög tillgänglighet (NSS-HA-lösning) blir NSS7.3-HA och kommer att lanseras senare den här månaden.
Den här versionen av NSS innehåller de nya Dell EMC PowerVault ME4084-lagringsdisksystemen och Red Hat Enterprise Linux 7.5, och fortsätter att använda processorer i den skalbara processorfamiljen Intel Xeon (arkitekturkodnamn Skylake) för att erbjuda högre övergripande systemprestanda än tidigare NSS-HA-lösningar. I den här bloggen presenteras resultaten av I/O-prestandatesterna för den senaste versionen av NSS-lösningen.
Bild 1 visar utformningen av NSS7.3-HA-konfigurationen. De största skillnaderna mellan NSS7.3-HA och dess omedelbara föregångare NSS7.2-HA är:

• Backend-lagringsdisksystem:
  • NSS7.2-HA: PowerVault MD3460 + MD3060e som tillval (60 eller 120 hårddiskar)
  • NSS7.3-HA: PowerVault ME4084 (84 hårddiskar)
• Operativsystem:
  • NSS7.2-HA: RHEL 7.4
  • NSS7.3-HA: Red Hat® Enterprise Linux® 7.5

Förutom nödvändiga uppdateringar av programvara och fast programvara delar NSS7.2-HA och NSS7.3-HA samma HA-klusterdesign och grundläggande lagringskonfiguration. (Mer detaljerad information om konfigurationen finns i informationsdokumentet NSS7.0-HA.)
En annan stor förbättring från NSS7.2-HA och NSS7.3-HA är den stora ökningen av maximal kapacitet. NSS7.2-HA begränsas av Red Hat XFS nuvarande supportgräns på 500 TB, men efter omfattande tester och validering i våra labb har Dell EMC och Red Hat nått ett samarbetsavtal som stöder NSS7.3-HA-konfigurationer med upp till 768 TB användbart utrymme. Det är en Dell EMC PowerVault ME4084 med 12 TB hårddiskar eller 1 008 TB rå lagringsyta.

NSS-HA-arkitektur

Bild 1 visar NSS 7.3-arkitekturen inuti den prickade rektangeln, inbäddad i den typiska testbädden som innehåller klienter och den offentliga nätverksväxeln.

Bild 1. NSS7.3-HA 1008 TB råutrymme (768 TB användbar) arkitektur och testbädd

I nästa tabell sammanfattas de olika komponenterna i den nya NSS HA 7.3-lösningen.
  

Tabell 1, Komponenter för NSS7.2-HA och NSS7.3-HA

	NSS7.2-HA-version (april 2018) "14:e generationens PowerEdge-servrar och MD3460 + MD3060e"	NSS7.3-HA-version (oktober 2018) "14:e generationens PowerEdge-server och ME4084-baserad lösning"
Programvara	Red Hat Enterprise Linux 7.4, kärna 3.10.0-693.el7.x86_64 Red Hat Scalable File System (XFS) v4.5.0-12	Red Hat Enterprise Linux 7.5, kärna 3.10.0-862.el7.x86_64 Red Hat Scalable File System (XFS) version 4.5.0-15
NFS-servrar	Två Dell PowerEdge R740-servrar. Processor: Dubbel Intel Xeon Gold 6136 @ 3,0 GHz, 12 kärnor per processor. Minne: 12 × 16 GiB 2 666 MT/s RDIMM-moduler.
Extern nätverksanslutning	EDR InfiniBand, 10 GbE eller Intel Omni-Path. För den här bloggen, Mellanox ConnectX-4 IB EDR/100 GbE. För beställningar, CX-5 IB EDR/100 GbE.
Interna anslutningsmöjligheter	Gigabit Ethernet, switch Dell Networking S3048-ON
OFED-version	Mellanox OFED 4.3-1.0.1.0	Mellanox OFED 4.4-1.0.0
Direkt lagringsanslutning	SAS-anslutningar med 12 Gbit/s.
Undersystem för lagring	Dell EMC MD3460 + MD3060e som tillval. 60–120–3,5-tums NL SAS 4 TB-hårddiskar. Två konfigurationer, 240 eller 480 TB (råutrymme). 6 eller 12 LUN, 8+2 RAID 6, segmentstorlek 512KiB Inga reservdelar	Dell EMC PowerVault ME4084. 84 – 3,5-tums NL SAS-hårddiskar, upp till 12 TB. En konfiguration: upp till 1 008 TB (råutrymme). 8 LUN, linjär 8+2 RAID 6, segmentstorlek 128 KiB. 4 globala HHD-reservenheter.

 

Den nya PowerVault ME4084-lagringen fortsätter att använda linjär 8+2 RAID 6 som grundläggande byggnadsenhet med en ny segmentstorlek (segmentstorlek) på 128 KiB och ett förläsningsvärde på "stripe size" som valts för optimal prestanda. Eftersom vi nu har 84 enheter har vi 8 LUN baserat på RAID 6s och 4 globala reservhårddiskar konfigurerade för att omedelbart ersätta alla defekta diskar. Det innebär att den här lösningen kan ha upp till 768 TB användbart utrymme.

NSS7.3-HA I/O-prestanda

I den här bloggen presenteras resultaten av I/O-prestandatesterna för den nuvarande NSS-HA-lösningen, nämligen NSS7.3. Alla prestandatester utfördes i ett HA-felfritt scenario för att mäta lösningens maximala kapacitet. Testerna fokuserade på tre typer av I/O-mönster: stora sekventiella läsningar och skrivningar, små slumpmässiga läsningar och skrivningar och tre metadataåtgärder (skapa fil, ange och ta bort).
Ett beräkningskluster med 32 noder användes för att generera arbetsbelastningen för benchmarking-testerna. Klienterna och NSS-konfigurationen på 1 008 TB (rå lagringsstorlek) anslöts med InfiniBand EDR och filsystemet monterades via IPoIB. Varje I/O-prestandatest kördes över en rad klienter för att testa lösningens skalbarhet. Information om de klienter som används visas i nästa tabell.

Tabell 2. Klientkonfiguration (prestandatestning)

Servermodell	PowerEdge C6420
Antal servrar	32 serverkluster
Processor	Intel(R) Xeon(R) Gold 6148 CPU @ 2,40 GHz
RAM	192 GiB
Operativsystem	Red Hat Enterprise Linux Server version 7.4
Kärna	3.10.0-693.17.1.el7.x86_64
Nätverkskort	Mellanox ConnectX-4 VPI IB EDR/100 GbE enkel port, QSFP28
OFED-version	MLNX_OFED-4.3.1.0.1.0

 

Prestandatesterna IOzone och MDtest användes i denna studie. IOzone användes för de sekventiella och slumpmässiga testerna. För sekventiella tester användes en begärandestorlek på 1024 KiB. Den totala mängden data som överfördes var 256 GiB för att säkerställa att NFS-servercachen var mättad. Slumpmässiga tester använde en begärandestorlek på 4 KiB och varje klient läste och skrev en 4 GiB-fil. Metadatatester utfördes med MDtest-prestandatestet med OpenMPI och inkluderade åtgärder för att skapa, ange och ta bort. (Se bilaga A till faktabladet NSS7.0-HA för de fullständiga kommandon som används i testerna.)

IPoIB sekventiella skrivningar och läsningar

Bild 2 och 3 visar sekventiell skriv- och läsprestanda. Eftersom testklustret hade 32 noder hämtades datapunkten med 64 trådar med hjälp av 32 klienter som körde 2 trådar vardera.
För NSS7.3-HA är den högsta läsprestandan 7 GB/s och den högsta skrivprestandan är nästan 5 GB/s. Från de två figurerna är det uppenbart att den nuvarande NSS7.3-HA-lösningen har högre sekventiella prestandasiffror än den tidigare versionen. Läsningar är upp till 18,7 % bättre, men skrivprestanda är särskilt bättre med upp till 2,65 gånger (vid 16 trådar) av prestandan för den tidigare lösningen. Vid jämförelse av toppprestandavärden är skrivningar på NSS7.3-HA 2,13 gånger snabbare och läsningar är 12,5 % bättre.
Detta beror delvis på den högre interna SAS-hastigheten på 12 Gbit/s för alla interna PowerVault ME4084-komponenter, inklusive hårddiskar (PowerVault MD3460 var 6 Gbit/s), vilket ger en högre genomströmning per LUN, men också på grund av de nya lagringsstyrenheterna som kan bearbeta information snabbare än den tidigare generationens PowerVault MD3.

Bild 2. IPoIB stor sekventiell skrivprestanda

 

Bild 3. IPoIB stor sekventiell läsprestanda

Slumpmässiga skrivningar och läsningar av IPoIB

Bild 4 och bild 5 visar slumpmässig skriv- och läsprestanda.
Enligt bilden uppnår den slumpmässiga skrivningen högsta prestanda vid 32 trådar medan den tidigare versionen av lösningen nådde en topp på 64 trådar. Prestandan för slumpmässig läsning ökar stadigt på NSS7.3 upp till 32 klienter och för den tidigare lösningen var toppen 16 klienter. Återigen visar den nya lagringen sin överlägsna prestanda jämfört med föregångaren med upp till 3,44 gånger bättre skrivåtkomst (vid 2 trådar) och 85 % högre läsprestanda (vid 32 trådar) än föregångaren. Om du jämför toppprestanda är skillnaden cirka 13 % för slumpmässiga skrivningar och 85 % för slumpmässiga läsningar. Dessa förbättringar beror främst på de nya PowerVault ME4084-styrenheterna som har snabbare bearbetningskapacitet jämfört med PowerVault MD3460-styrenheterna.

Bild 4. IPoIB slumpmässig skrivprestanda

Bild 5. IPoIB prestanda för slumpmässig läsning

 

IPoIB metadataåtgärder

Bild 6, bild 7 och bild 8 visar resultatet av åtgärder för att skapa, ange respektive ta bort. Eftersom HPC-beräkningsklustret bara har 32 beräkningsnoder i diagrammen nedan körde varje klient högst en tråd för klientantal upp till 32, och för trådantal på 64, 128, 256 och 512 körde varje klient 2, 4, 8 eller 16 samtidiga åtgärder (trådar).
För filskapanden, jämfört med den tidigare lösningen, visar den nya lösningen en varaktig förbättring på ungefär dubbelt så hög prestanda med en toppskillnad (208 %) vid 32 klienter, och minskar sedan något, men även om man jämför toppprestandan för båda lösningarna vid 256 trådar är den nya lösningen 30 % snabbare.
Statistikoperationer är de som förbättras mest av den nya lagringen, där förbättringarna är så höga som 7,7 gånger av föregångaren med 256 trådar och om man jämför toppprestandan, visar NSS7.3 nästan 6 gånger så många statistikoperationer per sekund som den tidigare versionen av NSS.
Slutligen har borttagningsåtgärder jämförelsevis en marginell förbättring med de flesta datapunkter på 33 % eller bättre prestanda än den tidigare lösningen. förutom 128 trådar där prestandan är 2,21 gånger bättre. Vid maximal prestanda uppnår den nya lagringen nästan 55 % högre prestanda jämfört med det tidigare NSS-systemet.
Alla dessa förbättringar beror på de snabbare HDD-enheterna som använder SAS3-hastigheter (12 Gbit/s) överallt, samt de nya PowerVault ME4084-styrenheterna, som har kapacitet för högre IOPS och bandbredd.

Bild 6. IPoIB filskapandeprestanda

 

 

 

Bild 8. IPoIB filborttagningsprestanda

Slutsatser och framtida arbete

Under de olika generationerna av lösningen har NSS-HA-lösningen genomgått många maskinvaru- och programvaruuppdateringar för att kontinuerligt erbjuda hög tillgänglighet, högre prestanda och större lagringskapacitet. I alla dessa versioner har den grundläggande arkitektoniska designen i NSS-HA-lösningsfamiljen förblivit oförändrad. För att visa prestandaskillnaden mellan NSS7.3-HA och den tidigare versionen (NSS7.2-HA) kontrasterades prestandanumren för de båda lösningarna och visade den överlägsna prestandan hos den senaste versionen av lösningen baserad på PowerVault ME4084: 

•  Upp till 2,65 gånger sekventiell skrivning och upp till 18,7 % snabbare läsprestanda.
  
•  Upp till 3,44 gånger snabbare slumpmässig skrivning och upp till 85 % snabbare slumpmässig läsning.
  
•  Upp till 2,1 gånger skapandehastigheten, 7,7 gånger statistikhastigheten och 2,2 gånger borttagningshastigheten.

  Nästa fas kommer att vara att karakterisera NSS7.3-HA-lösningen som är ansluten till Intel Omni-Path-adaptrar. För detaljerad information om NSS-HA-lösningar, se våra publicerade vitböcker:

•  Dell HPC NFS Storage Solution High Availability Configurations, version NSS2-HA, publicerad i april 2011.
  
•  Dell HPC NFS Storage Solution High Availability Configurations with Large Capacities, version NSS3-HA, publicerad i februari 2012.
  
•  Dell HPC NFS-lagringslösningar med hög tillgänglighet (NSS-HA) med 12:e generationens Dell PowerEdge-servrar, version NSS4-HA, publicerad i juli 2012.
  
•  Dell HPC NFS-lagringslösning – konfiguration med hög tillgänglighet (NSS-HA) med Dell PowerVault MD3260/MD3060e-lagringsdisksystem, version NSS4.5-HA uppdaterad, publicerad i maj 2013.
  
•  Dell HPC NFS-lagringslösning – NSS5-HA-konfigurationer med hög tillgänglighet, version NSS5.0-HA, publicerad i september 2013.
  
•  Dell HPC NFS-lagringslösning – konfiguration med hög tillgänglighet (NSS5.5-HA) med Dell PowerVault MD3460- och MD3060e-lagringsdisksystem, version NSS5.5-HA, publicerad i september 2013.
  
•  Dell HPC NFS Storage Solution - High Availability (NSS6.0-HA) Configuration with Dell PowerEdge 13th Generation Servers, version NSS 6.0-HA (på engelska) som publicerades i november 2014.
  
•  Dell HPC NFS Storage Solution - High Availability (NSS7.0-HA) Configuration, version NSS7.0-HA (på engelska) som publicerades i maj 2016.

   

  Obs! Kontakta din Dell EMC-representant för specifika riktlinjer för anpassad konfiguration/distribution.