Přehled

Nejnovější řešení Dell EMC Ready Solution pro úložiště HPC NFS (NSS) s vysokou dostupností (řešení NSS-HA) bude NSS7.3-HA a jeho vydání je naplánováno na konec tohoto měsíce.
Tato verze NSS zahrnuje nová disková pole Dell EMC PowerVault ME4084 a systém Red Hat Enterprise Linux 7.5 a nadále používá procesory Intel Xeon Scalable řady (architektura s kódovým označením Skylake), které nabízejí vyšší celkový výkon systému než předchozí řešení NSS-HA. Tento blog prezentuje výsledky vstupně-výstupních testů výkonu pro tuto nejnovější verzi řešení NSS.
Obrázek 1 znázorňuje návrh konfigurace NSS7.3-HA. Hlavní rozdíly mezi NSS7.3-HA a jeho bezprostředním předchůdcem, NSS7.2-HA, jsou:

• Back-endové pole úložišť:
  • NSS7.2-HA: PowerVault MD3460 + volitelné zařízení MD3060e (60 nebo 120 pevných disků)
  • NSS7.3-HA: PowerVault ME4084 (84 pevných disků)
• Operační systém:
  • NSS7.2-HA: RHEL 7.4
  • NSS7.3-HA: Red Hat® Enterprise Linux® 7.5

S výjimkou položek, jako jsou nezbytné aktualizace softwaru a firmwaru, sdílejí NSS7.2-HA a NSS7.3-HA stejný design clusteru HA a základní konfiguraci úložiště. (Podrobnější informace o konfiguraci naleznete v dokumentu white paper NSS7.0-HA .)
Dalším významným vylepšením oproti NSS7.2-HA a NSS7.3-HA je velké zvýšení maximální kapacity. Přestože je NSS7.2-HA omezena současným limitem podpory Red Hat XFS na 500 TB, po rozsáhlém testování a ověřování v našich laboratořích dosáhly společnosti Dell EMC a Red Hat dohody o spolupráci na podpoře konfigurací NSS7.3-HA s až 768 TB využitelného prostoru. Jedná se o zařízení Dell EMC PowerVault ME4084 plně osazené 12TB pevnými disky neboli 1008 TB hrubého úložného prostoru.

Architektura NSS-HA

Obrázek 1 ukazuje architekturu NSS 7.3 uvnitř tečkovaného obdélníku, který je vložen do typického testovacího prostoru, který zahrnuje klienty a přepínač veřejné sítě.

Obrázek 1 Architektura NSS7.3-HA 1008 TB hrubého prostoru (768 TB použitelných) a testovací prostředí

Následující tabulka shrnuje různé komponenty nového řešení NSS HA 7.3.
  

Tabulka 1: Komponenty pro NSS7.2-HA a NSS7.3-HA

	Verze NSS7.2-HA (duben 2018) "Servery PowerEdge 14. generace a MD3460 + MD3060e"	Verze NSS7.3-HA (říjen 2018) "Server PowerEdge 14. generace a řešení založené na ME4084"
Software	Red Hat Enterprise Linux 7.4, jádro 3.10.0-693.el7.x86_64 Red Hat Scalable File System (XFS) v4.5.0-12	Red Hat Enterprise Linux 7.5, jádro 3.10.0-862.el7.x86_64 Red Hat Scalable File System (XFS) v4.5.0-15
Servery NFS	Dva servery Dell PowerEdge R740 Procesor: Dva procesory Intel Xeon Gold 6136 @ 3,0 GHz, 12 jader na procesor. Paměť: 12 modulů RDIMM 16 GiB, 2 666 MT/s
Externí síťové připojení	EDR InfiniBand, 10 GbE nebo Intel Omni-Path. Pro tento blog: Mellanox ConnectX-4 IB EDR/100 GbE. Pro objednávky: CX-5 IB EDR/100 GbE.
Interní konektivita	Gigabitový ethernet, přepínač Dell Networking S3048-ON
Verze systému OFED	Mellanox OFED 4.3-1.0.1.0	Mellanox OFED 4.4-1.0.0
Přímé připojení úložiště	Připojení SAS s rychlostí 12 Gb/s.
Subsystém úložiště	Dell EMC MD3460 + volitelný MD3060e. 60–120–3,5" disky NL SAS, 4 TB Dvě konfigurace, 240 nebo 480 TB (nezpracovaný prostor). 6 nebo 12 LUN, 8+2 RAID 6, velikost segmentu 512KiB Žádné náhradní díly	Dell EMC PowerVault ME4084 84–3,5" disky NL SAS, až 12 TB Jedna konfigurace: až 1 008 TB (nevyužitý prostor). 8 LUN, lineární 8+2 RAID 6, velikost bloku 128 KiB. 4 globální náhradní disky HDD.

 

Nové úložiště PowerVault ME4084 nadále používá jako základní stavební jednotku lineární pole RAID 6 8+2 s novou velikostí bloku (velikosti segmentu) 128 KiB a hodnotou "velikost prokládání" zvolenou pro optimální výkon. Jelikož nyní máme 84 disků, máme 8 jednotek LUN založených na úrovni RAID 6s a 4 globální záložní pevné disky nakonfigurované k okamžité výměně jakéhokoli vadného disku. To znamená, že toto řešení může mít až 768 TB využitelného prostoru.

Výkon I/O NSS7.3-HA

Tento blog prezentuje výsledky výkonnostních testů I/O pro aktuální řešení NSS-HA, konkrétně NSS7.3. Všechny výkonnostní testy byly provedeny ve scénáři bez selhání HA, aby bylo možné změřit maximální kapacitu řešení. Testy se zaměřily na tři typy vstupně-výstupních vzorů: velké sekvenční čtení a zápisy, malá náhodná čtení a zápisy a tři operace s metadaty (vytvoření, statistika a odstranění).
Výpočetní cluster s 32 uzly byl použit ke generování úlohy pro srovnávací testy. Klienti a konfigurace NSS 1008 TB (hrubá velikost úložiště) byly připojeny pomocí InfiniBand EDR a souborového systému připojeného přes IPoIB. Každý srovnávací test I/O byl spuštěn na řadě klientů, aby se otestovala škálovatelnost řešení. Podrobnosti o použitých klientech jsou uvedeny v následující tabulce.

Tabulka 2. Konfigurace klientů (testování výkonu)

Model serveru	PowerEdge C6420
Počet serverů	32 Serverový cluster
Procesor	Procesor Intel(R) Xeon(R) Gold 6148 @ 2,40 GHz
RAM	192 GiB
Operační systém	Red Hat Enterprise Linux Server verze 7.4
Jádro	3.10.0 – 693.17.1.el7.x86_64
Síťový adaptér	Mellanox ConnectX-4 VPI IB EDR / 100 GbE s jedním portem QSFP28
Verze systému OFED	MLNX_OFED-4.3.1.0.1.0

 

V této studii byly použity benchmarky IOzone a MDtest . IOzone byl použit pro sekvenční a náhodné testy. Pro sekvenční testy se použila velikost požadavku 1024 KiB. Celkové množství přenesených dat bylo 256 GiB, aby se zajistilo, že mezipaměť serveru NFS bude nasycená. Náhodné testy používaly velikost požadavku 4 KiB a každý klient četl a zapisoval soubor 4 GiB. Testy metadat byly provedeny pomocí srovnávacího testu MDtest s OpenMPI a zahrnovaly operace vytvoření, statistiky a odebrání souboru. (Viz Příloha A dokumentu whitepaper NSS7.0-HA , kde jsou uvedeny kompletní příkazy používané při testech.)

Sekvenční zápisy a čtení IPoIB

Obrázky 2 a 3 znázorňují výkon sekvenčního zápisu a čtení. Vzhledem k tomu, že testovací cluster měl 32 uzlů, byl datový bod 64 vláken získán pomocí 32 klientů, z nichž každý spustil 2 vlákna.
Pro NSS7.3-HA je špičkový výkon čtení 7 GB/s a špičkový výkon zápisu je téměř 5 GB/s. Ze dvou čísel je zřejmé, že aktuální řešení NSS7.3-HA má vyšší hodnoty sekvenčního výkonu než předchozí verze. Čtení je až o 18,7 % lepší, ale výkon zápisu je obzvláště lepší s až 2,65násobkem (při 16 vláknech) výkonu předchozího řešení. Při porovnání hodnot špičkového výkonu jsou zápisy na NSS7.3-HA 2,13krát rychlejší a čtení o 12,5 % lepší.
Částečně je to způsobeno vyšší interní rychlostí SAS 12 Gb/s pro všechny interní komponenty PowerVault ME4084 včetně pevných disků (úložiště PowerVault MD3460 mělo rychlost 6 Gb/s), což umožňuje vyšší propustnost na logickou jednotku, ale také novými řadiči úložiště, které dokážou zpracovávat informace rychleji než předchozí generace úložišť PowerVault MD3.

Obrázek 2. Velký výkon sekvenčního zápisu IPoIB

 

Obrázek 3. Velký výkon sekvenčního čtení IPoIB

IPoIB náhodné zápisy a čtení

Obrázek 4 a obrázek 5 znázorňují výkon náhodného zápisu a čtení.
Z obrázku vyplývá, že náhodný zápis dosahuje špičkového výkonu při 32 vláknech, zatímco předchozí verze řešení dosáhla špičkového výkonu na 64 vláknech. Výkon náhodného čtení se na NSS7.3 neustále zvyšuje až na 32 klientů a u předchozího řešení byla špička na 16 klientech. Nové úložiště opět vykazuje vynikající výkon oproti svému předchůdci s až 3,44krát lepším zápisem (při 2 vláknech) a o 85 % vyšším výkonem čtení (při 32 vláknech) než předchůdce. Při porovnání špičkových výkonů je rozdíl asi 13 % při náhodných zápisech a 85 % při náhodném čtení. Tato vylepšení jsou způsobena především novými řadiči PowerVault ME4084, které mají ve srovnání s řadiči PowerVault MD3460 možnosti rychlejšího zpracování.

Obrázek 4 Výkon náhodného zápisu IPoIB

Obrázek 5. Výkon náhodného čtení IPoIB

 

Operace s metadaty IPoIB

Obrázek 6, obrázek 7 a obrázek 8 zobrazují výsledky operací vytvoření, statu a odebrání souboru. Vzhledem k tomu, že výpočetní cluster HPC má pouze 32 výpočetních uzlů, v následujících grafech každý klient spustil maximálně jedno vlákno pro počty klientů až 32 a pro počty vláken 64, 128, 256 a 512 každý klient provedl 2, 4, 8 nebo 16 souběžných operací (vláken).
U vytváření souborů vykazuje nové řešení ve srovnání s předchozím řešením trvalé zlepšení přibližně dvojnásobného výkonu s rozdílem ve špičce (208 %) na 32 klientech, poté mírně klesá, ale i při porovnání špičkového výkonu pro obě řešení s 256 vlákny je nové řešení o 30 % rychlejší.
Operace statistik jsou nejvíce vylepšeny novým úložištěm, kde jsou vylepšení až 7,7krát vyšší než u předchůdce s 256 vlákny a při porovnání špičkových výkonů vykazuje NSS7.3 téměř 6krát větší počet statistických operací za sekundu než předchozí verze NSS.
A konečně, operace odstranění mají poměrně nepatrné zlepšení, protože většina datových bodů má výkon 33 % nebo lepší než předchozí řešení; S výjimkou 128 vláken, kde je výkon 2,21krát vyšší. Při špičkovém výkonu dosahuje nové úložiště téměř o 55 % vyššího výkonu ve srovnání s předchozím systémem NSS.
Všechna tato vylepšení jsou způsobena rychlejšími pevnými disky, které všude využívají rychlosti SAS3 (12 Gb/s), a také novými řadiči PowerVault ME4084, které jsou schopny dosáhnout vyšších IOPS a šířky pásma.

Obrázek 6. Výkon vytváření souborů IPoIB

 

 

 

Obrázek 8. Výkon odstranění souborů IPoIB

Závěry a budoucí práce

V průběhu různých generací řešení prošlo řešení NSS-HA mnoha aktualizacemi hardwaru a softwaru, aby neustále nabízelo vysokou dostupnost, vyšší výkon a větší úložnou kapacitu. Ve všech těchto verzích zůstal základní architektonický návrh řady řešení NSS-HA nezměněn. Aby bylo možné zobrazit rozdíl ve výkonu mezi NSS7.3-HA a předchozí verzí (NSS7.2-HA), byly porovnány hodnoty výkonu obou řešení, které ukazují vynikající výkon nejnovější verze řešení založené na úložišti PowerVault ME4084: 

•  Až 2,65krát vyšší rychlost sekvenčního zápisu a až o 18,7 % vyšší rychlost čtení
  
•  Až 3,44krát vyšší rychlost náhodného zápisu a až o 85 % vyšší rychlost náhodného čtení
  
•  Až 2,1krát vyšší rychlost vytváření, 7,7násobná rychlost statistik a 2,2násobná míra odstranění.

  V další fázi bude charakterizováno řešení NSS7.3-HA připojené pomocí adaptérů Intel Omni-Path. Podrobné informace o řešeních NSS-HA naleznete v našich zveřejněných dokumentech whitepaper:

•  Dell HPC NFS Storage Solution High Availability Configurations, verze NSS2-HA, zveřejněná v dubnu 2011.
  
•  Dell HPC NFS Storage Solution High Availability Configurations with Large Capacities, verze NSS3-HA, zveřejněná v únoru 2012.
  
•  Konfigurace řešení úložiště Dell HPC NFS s vysokou dostupností (NSS-HA) se servery Dell PowerEdge 12. generace, verze NSS4-HA, zveřejněná v červenci 2012.
  
•  Úložné řešení Dell HPC NFS – konfigurace s vysokou dostupností (NSS-HA) s poli úložišť Dell PowerVault MD3260/MD3060e, verze NSS4.5-HA, aktualizována, zveřejněna v květnu 2013.
  
•  Úložné řešení Dell HPC NFS – konfigurace NSS5-HA s vysokou dostupností, verze NSS5.0-HA, zveřejněná v září 2013.
  
•  Úložné řešení Dell HPC NFS – konfigurace s vysokou dostupností (NSS5.5-HA) s poli úložišť Dell PowerVault MD3460 a MD3060e, verze NSS5.5-HA, zveřejněná v září 2013.
  
•  Úložné řešení Dell HPC NFS – konfigurace pro vysokou dostupnost (NSS6.0-HA) se servery Dell PowerEdge 13. generace, verze vydání NSS6.0-HA, zveřejněno v listopadu 2014.
  
•  Úložné řešení Dell HPC NFS – konfigurace pro vysokou dostupnost (NSS7.0-HA), verze vydání NSS7.0-HA, zveřejněno v květnu 2016.

   

  Poznámka: Konkrétní pokyny pro jakoukoli přizpůsobenou konfiguraci nebo nasazení vám poskytne zástupce společnosti Dell EMC.