Úložná řešení Dell EMC HPC NFS – Konfigurace pro vysokou dostupnost (NSS7.4 – HA)

Obsah

1. Přehled řešení
2. Architektura NSS7.4-HA
3. Porovnání komponent řešení NSS7.4-HA vs. NSS7.3-HA
4. Konfigurace testbedu
5. Přehled výkonu I/O řešení NSS7.4-HA
   • Sekvenční zápis IPoIB a čtení N-N
   • Náhodný zápis IPoIB a čtení N-N
   • Operace s metadaty IPoIB
6. Závěr
7. Reference
   
    

---

Přehled řešení

Tento blog popisuje úložné řešení Dell EMC HPC NFS verze 7.4 (NSS7.4-HA), které využívá škálovatelné procesory Intel Xeon druhé generace s kódovým označením „Cascade Lake“.  Tyto vylepšené procesory Xeon jsou vybaveny až 28 jádry, až 38,5 MB mezipaměti poslední úrovně a šesti paměťovými kanály 2933 MT/s na socket.  Klíčové funkce kaskádových Lake procesorů jsou integrovaná rizika hardwaru proti útokům na bočních kanálech, podpora procesorů Intel DL (VNNI) a podpory pro zvýšení rychlosti a rychlosti paměti.

Funkce Cascade Lake a její předchůdce Skylake zahrnují funkci nazvanou ADDDC (adaptive Double dRAM device Correction). Funkce ADDDC je nasazena za běhu tak, aby dynamicky analyzovala nevyhovující zařízení DRAM a přitom stále poskytovala funkci Single Device Data Correction (SDDC), kód opravy chyb (ECC) paměti, což prodlouží životnost modulů DIMM. Tato funkce je aktivována pouze pro zařízení s pamětí DRAM x4 a u systémů s pamětí DRAM x8 se nijak neprojeví. Vzhledem k tomu, že nejnovější řešení NSS-HA verze 7.4 používá pouze 16 GB paměti, což je organizace x8, je možnost ADDDC zašedlá v systému BIOS a nelze ji aktivovat. Pokud však používáte paměť s pamětí 32 GB, která je X4, ADDDC bude k dispozici jako možnost Tunable a je doporučeno ji nastavit tak, aby nezpůsobila výkon prostřednictvím funkcí služby RAS.

Doporučujeme konfigurovat servery NFS pomocí profilu HPC, jak je popsáno v části "Popis systému BIOS pro procesory Intel Cascade Lake", což zahrnuje optimalizaci systému BIOS pro nastavení modulu dílčího NUMA clusteru, logického procesoru disabled a systémového profilu nastaveného na hodnotu Performance (výkon). Pokud upgradujete existující systém, ujistěte se nejprve, že je systém BIOS aktualizován na verzi, která podporuje procesory Cascade Lake, a teprve poté proveďte upgrade na procesory Cascade Lake. Technický tým HPC v oddělení HPC and AI Innovation Lab provedl řadu srovnávacích testů se servery NSS vybavenými procesory Cascade Lake a výsledky srovnal s těmi, které dříve získal z řešení NSS7.3-HA, které využívalo nejnovější verzi serverů PowerEdge vybavených předchozí generací „Skylake-SP“ procesorů řady Xeon. Výsledky srovnávacích testů a porovnání jsou uvedeny v tomto blogu.

Řešení úložiště NFS dodané společností Dell EMC je optimalizováno a vyladěno pro dosažení optimálního výkonu.  Při nastavování řešení NSS7.4-HA je třeba zmínit následující nejdůležitější body:

1. Minimální podporovaný operační systém pro použití procesoru Cascade Lake je Red Hat Enterprise Linux 7.6. U verze jádra 3.10.0-957.el7 se však sdílení NFS zablokuje úlohou, například kworker, která vytíží procesor na 100 %. Hlavní příčinou problému je to, že se vrstva TCP nesynchronizuje se stavem přenosu vrstev sunrpc. Tento problém byl vyřešen v balíčku jádra 3.10.0-957.5.1.el7 nebo novějších. Základní operační systém používaný pro toto řešení je RHEL7.6 a použitá verze jádra je kernel-3.10.0-957.5.1.el7. Další informace naleznete na adrese https://access.redhat.com/solutions/3742871.
2. U řešení NSS7.4-HA nelze spustit zdroj nfsserver, pokud nejsou nainstalovány následující balíčky, protože se nespustí služba nfs-idmapd. Podrobnosti najdete na adrese https://access.redhat.com/solutions/3746891.
   • resource-agents-4.1.1-12.el7_6.4
   • resource-agents-aliyun-4.1.1-12.el7_6.4
   • resource-agents-gcp-4.1.1-12.el7_6.4 nebo novější.
3. Informace o vydání systému RHEL7.6 upozorňují na skutečnost, že chyba ve vrstvě I/O nástroje LVM způsobuje poškození dat v prvních 128 kB přiřaditelného prostoru fyzického svazku.  Problém byl vyřešen v balíčku lvm2-2.02.180-10.el7_6.2 a novějších.  Ujistěte se tedy, že je balíček lvm2 aktualizován na nejnovější verzi. Pokud nelze aktualizovat balíček lvm2, náhradním řešením je nepoužívat příkazy LVM, které mění metadata skupiny svazků, jako např. lvcreate nebo lvextend, když jsou logické svazky ve skupině svazků využívány.

---

Architektura NSS7.4-HA

Obrázek 1 znázorňuje konstrukci jednotky NSS7.4-HA. Kromě nezbytných aktualizací softwaru a firmwaru sdílejí zařízení NSS7.4-HA a NSS7.3-HA stejnou konfiguraci clusteru s vysokou dostupností a konfiguraci úložiště. Dvojice serverů NFS v konfiguraci vysoké dostupnosti aktivní-pasivní je připojena k zařízení PowerVault ME4084. Na každém serveru NFS jsou dvě karty SAS. Každá karta má kabel SAS ke každému řadiči ve sdíleném úložišti, takže selhání jedné karty SAS nebo kabelu SAS nemá vliv na dostupnost dat. (Podrobnější informace o konfiguraci naleznete v dokumentu whitepaper NSS7.3-HA.) Architektura NSS7.4-HA

 

---

 

Porovnání komponent řešení NSS7.4-HA vs. NSS7.3-HA

I když řešení Dell NSS-HA obdržela od první verze řešení NSS-HA mnoho upgradů hardwaru a softwaru s cílem nabízet vyšší dostupnost, vyšší výkon a větší úložnou kapacitu, návrh architektury a pokyny pro nasazení řady řešení NSS-HA zůstávají beze změny. Tato nejnovější verze a dřívější verze, NSS7.3-HA, sdílejí stejný backendový systém úložiště, kterým je Power Vault ME4084. Následující tabulka poskytuje srovnání komponent nejnovějšího řešení NSS7.4-HA a dřívějšího řešení NSS7.3-HA.

 

Ve zbývající části blogu budou uvedeny informace o výkonu testbedu a I/O řešení NSS7.4-HA. Pro srovnání výkonu mezi řešením NSS7.4-HA a předchozí verzí jsou uvedena také odpovídající čísla výkonnosti řešení NSS7.3-HA.

 

---

Konfigurace testbedu

Zde je popsán testbed, který byl použit k vyhodnocení výkonu a funkčnosti řešení NSS7.4-HA. Všimněte si, že procesory použité pro testování výkonu se liší od procesorů vybraných pro řešení, protože procesory Xeon Gold 6240 nebyly včas přijaty pro tento úkon. V plánu je opakovat některá testování, jakmile budou k dispozici procesory 6240, a podle potřeby tuto zprávu upravit.
    

Tabulka 4: NSS 7.4 – Konfigurace klienta HA   

---

Přehled výkonu I/O řešení NSS7.4-HA

V této části jsou uvedeny výsledky testů výkonu I/O pro aktuální řešení NSS7.4. Všechny testy výkonnosti byly provedeny ve scénáři bez poruchy, aby bylo možné změřit maximální kapacitu řešení. Testy se zaměřovaly na tři typy vzorů I/O: Velké sekvenční čtení a zápis, malé náhodné čtení a zápis a tři operace metadat (vytváření souborů, statistika a odstraňování). Podobně jako v předchozí verzi NSS 7.3, používá řešení termínové plánování 256 a/výstup a démony systému souborů NFS.

V konfiguraci 840TB (RAW Storage Size) byla provedena srovnávací služba IPoIB Network konektivita přes EDR. Pro generování zatížení srovnávacích testů byl použit výpočetní cluster s 32 uzly. Každý test byl spuštěn přes řadu klientů, aby bylo možné otestovat škálovatelnost řešení.

V této studii byly použity srovnávací testy IOzone a mdtest. Test IOzone byl použit pro sekvenční a náhodné testy. Pro sekvenční testy byla použita velikost požadavku 1024 KiB. Celkové množství přenesených dat byly 2 TB, aby bylo zajištěno, že mezipaměť serveru NFS byla saturována. Náhodné testy používaly velikost požadavku 4 KiB a každý klient si přečetl a zapsal 4GiB soubor. Testy metadat byly provedeny pomocí srovnávacího testu mdtest s knihovnou OpenMPI a zahrnují operace vytváření, statistiky a odstraňování souborů. (Úplné příkazy používané v testech najdete v Dodatku A v dokumentu whitepaper NSS7.3-HA.)

 

Sekvenční zápis IPoIB a čtení N-N

K vyhodnocení srovnávacího testu sekvenčního čtení a zápisu byl použit nástroj IOzone verze 3.487 v režimu sekvenčního čtení a zápisu. Tyto testy byly provedeny s několika počty vláken, počínaje jedním vláknem, které narůstaly o mocniny 2 až po 64 vláken. Při každém počtu vláken byl vygenerován stejný počet souborů, protože tento test funguje na jeden soubor na vlákno nebo na případ N-N. Byla vybrána agregovaná velikost souboru z 2 TB, která je rovnoměrně rozdělena mezi počet vláken v rámci dané zkoušky.

Obrázek 2 představuje srovnání vstupně-výstupního výkonu NSS 7.4 v/v s verzí NSS 7.3-HA. Z obrázku vyplývá, že nejnovější verze NSS7.4 a předchozí NSS7.3 mají podobný výkon ve špičce, s maximální rychlostí čtení ~ 7 GB/s a maximální rychlostí zápisu ~ 5 GB/s. U některých počtů vláken však v porovnání s řešením NSS7.3-HA bylo naměřeno snížení výkonu zápisu o 15–20 %. Nyní zjišťujeme příčinu tohoto rozdílu ve výkonu. Výkon čtení zaregistroval nárůst o téměř 45 % u 1 a 2 vláken a zvýšení o 18 % u 8 vláken. U počtů vláken vyšších než 8 je rychlost čtení podobná jako u řešení NSS7.3-HA. Zvýšení rychlosti čtení při nižším počtu vláken je pravděpodobně způsobeno hardwarovými opatřeními v procesorech Cascade Lake proti útokům postranním kanálem. Velký sekvenční výkon I/O IPoIB




 

Náhodný zápis IPoIB a čtení N-N

Pro vyhodnocení výkonnosti náhodného IO byl použit nástroj IOzone verze 3.487 v náhodném režimu. Testy byly provedeny na vláknech od 1 do 64, po mocninách 2. Velikost záznamu byla 4 kB. Každý klient si přečetl nebo zapsal 4GiB soubor pro simulaci malých náhodných datových přístupů.  Vzhledem k tomu, že cluster obsahuje pouze uzly 32, byl k datovému bodu 64 v rámci klientů 32, kteří používají 2 vlákny, získán.

Obrázek 3 znázorňuje porovnání náhodného zápisu a NSS bodu 7.4, a to I/O ve srovnání s hodnotou NSS 7.3-HA. Z obrázku vyplývá, že zařízení NSS7.4 má obdobný výkon náhodného zápisu jako NSS7.3-HA, ~ 7300 IOPS.  U řešení NSS7.4-HA je u nižšího počtu 1 a 2 vláken výkon zápisu přibližně o 14 % nižší než u předchozí verze řešení, což se nyní prověřuje.  Výkon náhodného čtení se u řešení NSS7.4 plynule zvyšuje a dosahuje špičkového výkonu 16607 IOPS při 64 vláknech. V předchozí verzi (NSS7.3-HA) bylo dosaženo špičkového výkonu 28811 IOPS při 32 vláknech, což je o 42 % více než špičkový výkon náhodného čtení u řešení NSS7.4-HA. Náhodný výkon I/O IPoIB



 

Operace s metadaty IPoIB

Pro vyhodnocení výkonu metadat systému byl použit nástroj MDTest verze 1.9.3. Použitá distribuce MPI byla OpenMPI verze 1.10.7.  Testy metadat byly provedeny vytvořením 960 000 souborů pro počet vláken až do 32 a následným zvýšením počtu souborů, aby se otestovala škálovatelnost řešení, jak je uvedeno v tabulce 5. Testování metadat: Distribuce souborů a adresářů v rámci vláken 

Počet vláken	Počet souborů v adresáři	Počet adresářů ve vlákně	Celkový počet souborů
1	3 000	320	960 000
2	3 000	160	960 000
4	3 000	80	960 000
8	3 000	40	960 000
16	3 000	20	960 000
32.	3 000	10	960 000
64	3 000	8	1 536 000
128	3 000	4	1 436 000
256	3 000	4	3 072 000
512	3 000	4	6 144 000

Obrázky 4, 5 a 6 zobrazují výsledky operací vytváření, resp. statistiky a odstraňování souborů. Vzhledem k tomu, že výpočetní cluster HPC má 32 výpočetních uzlů, každý klient v grafech níže provedl maximálně jedno vlákno na uzel až do počtu 32. Pro 64, 128, 256 a 512 klientů provádí každý uzel 2, 4, 8 nebo 16 simultánních operací. Obrázek 4: IPoIB File Create Performance



Obrázek 5: IPoIBá dataudávající výkon



Obrázek 6: IPoIB fie odstranění výkonu



 

---

Závěr

V následující tabulce je uveden přehled rozdílů ve výkonnosti mezi nejnovějším řešením NSS7.4 a NSS7.3.  Tabulka 5: Porovnání výkonu verzí NSS7.4 a NSS7.3 HA

Úložiště Dell EMC HPC NFS	NSS7.4-HA	NSS7.4 – HA NSS7.3-HA
Sekv. Vrcholná zapisování: snížení o 1,4%	4 834 MB/s	4 906 MB/s
Sekv. Maximální zatížení 1 MB: snížení o 0,7%	7 024 MB/s	7 073 MB/s
4KB zapisování do náhodného zápisu: snížení o 0,7%	7 290 IOPS	7 341 IOPS
4KB pro čtení náhodných čísel: snížení o 42%	16 607 IOPS	28 811 IOPS
Vytvořit provozní/druhou špičku: snížení o 1,1%	54 197 Op/s	54 795 Op/s
Provozní špička/sekunda: snížení o 35%	522 231 Op/s	808 317 Op/s
Demontujte provoz/druhou špičku: snížení o 35%	47 345 Op/s	73 320 Op/s

Z výše uvedených výsledků můžeme konstatovat, že aktuální řešení NSS7.4-HA poskytuje srovnatelný výkon s předchozím řešením NSS7.3-HA. Plánujeme spustit srovnávací testy na procesorech Xeon Gold 6240 s 18 jádry na procesor, abychom zjistili, zda snížení výkonu pro náhodné čtení a snížení výkonu při vyšším počtu vláken v operacích statistiky a odstraňování souborů souvisí s menším počtem jader v procesorech Xeon Gold 6244 (8 jader na procesor), které byly použity k porovnání výkonu řešení NSS7.4-HA.

---

Reference

Podrobné informace o řešeních NSS-HA naleznete v našich dokumentech whitepaper

 

•  Úložné řešení Dell HPC NFS – konfigurace pro vysokou dostupnost (NSS6.0-HA) se servery Dell PowerEdge 13. generace, verze vydání NSS6.0-HA, zveřejněno v listopadu 2014.
•  Úložné řešení Dell HPC NFS – konfigurace pro vysokou dostupnost (NSS7.0-HA), verze vydání NSS7.0-HA, zveřejněno v květnu 2016.
•  Řešení Dell EMC Ready pro úložiště HPC NFS, verze vydání NSS7.3-HA, zveřejněno v březnu 2019.