Škálovatelnost řešení Dell Ready pro úložiště HPC BeeGFS

Jak škálovat vysoce výkonné úložné řešení Dell BeeGFS z hlediska kapacity nebo výkonu?

Viz informace v části Řešení.

Obsah

1. Úvod
2. Základní konfigurace
3. Výpočet využitelného prostoru zařízení BeeGFS
4. Škálovatelné konfigurace
5. Charakteristika výkonu
6. Závěr a budoucí práce
    

---

Úvod

Tento blog pojednává o škálovatelnosti řešení Dell EMC Ready Solutions pro úložiště HPC BeeGFS , které bylo nedávno představeno.  Architektura BeeGFS se skládá ze čtyř hlavních služeb– služby správy, služby metadat, služby úložiště a klientských služeb. Na stejném serveru je možné spustit libovolnou kombinaci těchto čtyř hlavních služeb, včetně všech, protože role a hardware nejsou v případě systému BeeGFS pevně integrované.  V "hyperkonvergovaném řešení" jsou všechny čtyři služby spuštěny na stejném serveru. Tato konfigurace se nedoporučuje pro výkonná kritická prostředí, protože klientské aplikace obvykle spotřebovávají zdroje, které mohou ovlivnit výkon služeb úložiště. Řešení Dell EMC využívá vyhrazené úložné servery a dvouúčelový metadata a úložný server, které poskytují vysoce výkonné, škálovatelné úložné řešení. Systém je možné škálovat přidáním dalších úložných serverů do existujícího systému. Na tomto blogu budeme prezentovat konfigurace s různými počty úložných serverů a výkonem, který lze u těchto konfigurací očekávat.

---

Základní konfigurace

Úložné řešení BeeGFS, které je navrženo tak, aby poskytovalo vysoce výkonný souborový systém s poškrábáním, používá následující hardwarové komponenty:

• Server pro správu
  • R640, dva procesory Intel Xeon Gold 5218, 2,3 GHz, 16 jader, 96 GB (12 × 8 GB paměti 2 666 MT/s RDIMM), 6 × 15 000 ot./min. 300GB disk SAS, H740P
• Metadata a úložné servery
  • R740xd, 2x procesor Intel Xeon Platinum 8268 s frekvencí 2,90 GHz, 24 jader, 384 GB (12x 32 GB paměti RDIMM 2 933 MT/s)
  • Karta BOSS se 2 x 240GB disky SSD M.2 SATA v poli RAID 1 pro operační systém
  • 24x, Intel 1,6 TB, NVMe, smíšené použití Express Flash, 2,5 jednotky SFF, softwarové pole RAID

Server pro správu využívá monitorovací službu BeeGFS. Server metadat využívá 12 disků v zóně NUMA 0 k hostování cílů MetaData (MDT), zatímco zbývajících 12 disků na zóně NUMA 1 hostuje cíle úložiště (ST). Vyhrazený server metadat se nepoužívá, protože požadavky na kapacitu úložiště pro metadata BeeGFS jsou velmi malé. Cíle a služby metadat a úložišť jsou izolovány na samostatných uzlech NUMA tak, aby bylo navázáno významné oddělení pracovního zatížení. Servery úložišť použité v konfiguraci mají tři služby úložiště spuštěné podle zóny NUMA, celkem šest na server. Další podrobnosti naleznete v blogu o oznámení. Obrázek 1 znázorňuje dvě základní konfigurace, které byly testovány a ověřeny v laboratořích Dell EMC HPC and AI Innovation Lab.

Obrázek 1: Základní konfigurace

Malá konfigurace se skládá ze tří serverů R740xd. Má celkem 15 cílů úložiště. Střední konfigurace má servery 6xR740xd a má celkem 33 cílů úložiště. Uživatel může začít s konfigurací "Small" nebo konfigurací "Medium" a může přidat servery úložišť nebo metadat podle potřeby za účelem zvýšení úložného prostoru a celkového výkonu, resp. počtu souborů a metadat. Tabulka 1 uvádí údaje o výkonu základních konfigurací, které byly testovány a důkladně ověřeny v laboratořích Dell EMC HPC and AI Innovation Lab.

Tabulka 1: Podrobnosti o kapacitě a výkonu základních konfigurací

 

---

Výpočet využitelného prostoru zařízení BeeGFS

Odhadovaný využitelný prostor se vypočítá v TiB (protože většina nástrojů zobrazuje v binárních jednotkách využitelný prostor) pomocí následujícího vzorce:

Využitelný prostor beeGFS v TiB= (0,99* počet disků* velikost v TB * (10^12/2^40)

Ve výše uvedeném vzorci nastal faktor 0,99, který předpokládá, že ze souborového systému vychází 1 % režie.  Při příchodu na počet disků pro úložiště je zahrnuto také 12 disků z MDS. Důvodem je, že v rámci služby MDS se pro metadata používá 12 disků v zóně NUMA 0 a pro úložiště se používá 12 disků v zóně NUMA 1. Posledním faktorem ve formuli 10^12/2^40 je převedení využitelného místa z TB na Tb.

---

Škálovatelné konfigurace

Vysoce výkonné úložné řešení BeeGFS bylo navrženo tak, aby bylo flexibilní a lze snadno a plynule škálovat výkon a/nebo kapacitu přidáním dalších serverů, jak je znázorněno níže:

Tabulka 2: Podrobnosti kapacity a výkonu škálovaných konfigurací

 

---

Charakteristika výkonu

Výkon různých konfigurací byl testován vytvořením fondů úložišť. Malá konfigurace má 15 cílů úložiště a každý další server úložiště přidává dalších šest cílů úložiště. Proto byly pro účely testování výkonu různých konfigurací fondy úložišť vytvořeny z 15 až 39 cílů úložiště (přírůstky po šesti pro malé, malé+1, malé+2, střední, střední+1). Pro každý z těchto fondů byly spuštěny tři iterace srovnávacího testu iozone, každá s jedním až 1 024 vlákny (po dvou přírůstcích). Metodologie testování je stejná jako v oznámení na blogu . Obrázky 3 a 4 zobrazují výkon zápisu a čtení škálovatelných konfigurací s maximálním výkonem každé konfigurace zvýrazněné pro referenci Ready:


 
Obrázek 3:  Výkon zápisu škálovatelných


konfiguracíobrázek 4:  Přečtěte si výkon škálovatelných

konfiguracíPoznámka:

Uvedený fond úložišť byl vytvořen pouze za explicitním účelem charakterizovat výkon různých konfigurací.  Během hodnocení výkonu střední konfigurace podrobně popsaného v oznámení na blogu se všechny 33 cíle nacházely pouze v "výchozím fondu". Výstup příkazu beegfs-ctl --liststoragepools uvedený níže ukazuje přiřazení cílů úložiště:

# beegfs-ctl --liststoragepools
Pool ID Pool ID Pool Description Targets Group
======= ================== ============================ ============================
1 výchozí 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12,
                                                 13, 14, 15, 16, 17, 18, 19, 20, 21,
22, 23, 24, 25, 26, 27, 28, 29, 30,
31, 32, 33  

---

Závěr a budoucí práce

Tento blog se zabývá škálovatelností řešení Dell EMC Ready Solutions pro úložiště HPC BeeGFS a upozornil na výkon pro sekvenční čtení a zápis pro různé konfigurace. Mějte přehled o části 3 této řady blogu, která bude diskutovat o dalších funkcích softwaru BeeGFS a bude zdůrazněno použití "StorageBench", vestavěného srovnávacího testu cílů úložiště BeeGFS. V rámci dalších kroků vydáme dokument whitepaper později s výkonem metadat, hodnocením výkonu IOR N-1 a dalšími podrobnostmi o zvažování návrhu, ladění a konfiguraci. 

Reference

[1] Řešení Dell EMC Ready pro úložiště HPC BeeGFS:  
https://www.dell.com/support/article/sln319381/[2] Dokumentace k zařízení BeeGFS: 
https://www.beegfs.io/wiki/[3] Jak připojit dvě rozhraní ke stejné podsíti: 
https://access.redhat.com/solutions/30564[4] Referenční design PCI Express Direct Memory Access s externí pamětí: https://www.intel.com/content/www/us/en/programmable/documentation/nik1412547570040.html#nik1412547565760