Dell EMC-färdiga lösningar för lagring med hög kapacitet med HPC BeeGFS

Denna artikel har skrivits av Nirmala Sundararajan, HPC och AI Innovations labbet, april 2020

Innehållsförteckning:

1. Introduktion
2. Lösnings referens arkitektur
3. Konfiguration av maskin vara och program vara
4. Information om lösnings konfiguration
   • Övervaknings tjänsten
   • Metadatatjänst
   • Hanterings tjänst
   • Lagrings tjänst
   • Client service
5. Prestandautvärdering
   • Sekventiella läspaket och skriver N-N
   • Slumpmässiga läsningar och skrivningar N-N
   • Använda justerings parametrar
6. Slut för ande och framtida arbete

Introduktion

Dell EMC redo lösningar för HPC BeeGFS hög kapacitets lagring är en fullt fungerande lagrings lösning med hög genomflöde. I den här bloggen diskuteras lösnings arkitekturen, hur den är justerad för HPC prestanda och visar I/O-prestanda med både IOZone och slumpmässiga riktmärken. En BeeGFS-lagrings lösning med hög prestanda som bygger på NVMe-enheter beskrivs i den här bloggen som publicerades under noven 2019. Denna arkitektur betonade prestanda, och den lösning som beskrivs här är en lagrings lösning med hög kapacitet.  Dessa två lösningar för BeeGFS är olika i termer av deras design mål och användnings fall.  Den höga prestanda lösningen är utformad som ett förvarings utrymme för virtuella enheter, en mellanlagrings grund för tillfälliga data uppsättningar som vanligt vis inte behålls utanför jobbets livs längd. Lösningen med hög kapacitet använder 4x Dell EMC PowerVault ME4084-matriser helt ifylld med totalt 336 enheter och ger en RAW-kapacitet på 4PB om den är utrustad med 12 TB SAS-enheter. 

Överst på sidan

Lösnings referens arkitektur

Dell EMC Ready solution for HPC BeeGFS hög kapacitets lagring består av en hanterings Server, ett par med metadata-servrar, ett par lagrings servrar och tillhör ande lagringsmatriser. Lösningen tillhandahåller ett lagrings utrymme som använder ett enda namn område som enkelt kan nås av klustrets beräknade noder. Följande figur visar referens arkitekturen för lösningen med dessa primära komponenter:

• Hanterings Server
• Server par för metadata med PowerVault ME4024 som lagrings enhet på bak Sidan
• Storage Server-par med PowerVault ME4084 som lagrings plats på bak Sidan

Bild 1 visar referens arkitekturen för lösningen.

Bild 1: Dell EMC redo lösning för HPC BeeGFS-lagring

I bild 1 är administrations servern som kör BeeGFS Monitoring daemon en PowerEdge-R640.   De två MetaData-servrarna (MDS) är PowerEdge R740-servrar i en aktiv-aktiv konfiguration med hög tillgänglighet.  MDS-paret är anslutet till 2U, PowerVault ME4024-matris med 12 GB/s SAS länkar. ME4024-lagringsmatrisen är värd för MetaData-målen (MDTs). Ett annat par PowerEdge R740-servrar, även i Active-Active-Configuration med hög tillgänglighet, används som lagrings servrar (SS).  Det här SS-paret är anslutet till fyra helt ifyllda PowerVault ME4084-lagringsmatriser med 12 GB/s SAS länkar. ME4084-matriserna stöder ett val av 4 TB, 8 TB, 10 TB, eller 12 TB NL SAS 7,2 K RPM hårddisk enheter (hård diskar och värdar för lagrings målen (STs) för fil systemet BeeGFS. Den här lösningen använder Mellanox InfiniBand-HDR100 för data nät. Klienterna och servrarna är anslutna till 1U-Mellanox Quantum HDR-QM8790, som stöder upp till 80 portar för HDR100 med hjälp av HDR-delares kablar.

Överst på sidan

Konfiguration av maskin vara och program vara

Följande tabeller beskriver maskin varans speficiations och program varu versioner som har validerats för lösningen.

Tabell 1: Konfiguration av testbädd

Obs! I syfte att utföra prestanda karakterisering har BeeGFS version 7,2 beta2 använts.

Överst på sidan

Information om lösnings konfiguration

BeeGFS-arkitekturen består av fyra huvud tjänster:

1. Hanterings tjänst
2. Metadatatjänst
3. Lagrings tjänst
4. Client service

Det finns även en extra tjänst för BeeGFS övervakning.

Med undantag för klient tjänsten som är en kernel-modul är hantering, metadata och lagrings tjänster användar utrymmes processer. Det är möjligt att köra valfri kombination av BeeGFS-tjänster (klient-och Server komponenter) tillsammans på samma maskiner. Det är även möjligt att köra flera instanser av en BeeGFS-tjänst på samma maskin. I Dell EMC hög kapacitets konfiguration av BeeGFS körs övervaknings tjänsten på administrations servern, flera instanser av metadatatjänsten körs på servrarna för metadata och en enda instans av lagrings tjänsten körs på lagrings servrar. Hanterings tjänsten är installerad på metadata-servrarna.  

Övervaknings tjänsten

BeeGFS Monitoring service (BeeGFS-mån. service) samlar in BeeGFS-statistik och ger dem till användaren med hjälp av tids serie databasen InfluxDB.   För visualisering av data tillhandahåller beegfs-mån-Grafana fördefinierade Grafana -instrumentpaneler som kan användas utanför lådan. Bild 2 ger en allmän översikt av BeeGFS-klustret som visar antalet lagrings tjänster och metadata-tjänster i inställningarna (kallas för noder i instrument panelen). Den listar även andra tillgängliga instrument paneler och ger en översikt över lagrings målen.

Bild 2 Grafana Dashboard-översikt över BeeGFS

Överst på sidan

Metadatatjänst

Den ME4024 lagrings mat ris som används för lagring av metadata är helt ifylld med 24x 960GB-SSD. Dessa enheter är konfigurerade i 12x linjära RAID1 disk grupper på två enheter som visas i bild 3. Varje RAID1-grupp är ett mål för MetaData.

Bild 3 helt ifylld ME4024-matris med 12 MDTs

I BeeGFS hanterar varje metadatatjänst bara en enda MDT. Eftersom det finns 12 MDTs måste du ha 12 instanser av metadatatjänsten. Var och en av de två metadata-servrarna kör sex instanser av metadatatjänsten. Metadata-målen är formaterade med ett ext4 fil system (ext4-filsystem fungerar bra med små filer och små fil åtgärder). Dessutom lagrar BeeGFS information i utökade attribut och direkt på fil systemets noder för att optimera prestanda, båda fungerar bra med Ext4-filsystemet.

Tillbaka till början

Hanterings tjänst

Den beegfs- sammanslagna tjänsten konfigureras på båda metadata-servrarna. Beegfs MGMT Store initieras i den katalog som har sammanställts för metadata mål 1 så som visas nedan:

/opt/beegfs/sbin/beegfs-setup-mgmtd-p/beegfs/metaA-numa0-1/mgmtd-S beegfs-MGMT

Hanterings tjänsten startas på meta-servern.
 

Överst på sidan

Lagrings tjänst

I denna BeeGFS-lösning med hög kapacitet är data lagringen över fyra PowerVault ME4084-lagringsmatriser. Linjära RAID-6-disk grupper med 10 enheter (8 + 2) skapas på varje matris. En enda volym som använder allt utrymme skapas för varje disk grupp. Detta resulterar i 8 disk grupper/volymer per matris. Varje matris har 84 enheter och skapar 8 x RAID-6 disk grupper, men 4 enheter som kan konfigureras som globala reserv delar över mat ris volymerna.

Med den layout som beskrivs ovan finns det totalt 32 x RAID-6-volymer över 4 x ME4084 i en bas konfiguration som visas i bild 1. Var och en av dessa RAID-6-volymer är konfigurerade som ett lagrings mål (ST) för BeeGFS-filsystemet, vilket resulterar i totalt 32 STs i fil systemet.

Varje ME4084-matris har 84 enheter, med enheter numrerade 0-41 i den översta lådan och de numrerade 42-84 i botten lådan.  I bild 5 representerar varje uppsättning med 10 enheter som är markerade 1 till 8 en 8xRAID6-grupp. En volym skapas från varje RAID6-grupp. Enheterna som är märkta med "S" representerar globala reserv delar. Bild 5 visar den främre vyn av matrisen efter konfigurering av 8 volymer och 4 globala reserv delar.

Bild 4 RAID 6-(8 + 2) layout för disk grupp på en ME4084 

Överst på sidan

Client service

BeeGFS client-modulen läses in på alla värdar som behöver åtkomst till BeeGFS-filsystemet. När BeeGFS-modulen laddas och BeeGFS-Client-tjänsten startas monteras de fil system som definieras i/etc/BeeGFS/beegfs-Mounts. conf -filen i stället för den vanliga metoden baserat på /etc/fstab.  Med den här metoden startar beegfs-klienten som någon annan Linux tjänst via Start skriptet och aktiverar automatisk autokompilering av beegfs client-modulen efter system uppdateringar..

Överst på sidan

Prestandautvärdering

I det här avsnittet visas prestanda egenskaperna för Dell EMC klara lösningar för HPC BeeGFS lagrings lösning med hög kapacitet med hjälp av IOzone och slumpmässiga riktmärken.  För ytterligare prestanda karakterisering med hjälp av IOR och MDtest och detaljer om konfigurationen av hög tillgänglighet, letar du efter ett fakta blad som ska publiceras vid ett senare tillfälle.

Lagrings prestandan utvärderades med hjälp av IOzone benchmark (v 3.487). Det sekventiella Läs-och skriv-genomflöde, och slumpmässiga Läs-och skriv IOPS mättes. Tabell 2 beskriver konfigurationen av PowerEdge R840-servrar som används som BeeGFS-klienter för dessa prestanda studier.

Tabell 2 klient konfiguration

Servrarna och klienterna är anslutna via ett HDR100 nätverk och nätverks informationen som anges i tabell 3 nedan:  

Tabell 3: Nätverks
 

Sekventiella läspaket och skriver N-N

De sekventiella läsningarna och skrivningarna mättes med det sekventiella Läs-och skriv läget för IOzone. Dessa tester utfördes på flera antal trådar med start från 1 tråd, som ökar med en faktor på två, upp till 512 trådar. Vid varje antal trådar genererades ett lika stort antal filer, eftersom det här testet fungerar på en fil per tråd eller i N-N-höljet. Processerna distribuerades över 8 fysiska klientens noder i ett Round Robin-läge så att förfrågningarna distribueras jämnt med belastnings utjämning.

För tråd räknas 16 och ovanför en sammanlagd fil storlek för 8TB valdes för att minimera effekterna av cachelagring från servrarna såväl som från BeeGFS-klienter. För tråd antal under 16 är fil storleken 768 GB per tråd (dvs. 1,5 TB för 2 trådar, 3 TB för 4 trådar och 6TB för 8 trådar). I ett givet test är den sammanlagda fil storleken som används jämnt indelad bland antalet trådar. En post storlek för 1MiB användes för alla körningar. Kommandot som används för sekventiella N-N-tester anges nedan:

Sekventiella skrivningar och läsningar: IOzone-i $test-c-e-w-r 1m-s $Size-t $Thread-+ n-+ m/path/to/threadlist

OS-cacheminnen släpptes även på servrarna mellan iterationer såväl som mellan Skriv-och Läs test genom att köra kommandot:

# Sync & & ECHO 3 >/proc/sys/VM/drop_caches

Fil systemet demonterades och monterades på klienterna mellan iterationer och mellan Skriv-och Läs test för att rensa cacheminnet.

Bild 5: N-N – sekventiell läsprestanda

Överst på sidan

Slumpmässiga läsningar och skrivningar N-N

IOzone användes i slumpmässigt läge för att utvärdera slumpmässigt IO-prestanda.  Tester utfördes på tråd antal från 16 till 512 trådar.  Direct IO-alternativet (-I) har använts för att köra IOzone så att alla åtgärder kringgår cacheminnet och går direkt till disken. BeeGFS striping-antal 1 och segment storleken 1 MB har använts. Begär ande storleken var inställd på 4KiB. Prestanda mättes i i/O-åtgärder per sekund (IOPS). OS-cacheminnet har tagits bort från körningarna på BeeGFS-servrarna. Fil systemet har demonterats och demonterats på klienter mellan iterationer av testet. Det kommando som används för slumpmässiga Läs-och skriv tester är som följer:

IOzone-i 2-w-c-O-I-r 4K-s $Size-t $Thread-+ n-+ m/path/to/threadlist

Bild 6n-n slumpmässiga prestanda

Bild 6 visar att Skriv prestandan når omkring 31K IOPS och förblir stabil från 32 trådar till 512 trådar. Däremot ökar Läs prestandan med ökningen av antalet IO-begäranden med en maximal prestanda på omkring 47K IOPS vid 512 trådar, vilket är det maximala antalet trådar som testas för lösningen. ME4 kräver ett högre ködjup för att nå den maximala läsnings prestandan och grafen indikerar att det går att få högre prestanda om vi kör 1024 samtidiga trådar. Eftersom testerna bara kördes med 8 klienter har vi dock inte tillräckligt med kärnor för att kunna köra 1024-tråd räkningen.


Tillbaka till början

Använda justerings parametrar

Följande justerings parametrar var på plats medan man utförde prestanda karakteriseringen av lösningen.

Standard stripe-antalet för BeeGFS är 4. Segment storleken och antalet mål per fil (Stipe Count) kan dock konfigureras per katalog eller per fil. För alla dessa tester var BeeGFS stripe-storlek inställt på 1 MB och stripe-antalet är inställt på den (se nedan):

$beegfs-CTL--getentryinfo--Mount =/mnt/beegfs//mnt/beegfs/benchmark/--verbose
Post typ: Katalog-
ENTRYID: 1-5E72FAD3-1
lib: root
metadata node: metaa-numa0-1 [ID: 1]
randigt mönster information:
+ Typ: RAID0
+ Chunksize: 1m
+ Antal lagrings mål: önskat: 1
+ Lagringspool: 1 (standard)
inode hash-sökväg: 61/1: A/1-5E72FAD3-1

De transparenta enorma sidorna har inaktiverats och följande inställningar för virtuellt minne som är konfigurerade på metadata-och lagrings servrarna:

• vm.dirty_background_ratio = 5
• vm.dirty_ratio = 20
• vm.min_free_kbytes = 262144
• vm.vfs_cache_pressure = 50

Följande justerings alternativ användes för lagrings block enheterna på lagrings servrarna.

• IO Scheduler deadline: deadline
• Antal schedulable-begär Anden: 2048:
• Maximal mängd Read Ahead-data: 4096

Utöver ovanstående ovan användes följande BeeGFS-specifika justerings alternativ:
 
beegfs-meta. conf

connMaxInternodeNum = 64
tuneNumWorkers = 12
tuneUsePerUserMsgQueues = True # tillval
tuneTargetChooser = RoundRobin (benchmarking)

beegfs-lagring. conf

connMaxInternodeNum = 64
tuneNumWorkers = 12
tuneUsePerTargetWorkers = True
tuneUsePerUserMsgQueues = True # tillval
tuneBindToNumaZone = 0
tuneFileReadAheadSize = 2m

beegfs-client. conf

connMaxInternodeNum = 24
connBufSize = 720896

Överst på sidan

Slut för ande och framtida arbete

Den här bloggen tillkännager lanseringen av Dell EMC BeeGFS hög kapacitets lagrings lösning och framhäver prestanda egenskaperna. Den här lösningen ger en topp prestanda på 23,7 GB/s för läsningar och 22,1 GB/s för skrivningar med IOzone sekventiella benchmarks. Vi ser även slumpmässiga Skriv toppar vid 31.3 K IOPS och slumpmässiga läsningar på 47.5 K IOPS.

Som en del av nästa steg kommer vi att utvärdera metadata-prestanda och N-trådar till en enda fil (N till 1) IOR prestanda för den här lösningen. Ett fakta blad som beskriver lösningens metadata och IOR prestanda med ytterligare information om design överväganden för den här lösningen med hög tillgänglighet förväntas publiceras när validerings-och utvärderings processen har slutförts.

Överst på sidan