Dell EMC Ready-løsninger for HPC BeeGFS-lagring med høykapasitet

Denne artikkelen ble skrevet av Nirmala Sundararajan, HPC og kunstig skapnings Lab, april 2020

Innholdsfortegnelse:

1. Innledning
2. Løsnings referanse arkitektur
3. Maskin vare-og program vare konfigurasjon
4. Detaljer om løsnings konfigurasjon
   • Overvåkings tjeneste
   • Metadata-tjenesten
   • Administrasjons tjeneste
   • Lagrings tjeneste
   • Client Service (klient)
5. Ytelsesevaluering
   • Sekvensielle lese-og skrive operasjoner N-N
   • Tilfeldig lesing og skriving N-N
   • Justerings parametere som brukes
6. Konklusjon og fremtidig arbeid

Innledning

De Dell EMC klare løsningene for HPC BeeGFS høy kapasitets lagring er en fullt ut støttet lagrings løsning for parallelle fil systemer med høy gjennomstrømning. Denne bloggen tar for seg løsnings arkitekturen, hvordan den er justert for HPC ytelse, og presenterer I/u-ytelse ved hjelp av både IOZone sekvensielle og tilfeldige ytelses tester. En BeeGFS høy ytelses lagrings løsning som er bygd på NVMe-enheter, ble beskrevet i denne bloggen publisert under Nov 2019. Den arkitekturen som er underhevet ytelse, og løsningen som er beskrevet her, er en lagrings løsning med høy kapasitet.  Disse to løsningene for BeeGFS er forskjellige når det gjelder design målene og bruks tilfellene.  Løsningen med høy ytelse er utformet som en scratch-løsning, et oppsamlings jord for midlertidige data sett, som vanligvis ikke beholdes utover leve tiden til jobben. Løsningen med høy kapasitet bruker 4X Dell EMC PowerVault ME4084-arrayer fullt ut med totalt 336 stasjoner og gir en rå kapasitet på 4PB hvis det er utstyrt med 12 TB SAS-stasjoner. 

Tilbake til toppen

Løsnings referanse arkitektur

Den Dell EMC klare løsningen for HPC BeeGFS lagring av høy kapasitet består av en behandlingsserver, et par metadata, et par med servere og tilhørende lagrings kjeder. Løsningen gir lagring som bruker ett enkelt navne område som er lett tilgjengelig av data maskinens data behandlings knute punkt. Følgende figur viser løsnings referanse arkitekturen med disse primære komponentene:

• Behandlingsserver
• Metadata-servert parer med PowerVault ME4024 som bak lagring
• Storage Server-par med PowerVault ME4084 som bak lagring

Figur 1 viser referanse arkitekturen for løsningen.

Figur 1: Dell EMC klar løsning for HPC BeeGFS-lagring

I figur 1, vil behandlingsserveren som kjører BeeGFS Monitor-Daemon, være en PowerEdge-R640.   De to MetaDataene (MDS) er PowerEdge R740-serverne i en aktiv aktiv konfigurasjon for høy tilgjengelighet.  MDS-paret er koblet til 2U, PowerVault ME4024-array med 12 GB/s SAS-koblinger. ME4024 Storage-Array er vert for MetaDataene for tjenesten (MDTs). Et annet par med PowerEdge R740-servere, også i aktiv aktiv konfigurasjon av høy tilgjengelighet, brukes som Storage Servers (SS).  Dette SS-paret er koblet til fire fullt utfylte PowerVault ME4084-lagringsarray ved hjelp av 12 GB/s SAS-koblinger. ME4084-arrayene støtter en valg mellom 4 TB, 8 TB, 10 TB eller 12 TB NL SAS 7,2 K RPM hard disk stasjoner (hard disker og er vert for lagrings målene (STs) for BeeGFS fil systemet. Denne løsningen bruker Mellanox InfiniBand-HDR100 for data nettverket. Klientene og serverne er koblet til 1U Mellanox-HDR100en for HDR-kant, som støtter opptil 80-porter av QM8790 ved hjelp av HDR-splittere-kabler.

Tilbake til toppen

Maskin vare-og program vare konfigurasjon

Følgende tabeller beskriver maskin vare-speficiations og program vare versjoner som er godkjent for løsningen.

Tabell 1: Testmiljø-konfigurasjon

Merk: For å kunne bruke ytelses characterization, har BeeGFS versjon 7,2-beta2 blitt brukt.

Tilbake til toppen

Detaljer om løsnings konfigurasjon

BeeGFS-arkitekturen består av fire hoved tjenester:

1. Administrasjons tjeneste
2. Metadata-tjenesten
3. Lagrings tjeneste
4. Client Service (klient)

Det finnes også en valg fri BeeGFS Monitoring-tjeneste.

Bortsett fra klient tjenesten som er en kjerne modul, vil administrasjon, metadata og lagrings tjenester være bruker område prosesser. Det er mulig å kjøre en hvilken som helst kombinasjon av BeeGFS-tjenester (klient-og Server-komponenter) sammen på de samme maskinene. Det er også mulig å kjøre flere forekomster av en hvilken som helst BeeGFS-tjeneste på den samme data maskinen. I den Dell EMC høy kapasitets konfigurasjonen av BeeGFS kjører overvåkings tjenesten på behandlingsserveren, flere forekomster av metadata-tjenesten kjøres på metadataene og én enkelt forekomst av lagrings tjeneste kjører på lagringsserver. Administrasjons tjenesten er installert på metadata-serverne.  

Overvåkings tjeneste

BeeGFS monitoring service (BeeGFS-man. service) samler inn BeeGFS statistikk og gir dem til brukeren ved hjelp av tids serie databasen InfluxDB.   For å visualisere data, beegfs-man-grafana gir forhånds definerte grafana instrument bord som kan brukes ut av esken. Figur 2 gir en generell oversikt over BeeGFS-klyngen som viser antall lagrings tjenester og metadata som er lagt inn i oppsettet (kalt noder på instrument bordet). Den viser også de andre instrument bord visningene som er tilgjengelige, og gir en oversikt over lagrings mål.

Figur 2 Grafana-bord-BeeGFS oversikt

Tilbake til toppen

Metadata-tjenesten

Lagrings tabellen for ME4024 som brukes til lagring av metadataene, fylles helt ut med 24X 960GB-SSD. Disse stasjonene er konfigurert i 12x lineær RAID1 disk grupper av to stasjoner hver som vist i figur 3. Hver RAID1-gruppe er et MetaData-mål.

Figur 3 fullt utfylt ME4024 array med 12 MDTs

I BeeGFS kan hver metadatatjeneste bare håndtere én enkelt MDT. Fordi det er 12 MDTs, må det være 12 forekomster av metadata-tjenesten. Hver av de to metadataene kjører seks forekomster av metadata-tjenesten. Metadata-målene er formatert med et ext4-filsystem (ext4-filsystemer fungerer godt med små filer og liten fil drift). I tillegg lagrer BeeGFS informasjon i utvidede attributter og direkte på inodes av fil systemet for å optimere ytelsen, som begge fungerer bra med ext4 fil systemet.

Tilbake til toppen

Administrasjons tjeneste

Beegfs-mgmtd -tjenesten er konfigurert på begge metadataene. Beegfs mgmtd-lageret initialiseres i katalog mgmtd på metadata mål 1 som vist nedenfor:

/opt/beegfs/sbin/beegfs-setup-mgmtd-p/beegfs/metaA-numa0-1/mgmtd-S beegfs-mgmt

Administrasjons tjenesten startes på en meta-server.
 

Tilbake til toppen

Lagrings tjeneste

I denne BeeGFS-løsningen med høy kapasitet er data lageret på fire PowerVault ME4084 lagrings rekker. Lineære RAID-6 disk grupper med 10 stasjoner (8 + 2) hver av disse er opprettet på hver tabell. Ett enkelt volum som bruker alt spacet, er opprettet for hver disk gruppe. Dette vil føre til 8 disk grupper/volumer per array. Hver rekke har 84 stasjoner og oppretter 8 x RAID-6 disk grupper er 4 stasjoner som kan konfigureres som globale varme Reserve deler på tvers av array-volumene.

Med oppsettet som er beskrevet ovenfor, er totalt på 32 x RAID-6-volumer på 4 x ME4084 i en grunnleggende konfigurasjon vist i figur 1. Hvert av disse RAID-6-volumene er konfigurert som et lagrings mål (ST) for BeeGFS File System, som resulterer i totalt 32 STs på tvers av fil systemet.

Hver ME4084-rekke har 84 stasjoner, med stasjons nummer 0-41 i den øverste skuffen og de nummererte 42-84 i den nederste skuffen.  I figur 5 vil hvert sett med 10 stasjoner som er merket med 1 til 8, representere 8xRAID6-gruppen. Ett volum opprettes fra hver RAID6-gruppe. Stasjonene som er merket med "S", representerer de globale Reserve delene. Figuren 5 viser tabellen sett forfra etter konfigurering av 8 volumer og 4 globale Reserve deler.

Figur 4 RAID 6 (8 + 2) disk gruppe oppsett på én ME4084 

Tilbake til toppen

Client Service (klient)

BeeGFS Client-modulen lastes inn på alle vertene som krever tilgang til BeeGFS File System. Når BeeGFS-modulen er lastet inn, og BeeGFS-Client-tjenesten er startet, vil tjenesten montere fil systemene som er definert i//ellerbeegfs-mounts. -filen i stedet for vanlig Fremgangs måte basert på /etc/fstab.  Med denne Fremgangs måten starter beegfs-klienten som alle andre Linux-tjenester gjennom tjeneste oppstarts skript, og aktiverer automatisk rekompilering av beegfs-klient modulen etter system oppdateringer..

Tilbake til toppen

Ytelsesevaluering

Denne delen presenterer ytelses egenskapene for de Dell EMC klare løsningene for HPC BeeGFS med høy kapasitet ved hjelp av IOzone sekvensielle og tilfeldige ytelses tester.  For ytterligere ytelse characterization ved bruk av IOR og MDtest og informasjon om konfigurering av høy tilgjengelighet, må du se etter en hvitt papir som skal publiseres senere.

Lagrings ytelsen ble evaluert ved hjelp av IOzone-benchmark (v 3.487). Sekvensiell lese-og skrive gjennomstrømming, og tilfeldig lese-og skrive IOPS ble målt. Tabell 2 beskriver konfigurasjonen av de PowerEdge R840-serverne som brukes som BeeGFS-klienter for disse ytelses studier.

Tabell 2 klient konfigurasjon

Serverne og klientene er koblet til over et HDR100-nettverk og nettverks detaljene som er oppgitt i tabell 3 nedenfor:  

Tabell 3: Påloggings
 

Sekvensielle lese-og skrive operasjoner N-N

De sekvensielle lesingene og skrivingene ble målt ved bruk av sekvensiell lese-og skrive modus for IOzone. Disse testene ble utført på flere tråder som starter ved én tråd og øker i 2. potens, opptil 512 tråder. Ved hver tråd ble et likt antall filer generert, ettersom denne testen fungerer på én fil per tråd eller N-N-tilfelle. Prosessene ble distribuert på 8 fysiske klient noder i en rundtur, slik at forespørslene er likt distribuert med belastnings fordeling.

For tråder som teller 16 og over en mengde fil størrelse på 8TB ble valgt for å minimere effekten av hurtigbufringen fra serverne samt fra BeeGFS-klienter. For tråder som er under 16, er fil størrelsen på 768 GB per tråd (det vil si 1,5 TB for 2 tråder, 3 TB for 4 tråder og 6TB for 8 tråder). Innenfor en gitt test, var den samlede fil størrelsen som ble brukt like mye fordelt på antall tråder. En post størrelse på 1MiB ble brukt til alle kjøringer. Kommandoen som brukes for sekvensiell N-N-tester er angitt nedenfor:

Sekvensiell skriving og lese operasjoner: IOzone-i $test-c-e-r 1m-s $Size-t $Thread-+ n-+ m/Path/to/threadlist

OS-hurtigbufferene ble også fjernet på serverne mellom gjentakelser, samt mellom skrive-og lese testene ved å kjøre kommandoen:

# Sync & & Echo 3 >/proc/sys/VM/drop_caches

Fil systemet var demontert og montert på nytt på klientene mellom gjentakelser og mellom skrive-og lese tester for å tømme hurtig bufferen.

Figur 5: N-N sekvensielle lese ytelse

Tilbake til toppen

Tilfeldig lesing og skriving N-N

IOzone ble brukt i en tilfeldig modus for å evaluere tilfeldig i/u-ytelse.  Tester ble utført på tråd telling fra 16 til 512 tråder.  Direkte i/u-alternativ (-I) ble brukt til å kjøre IOzone, slik at alle operasjoner går over hurtig bufferen for bufferen og gå direkte til disken. BeeGFS stripe antall på 1 og del størrelse på 1 MB ble brukt. Forespørsels størrelsen var satt til 4KiB. Ytelsen ble målt i i/u-operasjoner per sekund (IOPS). OS-hurtigbufferene ble fjernet mellom de som kjøres på BeeGFS-serverne. Fil systemet ble demontert og montert på nytt på klienter mellom gjentakelser av testen. Kommandoen som brukes for tilfeldige lese-og skrive tester er som følger:

IOzone-i 2-w-c-O-I-r, 4 000-s $Size-t $Thread-+ n-+ k/Path/to/threadlist

Figur 6N-N tilfeldig ytelse

Figuren 6 viser at skrive ytelsen når rundt 31K IOPS og fortsatt er stabilt fra 32 tråder til 512 tråder. Lese ytelsen øker derimot med økningen i antall i/u-forespørsler med maksimal ytelse på rundt 47K-IOPS på 512 tråder, som er det maksimale antallet tråder som er testet for løsningen. ME4 krever høyere kødybde for å nå maksimal lese ytelse og grafen viser at vi kan få høyere ytelse hvis vi kjører de 1024 samtidige trådene. Når testene bare kjøres med 8 klienter, hadde vi imidlertid ikke nok kjerner til å kjøre antallet 1024-tråder.


Tilbake til toppen

Justerings parametere som brukes

Følgende justerings parametere var på plass under utføring av ytelses characterizationen for løsningen.

Standard stripesett for BeeGFS er 4. Størrelsen på gruppen og antall mål per fil (Stipe-tellinger) kan imidlertid konfigureres på en per-mappe eller på hver fil. For alle disse testene ble BeeGFS stripe-størrelse satt til 1 MB og stripesett for antall var angitt til 1 som vist nedenfor:

$beegfs-CTL--getentryinfo--montering =/mnt/beegfs/-/mnt/beegfs/benchmark/--detaljert
Inngangs type: katalog-
EntryID: 1-5E72FAD3-1
ParentID: rotnode for
metadata: meta-numa0-1 [ID: 1]
detaljer om stripesett:
+ Type: RAID0
+ Chunksize: 1m
+ Antall lagrings mål: ønsket: 1
+ Lagrings utvalg: 1 (standard)
inode-hash-bane: 61/4C/1-5E72FAD3-1

De transparente store sidene er deaktivert og de følgende innstillingene for virtuelt minne konfigurert på metadataene og serverne for lagring:

• vm.dirty_background_ratio = 5
• vm.dirty_ratio = 20
• vm.min_free_kbytes = 262144
• vm.vfs_cache_pressure = 50

Følgende justerings alternativer ble brukt for lagrings blokk enheter på serveren for lagring av data.

• Tids frist for i/u-planlegging: frist
• Antall schedulable-forespørsler: 2048:
• Maksimums verdi for lese data: 4096

I tillegg til de følgende BeeGFS-spesifikke justerings alternativene ble brukt:
 
beegfs-meta.

connMaxInternodeNum = 64
tuneNumWorkers = 12
tuneUsePerUserMsgQueues = True # Optional
tuneTargetChooser = roundrobin (benchmarking)

beegfs-Storage.

connMaxInternodeNum = 64
tuneNumWorkers = 12
tuneUsePerTargetWorkers = True
tuneUsePerUserMsgQueues = sann # valg fri
tuneBindToNumaZone = 0
tuneFileReadAheadSize = 2 MB

beegfs-Client.

connMaxInternodeNum = 24
connBufSize = 720896

Tilbake til toppen

Konklusjon og fremtidig arbeid

Denne bloggen annonserer utgivelsen av Dell EMC BeeGFS høy kapasitets lagrings løsning, og fremhever ytelses egenskapene. Denne løsningen gir en topp ytelse på 23,7 GB/s for lese-og 22,1 GB/s for skriving som bruker IOzone sekvensielle ytelses tester. Vi ser også de tilfeldige skrives toppene på 31.3 K IOPS og tilfeldige lese operasjoner på 47.5 K IOPS.

Som en del av de neste trinnene, skal vi evaluere metadataets ytelse og N tråder til én enkelt fil (N til 1) IOR ytelse av denne løsningen. En hvit papir som beskriver metadataene og IOR ytelsen til løsningen med ytterligere informasjon om design vurderinger for denne høy kapasitets løsningen med høy tilgjengelighet forventes å være publisert etter at Valide Rings-og evaluerings prosessen er fullført.

Tilbake til toppen