Dell EMC Ready -ratkaisut suuren kapasiteetin HPC BeeGFS -tallennukseen

Artikkelin ovat kirjoittaneet Nirmala Sundararajan, HPC ja AI Innovation Lab, huhtikuu 2020

Sisällysluettelo:

1. Johdanto
2. Ratkaisun viitearkkitehtuuri
3. Laitteiston ja ohjelmiston määritys
4. Ratkaisun kokoonpanon tiedot
   • Valvontapalvelu
   • Metatietopalvelu
   • Hallintapalvelu
   • Tallennuspalvelu
   • Asiakaspalvelu
5. Suorituskyvyn arviointi
   • Peräkkäiset lukemat ja kirjoitukset N-N
   • Satunnaiset lukemat ja kirjoitukset N-N
   • Käytetyt viritysparametrit
6. Johtopäätös ja tuleva työ

Johdanto

Dell EMC Ready Solutions for HPC BeeGFS High Capacity Storage on täysin tuettu, suurikapasiteettinen rinnakkaistiedostojärjestelmän tallennusratkaisu. Tässä blogissa käsitellään ratkaisuarkkitehtuuria, miten se on viritetty HPC:n suorituskykyä varten, ja esitellään I/O-suorituskykyä käyttämällä sekä IOZone-järjestys- että satunnaisia vertailuarvoja. NVMe-laitteille rakennettua BeeGFS-suorituskykyistä tallennusratkaisua kuvattiin tässä marraskuussa 2019 julkaistussa blogissa. Arkkitehtuuri korosti suorituskykyä, ja tässä kuvattu ratkaisu on suuren kapasiteetin tallennusratkaisu.  Nämä kaksi BeeGFS-ratkaisua ovat erilaisia suunnittelutavoitteidensa ja käyttötapausten suhteen.  Suorituskykyinen ratkaisu on suunniteltu naarmuuntumisratkaisuksi, joka on pysähdyspaikka ohimeneviä tietoaineistoja varten, joita ei yleensä säilytetä työn käyttöiän jälkeen. Suurikapasiteettinen ratkaisu käyttää 4x Dell EMC PowerVault ME4084 -matriiseja, joissa on yhteensä 336 asemaa, ja sen raakakapasiteetti on 4PB, jos se on varustettu 12 TB SAS-asemalla. 

Alkuun

Ratkaisun viitearkkitehtuuri

Dell EMC Ready Solution for HPC BeeGFS High Capacity Storage koostuu hallintapalvelimesta, metatietopalvelimista, tallennuspalvelimista ja niihin liittyvistä tallennusmatriiseista. Ratkaisu tarjoaa tallennustilan, joka käyttää yhtä nimitilaa, jota klusterin laskentasolmut helposti käyttävät. Seuraavassa kuvassa on ratkaisun viitearkkitehtuuri näiden ensisijaisten komponenttien kanssa:

• Hallintapalvelin
• Metatietopalvelinpari ja PowerVault ME4024 taustatallennustilana
• Tallennuspalvelinpari ja PowerVault ME4084 taustatallennustilana

Kuvassa 1 esitetään liuoksen viitearkkitehtuuri.

Kuva 1: Dell EMC Valmis ratkaisu HPC BeeGFS -tallennustilaan

Kuvassa 1 BeeGFS-valvontadimonia käyttävä hallintapalvelin on PowerEdge R640.   Kaksi METAData Serveriä (MDS) ovat PowerEdge R740 -palvelimia, joiden käytettävyys on aktiivinen.  MDS-pari on yhdistetty 2U, PowerVault ME4024 -taulukkoon 12 Gt/s SAS-linkeillä . ME4024-tallennustaulukko isännöi METAData-kohteita (MDT). Tallennuspalvelimiksi (SS) käytetään toista PowerEdge R740 -palvelinparia, joka on myös aktiivisessa korkean käytettävyyden kokoonpanossa.  Tämä SS-pari on yhdistetty neljään täyteen täytettyyn PowerVault ME4084 -tallennusjärjestelmään 12 Gt/s SAS-linkkien avulla. ME4084-matriisit tukevat 4 Tb:n, 8 Tb:n, 10 Tt:n tai 12 Tl:n NL SAS 7.2 K RPM -kiintolevyasemaa (HDD ja isännöivät BeeGFS-tiedostojärjestelmän tallennuskohteita). Tämä ratkaisu käyttää Mellanox InfiniBand HDR100 tietoverkossa. Asiakkaat ja palvelimet on yhdistetty 1U Mellanox Quantum HDR Edge Switch QM8790 -kytkimeen, joka tukee jopa 80 HDR100-porttia HDR-jakajakaapeleilla.

Alkuun

Laitteiston ja ohjelmiston määritys

Seuraavissa taulukoissa kuvataan ratkaisulle vahvistetut laitteistoerifikaatiot ja ohjelmistoversiot.

Taulukko 1: Testipenkin kokoonpano

Huomautus: Suorituskyvyn luonnehdinnassa on käytetty BeeGFS-versiota 7.2 beeta2.

Alkuun

Ratkaisun kokoonpanon tiedot

BeeGFS-arkkitehtuuri koostuu neljästä pääpalvelusta:

1. Hallintapalvelu
2. Metatietopalvelu
3. Tallennuspalvelu
4. Asiakaspalvelu

Tarjolla on myös valinnainen BeeGFS-valvontapalvelu.

Ydinmoduulina olevaa asiakaspalvelua lukuun ottamatta hallinta-, metatieto- ja tallennuspalvelut ovat käyttäjätilaprosesseja. BeeGFS-palveluiden (asiakas- ja palvelinkomponenttien) yhdistelmiä on mahdollista suorittaa yhdessä samoissa koneissa. Samassa koneessa on myös mahdollista suorittaa useita BeeGFS-palvelun esiintymiä. BeeGFS:n Dell EMC -suuren kapasiteetin kokoonpanossa valvontapalvelu suoritetaan hallintapalvelimessa, metatietopalvelimilla suoritetaan useita metatietopalvelun esiintymiä ja tallennuspalvelimilla suoritetaan yksi tallennuspalvelun esiintymä. Hallintapalvelu asennetaan metatietopalvelimiin.  

Valvontapalvelu

BeeGFS-seurantapalvelu (beegfs-mon.service) kerää BeeGFS-tilastoja ja toimittaa ne käyttäjälle aikasarjatietokannan InfluxDB avulla.   Tietojen visualisointiin beegfs-mon-grafana tarjoaa ennalta määritetyt Grafana-koontinäytöt, joita voidaan käyttää laatikosta. Kaaviossa 2 on yleiskuva BeeGFS-klusterista, josta käy ilmi tallennuspalvelujen ja metatietopalvelujen määrä asennuksessa (joita kutsutaan koontinäytön solmuiksi). Siinä luetellaan myös muut käytettävissä olevat koontinäytön näkymät ja annetaan yleiskuva tallennustavoitteista.

Kuva 2 Grafanan koontinäyttö - BeeGFS-yleiskatsaus

Alkuun

Metatietopalvelu

Metatietojen tallennustilaan käytettävä ME4024-tallennusjärjestelmä on täynnä 24x 960 Gt:n SSD-yte:tä. Nämä asemat on määritetty 12x Lineaarinen RAID1 -levyryhmiin, joissa kussakin on kaksi asemaa kuvan 3 mukaisesti. Jokainen RAID1-ryhmä on MetaData-kohde.

Kuva 3 Täysin täytetty ME4024-taulukko, jossa on 12 MDT:tä

BeeGFS:ssä jokainen metatietopalvelu käsittelee vain yhden MDT:n. Koska MDT-esiintymiä on 12, metatietopalvelussa on oltava 12 esiintymää. Kumpikin metatietopalvelimista suorittaa kuusi metatietopalvelun esiintymää. Metatietokohteet on muotoiltu ext4-tiedostojärjestelmällä (ext4-tiedostojärjestelmät toimivat hyvin pienillä tiedostoilla ja pienillä tiedostotoiminnoilla). Lisäksi BeeGFS tallentaa tietoja laajennettuihin määritteeseen ja suoraan tiedostojärjestelmän inodeihin suorituskyvyn optimoimiseksi, jotka molemmat toimivat hyvin ext4-tiedostojärjestelmän kanssa.

Takaisin huipulle

Hallintapalvelu

Beegfs-mgmtd-palvelu on määritetty molemmissa metatietopalvelimissa. Beegfs mgmtd -myymälä alustetaan metatietotavoitteen 1 hakemistossa mgmtd alla esitetyllä tavalla:

/opt/beegfs/sbin/beegfs-setup-mgmtd -p /beegfs/metaA-numa0-1/mgmtd -S beegfs-mgmt

Hallintapalvelu käyntiin metaA-palvelimessa.
 

Alkuun

Tallennuspalvelu

Tässä suuren kapasiteetin BeeGFS-ratkaisussa tietojen tallennustila on neljässä PowerVault ME4084 Storage -matriisissa. Lineaariset RAID-6-levyryhmät, jotka ovat 10 asemaa (8+2), luodaan kussakin matriisissa. Jokaiselle levyryhmälle luodaan yksi asema, joka käyttää kaiken tilan. Tämä johtaa kahdeksaan levyryhmään/asemaan matriisia kohden. Kussakin matriisissa on 84 asemaa, ja 8 x RAID-6-levyryhmien luominen jättää 4 asemaa, jotka voidaan määrittää matriisien maailmanlaajuisena kuumana varajärjestelmänä.

Edellä kuvatun asettelun mukaan kuvassa 1 esitetyssä peruskokoonpanossa on yhteensä 32 x RAID-6-asemia 4 x ME4084:ssä. Jokainen näistä RAID-6-asemista on määritetty BeeGFS-tiedostojärjestelmän tallennuskohteeksi (ST), jolloin tiedostojärjestelmässä on yhteensä 32 ST:tä.

Jokaisessa ME4084-matriisissa on 84 asemaa, joiden ylimmässä laatikossa on taajuusmajat numero 0-41 ja alalaatikossa numerot 42-84.  Kuvassa 5 jokainen 10 aseman joukko, joka on merkitty 1–8, edustaa 8xRAID6-ryhmää. Jokaisesta RAID6-ryhmästä luodaan yksi asema. Asemat, joissa on merkintä "S", edustavat maailmanlaajuisia varaosia. Kuvassa 5 esitetään matriisin etunäkymä 8 tilavuusosan ja 4 maailmanlaajuisen varaosan kokoonpanon jälkeen.

Kuva 4 RAID 6 (8+2) -levyryhmän asettelu yhdessä ME4084:ssä 

Alkuun

Asiakaspalvelu

BeeGFS-asiakasmoduuli ladataan kaikkiin isäntiin, jotka vaativat pääsyn BeeGFS-tiedostojärjestelmään. Kun BeeGFS-moduuli ladataan ja beegfs-asiakaspalvelu käyntiin, palvelu ottaa käyttöön /etc / beegfs / beegfs/beegfs-mounts.conf -tiedostossa määritellyt tiedostojärjestelmät tavanomaisen lähestymistavansijasta, joka perustuu / etc / fstab .  Tällä lähestymistavalla beegfs-asiakasohjelma alkaa kuten mikä tahansa muu Linux-palvelu palvelun käynnistyskomentosarjan kautta ja mahdollistaa BeeGFS-asiakasmoduulin automaattisen uudelleentäydennyksen järjestelmäpäivitysten jälkeen.

Alkuun

Suorituskyvyn arviointi

Tässä osassa esitellään Dell EMC Ready Solutions for HPC BeeGFS High Capacity Storage Solution -ratkaisun suorituskykyominaisuudet IOtsonin peräkkäisiä ja satunnaisia vertailuarvoja käyttäen.  Jos etsit lisää suorituskyvyn luonnehdintaa IOR: n ja MDtestin avulla ja tietoja korkean käytettävyyden kokoonpanosta, etsi valkoinen kirja, joka julkaistaan myöhemmin.

Tallennusteho arvioitiin IOzone-vertailuarvolla (v3.487). Järjestysluku- ja kirjoitusnopeus sekä satunnaisluku- ja kirjoitus-IOPS mitattiin. Taulukossa 2 kuvataan BeeGFS-asiakkaina näissä suorituskykytutkimuksissa käytettävien PowerEdge R840 -palvelimien kokoonpano.

Taulukko 2 Asiakkaan kokoonpano

Palvelimet ja asiakkaat on yhdistetty HDR100-verkkoon ja alla olevassa taulukossa 3 esitetyt verkkotiedot:  

Taulukko 3: Verkostoituminen
 

Peräkkäiset lukemat ja kirjoitukset N-N

Peräkkäiset lukemat ja kirjoitukset mitattiin IOzonen peräkkäisellä luku- ja kirjoitustilalla. Testit suoritettiin useilla eri säiemäärillä alkaen yhdestä säikeestä ja nousten toiseen potenssiin aina 64:ään säikeeseen saakka. Jokaisella säiemäärällä luotiin vastaava määrä tiedostoja, koska testi toimii yhdellä tiedostolla säiettä kohti (N–N). Prosessit jaettiin 8 fyysiselle asiakass solmulle pyöreästi niin, että pyynnöt jakautuivat tasan kuormituksen tasaamisen kanssa.

Säiemäärissä 16 ja sitä suurempi kokonaistiedostokoko 8 Tt valittiin minimoimaan välimuistiin tunkeutumisen vaikutukset palvelimilta sekä BeeGFS-asiakkailta. Jos säikeiden määrä on alle 16, tiedoston koko on 768 Gigatavua säiettä kohti (eli 1,5 Tt 2 säikeessä, 3 Tt 4 säikeessä ja 6 Tt 8 säikeessä). Missä tahansa testissä käytetyn tiedoston koostekoko jaettiin tasan säikeiden määrän kesken. Kaikissa juoksuissa käytettiin ennätyskokoa 1MiB. N-N-vaihetesteissä käytettävä komento on seuraava:

Peräkkäiset kirjoitukset ja lukemat: iozone -i $test -c -e -w -r -r 1m -s $Size -t $Thread -+n -+m /path/to/threadlist

Käyttöjärjestelmän välimuistit pudotettiin myös palvelimiin iteraatioiden välillä sekä kirjoitus- ja lukutestien välillä komennon avulla:

# synkronointi ja kaiku 3 > /proc/sys/vm/drop_caches

Tiedostojärjestelmä irrotettiin käytöstä ja se kiinnitettiin uudelleen asiakkaisiin iteraatioiden välillä sekä kirjoitus- ja lukutestien välillä välimuistin tyhjentämiseksi.

Kuva 5: Peräkkäisten lukukertojen teho - N-N

Alkuun

Satunnaiset lukemat ja kirjoitukset N-N

IOzonea käytettiin satunnaistilassa satunnaisen IO-suorituskyvyn arviointiin.  Testit tehtiin 16–512 langan langalla.  Direct IO -vaihtoehtoa (-I) käytettiin IOzonen suoritamiseen niin, että kaikki toiminnot ohittavat puskurivälimuistin ja menevät suoraan levylle. BeeGFS-raitamäärä oli 1 ja lohkon koko 1MB. Pyynnön kooksi asetettiin 4KiB. Suorituskyky mitattiin I/O-toiminnoissa sekunnissa (IOPS). Käyttöjärjestelmän välimuistit pudotettiin BeeGFS-palvelimien juoksujen väliin. Tiedostojärjestelmä irrotettiin ja kiinnitettiin uudelleen asiakkaisiin testin iteraatioiden välillä. Satunnaisissa luku- ja kirjoituskokeissa käytettävä komento on seuraava:

iozone -i 2 -w -c -O -I -r 4K -s $Size -t $Thread -+n -+m /path/to/threadlist

Kuva 6N-N Satunnainen suorituskyky

Kuvasta 6 käy ilmi, että kirjoitusteho on noin 31 000 IOPS ja pysyy vakaana 32 langasta 512 säikeeseen. Sen sijaan lukuteho kasvaa, kun IO-pyyntöjen määrä kasvaa, ja niiden suurin suorituskyky on noin 47 000 IOPS 512 säikeessä, mikä on ratkaisulle testattujen säikeiden enimmäismäärä. ME4 vaatii korkeamman jonosyvyyden maksimaalisen lukutehokkuusasteen saavuttamiseksi, ja kaavio osoittaa, että voimme saada korkeamman suorituskyvyn, jos suoritamme 1024-samanaikaiset säikeet. Koska testit tehtiin kuitenkin vain 8 asiakkaan kanssa, meillä ei ollut tarpeeksi ytimä vuoden 1024 säiemäärän ajamiseen.


Takaisin huipulle

Käytetyt viritysparametrit

Seuraavat viritysparametrit olivat käytössä liuoksen suorituskyvyn luonnehdinnan aikana.

BeeGFS:n oletusraitamäärä on 4. Lohkon koko ja kohteiden määrä tiedostoa kohden (stipe-määrä) voidaan kuitenkin määrittää hakemisto- tai tiedostokohtaisesti. Kaikissa näissä testeissä BeeGFS-raitakoko asetettiin 1MB: hen ja raitojen määräksi asetettiin 1 alla esitetyllä tavalla:

$beegfs-ctl --getentryinfo --mount=/mnt/beegfs/ /mnt/beegfs/benchmark/ --verbose
Merkinnän tyyppi:
hakemiston EntryID: 1-5E72FAD3-1
ParentID:
päämetatietosolmu: metaA-numa0-1 [TUNNUS: 1]
Raitakuvion tiedot:
+ Tyyppi: RAID0
+ Lohkon koko: 1M(1M)
+ Varastointikohteiden määrä: haluttu: 1 1 1
+ Säilytysallas: 1 (Oletus)
Inode-hash-polku: 61/4C/1-5E72FAD3-1

Läpinäkyvät valtavat sivut poistettiin käytöstä, ja seuraavat metatieto- ja tallennuspalvelimiin määritetyt näennäismuistiasetukset:

• vm.dirty_background_ratio = 5
• vm.dirty_ratio = 20
• vm.min_free_kbytes = 262144
• vm.vfs_cache_pressure = 50

Seuraavia viritysasetuksia käytettiin tallennuspalvelimien tallennuslohkolaitteissa.

• IO Schedulerin määräaika : määräaika
• Pyyntöjen määrä: 2048:
• Eteenpäin luettavan tiedon enimmäismäärä :4096

Edellä mainittujen lisäksi käytettiin seuraavia BeeGFS-erityisviritysvaihtoehtoja:
 
beegfs-meta.conf -sivusto

connMaxInternodeNum = 64
tuneNumWorkers = 12
tuneUsePerUserMsgQueues = true #
Valinnainen sävelTargetChooser = roundrobin (benchmarking)

beegfs-storage.conf -sivusto

connMaxInternodeNum = 64
tuneNumWorkers = 12
tuneUsePerTargetWorkers = true
tuneUsePerUserMsgQueues = true # Valinnainen
sävelBindToNumaZone = 0
tuneFileReadAheadSize = 2m

beegfs-client.conf -sivusto

connMaxInternodeNum = 24
connBufSize = 720896

Alkuun

Johtopäätös ja tuleva työ

Tämä blogi ilmoittaa Dell EMC BeeGFS High Capacity Storage Solutionin julkaisusta ja korostaa sen suorituskykyominaisuuksia. Tämän ratkaisun huippusuorituskyky on 23,7 Gt/s lukemien osalta ja 22,1 Gt/s IOzone-vertailuarvoja käyttäville kirjoitukselle. Näemme myös satunnaisten kirjoittamiden huipun 31.3K IOPS: ssä ja satunnaiset lukemat 47.5K IOPS: ssä.

Osana seuraavia vaiheita arvioimme metatietojen suorituskyvyn ja N-säikeet yhteen tiedostoon (N-1) tämän ratkaisun IOR-suorituskykyyn. Tämän suuren kapasiteetin ratkaisun, jolla on suuri käytettävyys, suunnittelunäkökohdista on tarkoitus julkaista lisätietoja ratkaisun metatiedoista ja IOR-suorituskyvystä, kun validointi- ja arviointiprosessi on valmis.

Alkuun