Dell Ready -ratkaisujen skaalattavuus HPC BeeGFS -tallennukseen

Miten Dell BeeGFS High Performance -tallennusratkaisu skaalataan kapasiteetin tai suorituskyvyn kannalta?

Katso Ratkaisu-osion tiedot.

Sisällysluettelo

1. Johdanto
2. Peruskokoonpanot
3. BeeGFS:n käytettävissä olevan tilan laskenta
4. Skaalautuvat kokoonpanot
5. Suorituskyvyn kuvaus
6. Päättäminen ja tuleva työ
    

---

Johdanto

Tässä blogikirjoituksessa käsitellään Dell EMC Ready Solutions for HPC BeeGFS Storage - ratkaisun skaalautuvuutta.  BeeGFS-arkkitehtuuri koostuu neljästä pääpalvelusta, hallintapalvelusta, metatietopalvelusta, tallennuspalvelusta ja asiakaspalvelusta. Näiden neljän pääpalvelun yhdistelmää, myös kaikkia, voidaan käyttää samassa palvelimessa, koska BeeGFS:n roolit ja laitteisto eivät ole tiiviisti integroituja.  Hyperkonvergoidussa ratkaisussa kaikki neljä palvelua toimivat samalla palvelimella. Tätä kokoonpanoa ei suositella suorituskyvyn kannalta kriittisissä ympäristöissä, koska asiakkaan sovellukset kuluttavat tavallisesti resursseja, jotka voivat vaikuttaa tallennuspalvelujen suorituskykyyn. Dell EMC -ratkaisu tarjoaa tehokkaan ja skaalautuvan tallennusratkaisun käyttämällä erityisiä tallennuspalvelimia ja kaksikäyttöistä metatietoja ja tallennuspalvelinta. Järjestelmää voi skaalata lisäämällä järjestelmään lisää tallennuspalvelimia. Tässä blogikirjoituksessa esitellään kokoonpanoja, joissa on eri määrä tallennuspalvelimia ja niiden suorituskykyä.

---

Peruskokoonpanot

BeeGFS-tallennusratkaisu, joka on suunniteltu tarjoamaan tehokas tiedostojärjestelmä, käyttää seuraavia laitteiston osia:

• Hallintapalvelin
  • R640, kaksi Intel Xeon Gold 5218 2,3GHz, 16 ydintä, 96 Gt (12 x 8 Gt 2 666 MT/s RDIMM), 6 x 15 000 RPM 300Gb SAS, H740P
• Metatiedot ja tallennuspalvelimet
  • R740xd, 2 x Intel Xeon Platinum 8268 -suoritin @ 2,90 GHz, 24 ydintä, 384 Gt (12 x 32 Gt 2 933 MT/s RDIMM))
  • BOSS-kortti, jossa 2 x 240 Gt:n M.2 SATA SSD -levyä RAID 1 :ssä käyttöjärjestelmälle
  • 24 x, Intel 1.6TB, NVMe, Mixed Use Express Flash, 2.5 SFF -asemat, ohjelmistopohjainen RAID

Hallintapalvelin käyttää BeeGFS-valvontapalvelua. Metatietopalvelin isännöi MDT (MetaData Targets) -kohteita NUMA 0 -vyöhykkeen 12 aseman avulla, ja loput 12 NUMA 1 -vyöhykkeen asemaa isännöivät tallennuskohteita (ST). Varsinaista metatietopalvelinta ei käytetä, koska BeeGFS-metatietojen tallennuskapasiteettivaatimukset ovat hyvin pienet. Metatiedot ja tallennuksen kohteet ja palvelut eristetään erillisiin NUMA-solmuihin niin, että työkuormat erotetaan huomattavasti. Kokoonpanossa käytetyissä tallennuspalvelimissa on kolme NUMA-vyöhykettä kohden suoritettavaa tallennuspalvelua, yhteensä kuusi palvelinta kohden. Lisätietoja on julkistusblogissa. Kuvassa 1 esitellään kaksi peruskokoonpanoa, jotka on testattu ja hyväksytty Dell EMC HPC and AI Innovation Labissa.

Kuva 1: Peruskokoonpanot

Pieni kokoonpano koostuu kolmesta R740xd-palvelimesta. Siinä on yhteensä 15 tallennuskohdetta. Keskitason kokoonpanossa on kuusi R740xd-palvelinta ja yhteensä 33 tallennuskohdetta. Käyttäjä voi aloittaa pienellä kokoonpanolla tai keskikokoisella kokoonpanolla ja lisätä tallennus- tai metatietopalvelimia tarpeen mukaan tallennustilan ja yleisen suorituskyvyn lisäämiseksi tai tiedostojen ja metatietojen suorituskyvyn lisäämiseksi. Taulukossa 1 on esitetty Dell EMC HPC and AI Innovation Labissa kattavasti testattujen ja validoitujen peruskokoonpanojen suorituskykytiedot.

Taulukko 1: Peruskokoonpanojen kapasiteetti- ja suorituskykytiedot

 

---

BeeGFS:n käytettävissä olevan tilan laskenta

Arvioitu käytettävissä oleva tila lasketaan TiB-toiminnolla (koska useimmissa työkaluissa näkyy käytettävissä olevaa tilaa binääriyksiköissä) seuraavan kaavan avulla:

BeeGFS:n käytettävissä oleva tila TiB:ssä= (0,99* * aseman* koko Tt*:ssa * (10^12/2^40)

Edellä olevassa kaavassa 0,99 on tekijä, joka saavutetaan olettamalla, että tiedostojärjestelmässä on 1 %:n kuormitys.  Jos paikalle saapuu tallennustilan levyjen määrä, mukana on myös 12 MDS-asemaa. Tämä johtuu siitä, että MDS:ssä metatietoihin käytetään NUMA-alueen 0 12 asemaa ja NUMA-alueen 12 asemaa tallennukseen. Viimeinen tekijä kaavassa 10^12/2^40 on muuntaa käytettävissä oleva tila TT:stä TiB-muotoon.

---

Skaalautuvat kokoonpanot

Tehokas BeeGFS-tallennusratkaisu on suunniteltu joustavaksi. Suorituskykyä ja/tai kapasiteettia voi skaalata helposti ja saumattomasti lisäämällä palvelimia seuraavasti:

Taulukko 2: Skaalatun kokoonpanon kapasiteetti- ja suorituskykytiedot

 

---

Suorituskyvyn kuvaus

Erilaisten kokoonpanojen suorituskykyä testattiin luomalla tallennusvarantoja. Pienellä kokoonpanolla on 15 tallennuskohdetta, ja kukin lisätallennuspalvelin lisää kuusi lisätallennuskohdetta. Siksi tallennusvarannot luotiin 15–39 tallennuskohteesta 15–39 tallennuskohteeseen eri kokoonpanojen suorituskyvyn testausta varten (luvun kuusi välein pienille, pienille+1, pienille+2, keskikokoisille ja keskikokoisille+1). Kutakin poolia kohden suoritettiin kolme torkkuva-suorituskykytestiä, joista kummassakin oli 1–1024 säiettä (kahden inkrementin voimissa). Käytetty testausmenetelmä on sama kuin julkistusblogissa . Kuvissa 3 ja 4 näkyy skaalautuvien kokoonpanojen kirjoitus- ja lukunopeus, ja kunkin kokoonpanon huippusuorituskyky on korostettu käyttövalmiiksi:


 
Kuva 3:  Skaalattavien kokoonpanojen


kirjoitusnopeus, kuva 4:  Huomautus skaalattavien kokoonpanojen

lukemisen suorituskyvystä:

Edellä mainittu tallennusvaranto luotiin ainoastaan eri kokoonpanojen suorituskykyä varten.  Kun suoritettiin julkistusblogissa kuvattua keskitason kokoonpanon suorituskyvyn arviointia, kaikki 33 kohdetta olivat vain oletusvarannossa. Beegfs-ctl --liststoragepools-komennon tulosteena näkyy tallennuskohteiden määritys:

# beegfs-ctl --liststoragepools
Pool ID Pool Description Targets Oletusarvoiset
ryhmät======= ================== ============================ ============================
1 Default 1,2,3,4,5,6,7,8,9,10,11,12,
                                                 13,14,15,16,17,18,19,20,21,
22,23,24,25,26,27,28,29,30,
31,32,33  

---

Päättäminen ja tuleva työ

Tässä blogikirjoituksessa käsitellään Dell EMC Ready Solutions for HPC BeeGFS Storage -ratkaisun skaalautuvuutta ja korostetaan erilaisten kokoonpanojen peräkkäisten luku- ja kirjoitussuorituskyvyn suorituskykyä. Pysy kuulolla tämän blogisarjan osassa 3, jossa käsitellään BeeGFS:n lisäominaisuuksia ja korostetaan BeeGFS:n sisäisen tallennustavoitteiden vertailuarvon StorageBench-käyttöä. Seuraavien vaiheiden yhteydessä julkaisemme myöhemmin metatietojen suorituskykyä, IOR N-1 -suorituskyvyn arviointia sekä lisätietoja suunnitteluun, hienosäätöön ja määritykseen osallistumisesta. 

Viitteet

[1] Dell EMC Ready -ratkaisut HPC BeeGFS -tallennukseen:  
https://www.dell.com/support/article/sln319381/[2] BeeGFS-oppaat: 
https://www.beegfs.io/wiki/[3] Kahden liitännän yhdistäminen samaan aliverkkoon: 
https://access.redhat.com/solutions/30564[4] PCI Express Direct Memory Access Reference Design, ulkoinen muisti: https://www.intel.com/content/www/us/en/programmable/documentation/nik1412547570040.html#nik1412547565760