Dell EMC HPC NFS -tallennusratkaisu – Korkean saatavuuden (High Availability, (NSS7.4 - HA)) kokoonpano

Sisällysluettelo

1. Ratkaisun yleiskuvaus
2. NSS7.4-HA-arkkitehtuuri
3. Komponenttien vertailu: NSS7.4-HA ja NSS7.3-HA
4. Testipenkin kokoonpano
5. NSS7.4-HA – I/O-suorituskyvyn yhteenveto
   • IPoIB – peräkkäiset kirjoitukset ja luvut N–N
   • IPoIB – satunnaiset kirjoitukset ja luvut N–N
   • IPoIB – metatietotoiminnot
6. Johtopäätös
7. Viitteet
   
    

---

Ratkaisun yleiskuvaus

Tässä blogikirjoituksessa kuvataan Dell EMC HPC NFS -tallennusratkaisun versiota 7.4 (NSS7.4-HA), joka hyödyntää Intelin toisen sukupolven skaalautuvia Xeon "Cascade Lake" -suorittimia.  Näissä parannelluissa Xeon-suorittimissa on jopa 28 ydintä, jopa 38,5 Mt välimuistia ja kuusi 2933 MT/s muistikanavaa kantaa kohden.  Cascade Lake -suorittimien tärkeimmät ominaisuudet ovat integroidut laitteiston lieventäminen sivukanavahyökkäyksiä vastaan, Intel DL Boost (VNNI) sekä tuki lisääntyneelle kellonopeudelle ja muistinopeuksille.

Cascade Lake ja sen edeltäjä Skylake sisältävät ominaisuuden nimeltä ADDDC (Adaptive Double DRAM Device Correction). ADDDC kirjaa suoritusvaiheessa dynaamisesti virheitä tekevät DRAM-laitteet. Samalla jatketaan myös SDDC-korjausta (Single Device Data Correction) ja tarjotaan itsekorjaavaa koodimuistia (ECC). Yhdessä nämä ominaisuudet takaavat DIMM-moduulien pitkäikäisyyden. Ominaisuus aktivoidaan vain x4 DRAM -laitteissa, eikä se tee mitään, kun järjestelmässä on x8 DRAM -laitteita. Koska uusin NSS-HA:n versio 7.4 käyttää vain 16 Gt x8-muistia, ADDDC ei ole valittavissa BIOSissa. Jos kuitenkin käytät 32 Gt: n muistia, joka on x4, ADDDC on saatavana viritettävänä vaihtoehtona, ja on suositeltavaa, että se poistetaan käytöstä suorituskyvyn suosimiseksi RAS-ominaisuuksiin.

On suositeltavaa määrittää NFS-palvelimille HPC-profiili blogin "BIOS-luonnehdinta Intel Cascade Lake -suorittimille" Tämä sisältää BIOSin virittämisen sub-NUMA-klusterin käyttöön, loogisen suorittimen käytöstä poistamisen ja järjestelmäprofiilin määrittämisen "Suorituskyky". Jos päivität olemassa olevan järjestelmän suorittimia Cascade Lake -suorittimiin, varmista, että BIOS on ensin päivitetty Cascade Lakea tukevaan versioon. HPC and AI Innovation Lab -yksikön HPC Engineering -tiimi suoritti joukon vertailutestejä Cascade Lake -suorittimia käyttävillä NSS-palvelimilla ja vertasi tuloksia aiempiin tuloksiin, jotka saatiin NSS7.3-HA-ratkaisulla, joka käytti PowerEdge-palvelinten uusinta versiota edellisen sukupolven "Skylake-SP" Xeon -perheen suorittimilla. Vertailutulokset ja vertailu on esitetty tässä blogissa.

Dell EMC:n tarjoama NFS-tallennusratkaisu on optimoitu ja viritetty parhaan suorituskyvyn parantamiseksi.  Seuraavat keskeiset seikat tulee huomioida NSS7.4-HA-ratkaisun käyttöönoton valmistelussa:

1. Cascade Lake -suorittimien käyttöjärjestelmän vähimmäisvaatimuksena on Red Hat Enterprise Linux 7.6. Kernel-versiolla 3.10.0-957.el7 NFS-jako kuitenkin jää jumiin ja tehtävä, kuten esimerkiksi kworker, käyttää suoritinta 100 %. Ongelman syynä on se, että TCP-kerroksen ja sunrpc-kerroksen kuljetustilan synkronointi jää jälkeen. Ongelman on ratkaisu paketissa kernel-3.10.0-957.5.1.el7 ja sitä uudemmissa versioissa. Tämän ratkaisun pohjakäyttöjärjestelmänä on siis RHEL7.6 ja käytetty kernel-versio on kernel-3.10.0-957.5.1.el7. Lisätietoja: https://access.redhat.com/solutions/3742871 (englanninkielinen).
2. NSS7.4-HA -ratkaisu: jos seuraavia paketteja ei ole asennettu, nfsserver-resurssi ei käynnisty, koska nfs-idmapd.service ei käynnisty. Lisätietoja: https://access.redhat.com/solutions/3746891 (englanninkielinen).
   • resource-agents-4.1.1-12.el7_6.4
   • resource-agents-aliyun-4.1.1-12.el7_6.4
   • resource-agents-gcp-4.1.1-12.el7_6.4 tai uudempi.
3. RHEL7.6-version julkaisutiedoissa huomautetaan, että LVM:n I/O-tason bugi aiheuttaa tietojen korruptoitumista fyysisen aseman varattavan tilan ensimmäisissä 128 kilotavussa.  Ongelma on korjattu versiosta lvm2-2.02.180-10.el7_6.2 eteenpäin.  Varmista siis, että lvm2-paketti on päivitetty uusimpaan versioon. Jos lvm2:n päivittäminen ei ole mahdollista, ongelman voi kiertää: älä käytä VG:n (Volume Group, asemaryhmä) metatietoja muuttavia LVM-komentoja kuten lvcreate tai lvextend silloin, kun VG:n loogiset asemat ovat käytössä.

---

NSS7.4-HA-arkkitehtuuri

Kuvassa 1 näkyy NSS7.4-HA:n rakenne. Tarvittavia ohjelmisto- ja laiteohjelmistopäivityksiä lukuun ottamatta NSS7.4-HA ja NSS7.3-HA jakavat saman HA-klusterikokoonpanon ja tallennustilan kokoonpanon. NFS-palvelinpari korkean saatavuuden aktiivi-passiivi-kokoonpanossa on yhdistetty PowerVault ME4084 -järjestelemään. Kummassakin NFS-palvelimessa on kaksi SAS-korttia. Kumpikin kortti on yhdistetty SAS-kaapelilla kumpaankin jaetun tallennustilan ohjaimeen. Näin yhden SAS-kortin tai -kaapelin vika ei vaikuta tiedon saatavuuteen. (NSS7.3-HA-kokoonpanoa koskevassa white paper -julkaisussa (englanninkielinen) on tarkempaa tietoa kokoonpanosta.) NSS7.4-HA-arkkitehtuuri

 

---

 

Komponenttien vertailu: NSS7.4-HA ja NSS7.3-HA

NSS-HA-ratkaisun arkkitehtuurisuunnittelu ja käyttöönotto-ohjeistus pysyvät muuttumattomina, vaikka Dellin NSS-HA-ratkaisut tarjoavatkin lukuisten laitteisto- ja ohjelmistopäivitysten myötä parempaa saatavuutta, suorituskykyä ja suurempaa tallennustilaa kuin ensimmäinen NSS-HA-julkaisuversio. Tämä uusin versio ja sitä edeltävä NSS7.3-HA-versio hyödyntävät samaa Power Vault ME4084 -tallennusratkaisua. Seuraavassa taulukossa vertaillaan uusimman NSS7.4-HA-ratkaisun ja aiemman NSS7.3-HA-ratkaisun komponentteja.

 

Seuraavaksi tässä blogikirjoituksessa käsitellään testipenkkiä ja NSS7.4-HA:n suorituskykytietoja. NSS7.4-HA:n ja edeltävän version suorituskykyerojen havainnollistamiseksi esitellään myös NSS7.3-HA:n vastaavat suorituskykytulokset.

 

---

Testipenkin kokoonpano

Seuraavaksi kuvaillaan testipenkkiä, jolla NSS7.4-HA-ratkaisun suorituskykyä ja toimivuutta arvioidaan. Huomaa, että suorituskykytestauksessa käytettävät suorittimet eivät ole samat kuin ratkaisuun valitut, koska Xeon Gold 6240 -suorittimet eivät saapuneet testiin ajoissa. Suunnitelmissa on toistaa joitakin testejä kun 6240-suorittimia on saatavilla ja tarpeen mukaan korjata raporttia.
    

Taulukko 4: NSS7.4-HA-asiakkaan kokoonpano   

---

NSS7.4-HA – I/O-suorituskyvyn yhteenveto

Tässä osiossa käsitellään nykyisen NSS7.4-ratkaisun I/O-suorituskykytestien tuloksia. Kaikki suorituskykytestit suoritettiin häiriöttömästi, jotta ratkaisun enimmäiskapasiteetti voitiin mitata. Testit keskittyivät kolmeen I/O-toimintorakenteeseen: suuriin peräkkäisiin lukuihin ja kirjoituksiin, pieniin satunnaisiin lukuihin ja kirjoituksiin sekä kolmeen metatieto-operaatioon (tiedoston luominen, tietonäyttö, poisto). Kuten edellinen versio NSS7.3-HA, ratkaisu käyttää deadline I/O -aikataulutinta ja 256 NFS-daimonia.

840 Tt:n (raakavaraston koko) konfiguraatiota vertaili IPoIB-verkkoyhteys EDR:n kautta. 32-solmuinen laskentaklusteri loi vertailutestien työkuormat. Jokainen testi ajattiin samalla asiakasalueella liuoksen skaalautuvuuden testaamiseksi.

Tässä tutkimuksessa käytettiin IOzone- ja mdtest- vertailuarvoja. Peräkkäisiin ja satunnaisiin testeihin käytettiin IOzonea. Peräkkäisten testien pyyntöjen kokona oli 1024 KiB. Jotta NFS-palvelimen välimuisti olisi saturoitu, siirrettyjen tietojen kokonaismäärä oli 2 Tt. Satunnaistestien pyyntöjen kokona oli 4 KiB, ja jokainen asiakas luki ja kirjoitti 4 GiB.n tiedoston. Metatietotestaus suoritettiin OpenMPI:n mdtest-testillä. Testiin kuuluivat tiedoston luomis-, stat-, ja poistotoiminnot. (NSS7.3-HA white paper -julkaisun liitteessä A (englanninkielinen) on lueteltu kaikki testeissä käytetyt komennot.)

 

IPoIB – peräkkäiset kirjoitukset ja luvut N–N

Peräkkäisten luku- ja kirjoitustoimintojen arvioimiseen käytettiin IOzone-vertailutestin versiota 3.487 peräkkäisten luku- ja kirjoitustoimintojen tilassa. Testit suoritettiin useilla eri säiemäärillä alkaen yhdestä säikeestä ja nousten toiseen potenssiin aina 64:ään säikeeseen saakka. Jokaisella säiemäärällä luotiin vastaava määrä tiedostoja, koska testi toimii yhdellä tiedostolla säiettä kohti (N–N). On valittu 2 Tt:n koostetiedostokoko, joka jaetaan tasan minkä tahansa testin säikeiden määrän kesken.

Kuvassa 2 verrataan NSS7.4-HA-version I/O-suorituskykyä NSS7.3-HA-version suorituskykyyn. Kuvasta voi todeta, että uusimman NSS7.4-version ja aiemman NSS7.3-version huipputeho on samaa tasoa: luku n. 7 Gt/s ja kirjoitus n. 5 Gt/s. Joillain säikeiden määrillä mitattiin kuitenkin 15–20 prosentin lasku kirjoitustoimintojen suorituskyvyssä NSS7.3-HA -ratkaisuun verrattuna. Tämän suorituskykyeron tutkimus on käynnissä. Lukutoimintojen suorituskyvyssä mitattiin lähes 45 prosentin nousu yhdellä ja kahdella säikeellä sekä 18 prosentin nousu kahdeksalla säikeellä. Yli kahdeksalla säikeellä lukutoimintojen suorituskyky on samalla tasolla kuin NSS7.3-HA -ratkaisussa. Lukusuorituskyvyn kasvu pienillä säikeiden määrillä johtuu todennäköisesti Cascade Lake -suorittimien laitteistotason suojauksesta sivukanavahyökkäyksiä vastaan. IPoIB – suurten peräkkäisten I/O-toimintojen suorituskyky




 

IPoIB – satunnaiset kirjoitukset ja luvut N–N

Satunnaisten I/O-toimintojen suorituskyvyn arviointiin käytettiin IOzonen versiota 3.487 satunnaistilassa. Testit suoritettiin yhdestä 64:ään säikeeseen korottaen määrä aina toiseen potenssiin. Tallennuskooksi valittiin 4 Kt. Jokainen asiakas simuloi pieniä satunnaistiedon käyttöjä lukemalla tai kirjoittamalla 4 GiB:n tiedoston.  Koska klusterissa oli vain 32 solmua, 64-säikeinen arvopiste saatiin 32 asiakkaalla, joilla oli 2 säiettä.

Kuvassa 3 verrataan NSS7.4-HA:n satunnaista kirjoitus- ja luku-I/O-suorituskykyä NSS7.3-HA:n suorituskykyyn. Kuvasta voi todeta, että NSS7.4-HA-version ja NSS7.3-HA-version satunnaiskirjoituksen huipputeho on samaa tasoa; n. 7300 io/s.  NSS7.4-HA -ratkaisussa kirjoituksen suorituskyky on yhdellä ja kahdella säikeellä n. 14 % alhaisempi kuin aiemmalla versiolla. Tätä tutkitaan.  NSS7.4-ratkaisulla satunnaisluvun suorituskyky nousee tasaisesti ja saavuttaa 16607 io/s:n huipputehon 64 säikeellä. Aiemmassa julkaisuversiossa (NSS7.3-HA) 32 säikeellä saavutettiin 28 811 io/s:n huipputeho, joka on 42 % korkeampi kuin NSS7.4-HA -ratkaisun satunnaisluvun huipputeho. IPoIB – satunnaisten I/O-toimintojen suorituskyky



 

IPoIB – metatietotoiminnot

Järjestelmän metatietosuorituskyvyn arviointiin on käytetty MDTest-työkalun versiota 1.9.3 Käytetty MPI-jakelu oli OpenMPI, versio 1.10.7.  Metatietotestit suoritettiin luomalla 32 säikeeseen asti 960 000 tiedostoa ja sitten lisäämällä tiedostojen lukumäärää, jotta ratkaisun skaalautuvuutta testattaisiin taulukon 5 mukaisesti. Metatietotestit: Tiedostojen ja kansioiden jakaminen säikeissä 

Säikeiden määrä	Tiedostojen määrä hakemistossa	Hakemistojen määrä säikeessä	Tiedostojen kokonaismäärä
1	3000	320	960000
2	3000	160	960000
4	3000	80	960000
8	3000	40	960000
16	3000	20	960000
32	3000	10	960000
64	3000	8	1536000
128	3000	4	1436000
256	3000	4	3072000
512	3000	4	6144000

Kuvissa 4, 5 ja 6 näkyy tiedostojen luomis-, tietonäyttö- ja poistotoimintojen tulokset. Koska HPC-laskentaklusterissa on 32 laskentasolmua, alla olevissa kaaviokuvissa jokainen asiakas suorittaa maksimissaan yhden säikeen solmua kohti, 32:een asti. Asiakasmäärillä 64, 128, 256 ja 512 jokainen solmu suoritti 2, 4, 8 tai 16 samanaikaista toimintoa. Kuva 4: IPoIB-tiedoston luontiteho



Kuva 5: IPoIB-fiel-tilaston suorituskyky



Kuva 6: IPoIB-fie poistaa suorituskyvyn



 

---

Johtopäätös

Seuraava taulukko tiivistää NSS7.4- ja NSS7.3-ratkaisujen suorituskyvyssä havaitut erot.  Taulukko 5: NSS7.4- ja NSS7.3 HA -versioiden suorituskykyvertailu

Dell EMC HPC NFS -tallennusjärjestelmä	NSS7.4-HA	NSS7.4 – HA NSS7.3-HA
Peräkk. 1MB kirjoittaa huippu: 1,4 %:n lasku	4 834 Mt/s	4 906 Mt/s
Peräkk. 1MB lukee huippua: 0,7 %:n lasku	7 024 Mt/s	7 073 Mt/s
Random 4KB kirjoittaa Peak: 0,7 %:n lasku	7 290 io/s	7 341 io/s
Satunnainen 4KB lukee huippua: 42% lasku	16 607 io/s	28 811 io/s
Luo työvaiheita/sekunti Huippu: 1,1 %:n lasku	54 197 op/s	54 795 op/s
Tilastotoiminnot/sekunti Huippu: 35% lasku	522 231 op/s	808 317 op/s
Poista työvaiheita/sekunti Huippu: 35% lasku	47 345 op/s	73 320 op/s

Yllä olevista tuloksista voi päätellä, että nykyinen NSS7.4-HA -ratkaisu tarjoaa sitä edeltävään NSS7.3-HA -ratkaisuun verrattavaa suorituskykyä. Aiomme suorittaa vertausmittauksia Xeon Gold 6240 -suorittimilla, joissa on 18 ydintä suoritinta kohti. Tavoitteena on ymmärtää, johtuuko satunnaisluvun ja suurten säiemäärien tietonäyttö- ja poistotoimintojen suorituskyvyn lasku NSS7.4-HA-ratkaisun vertausmittauksiin käytetyn Xeon Gold 6244 -suorittimien (8 ydintä suoritinta kohti) pienemmästä ydinten määrästä.

---

Viitteet

Tarkempia tietoja NSS-HA-ratkaisuista löytyy julkaisemistamme artikkeleista

 

•  Dell HPC NFS -tallennusratkaisu – Korkean saatavuuden (NSS6.0-HA) kokoonpano Dell PowerEdge -palvelimilla (13. sukupolvi) (englanninkielinen), julkaisuversio NSS6.0-HA, julkaistu marraskuussa 2014.
•  Dell HPC NFS -tallennusratkaisu – Korkean saatavuuden (NSS7.0-HA) kokoonpano (englanninkielinen), julkaisuversio NSS7.0-HA, julkaistu toukokuussa 2016.
•  Dell EMC Ready -ratkaisu HPC NFS -tallenusratkaisuille (englanninkielinen), julkaisuversio NSS7.3-HA, julkaistu maaliskuussa 2019.