Syväoppimisen teho T4-grafiikkasuorittimilla ja MLPerf-suorituskykytestauksella

Sisällysluettelo:

1. Tiivistelmä
2. Yleiskuvaus
3. Suorituskyvyn arviointi
4. Johtopäätökset ja jatkosuunnitelmat

Tiivistelmä

Turing-arkkitehtuuri on NVIDIAn uusin grafiikkasuoritinarkkitehtuuri Volta-arkkitehtuurin jälkeen, ja uusi T4 perustuu Turing-arkkitehtuuriin. Se on suunniteltu suurteholaskentaa (HPC), syväoppimista ja -päätelmiä, koneoppimista, data-analytiikkaa ja grafiikkaa varten. Tässä blogikirjoituksessa lasketaan T4-grafiikkasuorittimien syväoppimisen suorituskykyä Dell EMC PowerEdge R740 -palvelimessa, jossa on MLPerf-vertailuohjelmisto. MLPerf-suorituskyky T4:ssä vertautuu myös saman palvelimen V100-PCIe:hen ja samaan ohjelmistoon.

Alkuun

Yleiskuvaus

Dell EMC PowerEdge R740 on kaksikantainen 2U-kehikkopalvelin. Järjestelmässä on Intel Skylake -suorittimet, jopa 24 DIMM-moduulia ja jopa 3 kaksoisleveyksistä V100-PCIe-moduulia tai neljä yhden leveyden T4-grafiikkasuoritinta x16 PCIe 3.0 -paikassa. T4 on grafiikkasuoritin, joka käyttää NVIDIAn uusinta Turing-arkkitehtuuria. T4- ja V100-PCIe-grafiikkasuorittimen tekniset erot luetellaan taulukossa 1. MLPerf valittiin arvioimaan T4:n suorituskykyä syväoppimiskoulutuksessa. MLPerf on arviointityökalu, johon on koottu monipuolinen korkeakoulujen ja alan ryhmä, mukaan lukien Google, Baidu, Intel, AMD, Linux ja Linux, koneoppimisohjelmistojen ja -laitteistojen nopeuden ja suorituskyvyn mittaamiseksi. Ensimmäinen julkaistu versio on 0.5, ja se kattaa mallikäyttöönkontamiset koneoppimistoimialueilla, mukaan lukien kuvan luokittelu, objektien tunnistus ja segmentointi, konekäännökset ja vahvistusoppiminen. Tässä arviossa käytettyjen MLPerf-suorituskykytestauksen yhteenveto on taulukossa 2. Googlen lähettämästä ResNet-50 TensorFlow -toteutuksesta käytettiin, ja käytettiin kaikkien muiden mallien käyttöönottoja NVIDIA-lähetyksestä. Kaikki suorituskykytestaukset suoritettiin ilman säilöä. Taulukossa 3 luetellaan arvioinnissa käytetyt laitteet ja ohjelmistot. T4:n suorituskykyä MLPerf-suorituskykytestauksen kanssa verrataan V100-PCIe:hen.

Taulukko 1: T4:n ja V100-PCIe:n vertailu

Taulukko 2: Arviointiin käytetyt MLF Perf -suorituskykytestaukset

Taulukko 3: Laitteiston kokoonpano- ja ohjelmistotiedot

Alkuun

Suorituskyvyn arviointi

Kuvassa 1 näytetään MLPerf:n suorituskykytulokset PowerEdge R740 -palvelimen T4- ja V100-PCIe-järjestelmissä. Sisältää kuusi MLPerf-suorituskykytestauksia. Kunkin suorituskykytestauksen aikana suoritettiin kokonaisvaltainen mallikoulutus MLPerf-työryhmän määrittämän kohdemallin tarkkuuden saavuttamiseksi. Kullekin suorituskykytestaukselle kirjattiin koulutusaika minuutteina. Seuraavat johtopäätökset voidaan tehdä näiden tulosten perusteella:

• ResNet-50 1.5-, SSD- ja Mask-R-OSA-mallit skaalataan hyvin, ja grafiikkasuorittimia on yhä enemmän. ResNet-50 1.5 -versiossa V100-PCIe on 3,6 kertaa nopeampi kuin T4. SSD-asema: V100-PCI on 3,3 x 3,4 kertaa nopeampi kuin T4. Mask-R-OSA: V100-PCIe on 2,2 x – 2,7 kertaa nopeampi kuin T4. Kun grafiikkasuorittimia on yhtä paljon, kukin malli vastaa lähes yhtä monta kertaa T4- ja V100-PCIe-järjestelmissä.

• GNMT-mallissa super-lineaarinen nopeus nopeutuu, kun T4-grafiikkasuorittimia on enemmän. Yhteen T4:ään verrattuna nopeutena on 3,1 x kaksi T4-teippiä ja 10,4 ja neljä T4-teippiä. Tämä johtuu siitä, että mallin konvergenssiin vaikuttaa satunnainen seed, jota käytetään tietojen sekoittamiseen ja neuroverkon painojen alustamiseen. Riippumatta siitä, kuinka monta grafiikkasuoritinta käytetään, ja erilaisten satunnaisten siementen kanssa mallin yhdentymiseen tarvitaan ehkä eri määrä aikakausia. Tässä kokeessa malli yhdentyi 1, 2, 3 ja 4 T4-versioiden kanssa 1, 7, 5 ja 4 T4-versiolla. Malli yhdentyi vastaavasti 1, 2 ja 3 V100-PCIe-liitännällä 1, 12 ja 9 kautta. Koska aikakausien määrä on merkittävästi erilainen, vaikka T4- ja V100-grafiikkasuorittimia olisi yhtä paljon, suorituskykyä ei voi verrata suoraan. Tässä tilanteessa siirtonopeuden mittari on melko vertaavainen, koska se ei riipu satunnaisesta seedistä.  Kuvassa 2 on sekä T4:n että V100-PCIe:n siirtonopeuden vertailu. Kun grafiikkasuorittimia on yhtä monta, V100-PCIe on 2,5 x – 3,6 kertaa nopeampi kuin T4.

• NCF-mallissa ja Muuntajamallissa on sama ongelma kuin GNMT:ssä. NCF-mallissa aineiston koko on pieni ja yhdentyminen ei kestää kauan. Siksi tätä ongelmaa ei ole ilmeistä tuloskuvassa. Muuntajamallissa on sama ongelma yhden grafiikkasuorittimen käytössä, sillä yhden T4-näytönohjaimen kanssa yhden T4-näytönohjaimen kanssa yhdentyminen kesti 12 kertaa, mutta yhden V100-PCIe:n yhdentyminen kesti vain kahdeksan kertaa. Kun käytetään kahta tai useampaa grafiikkasuoritinta, malli yhdentyi 4 näppäimellä riippumatta siitä, kuinka monta grafiikkasuoritinta käytetään tai mitä grafiikkasuoritintyyppiä käytetään. Näissä tapauksissa V100-PCIe on 2,6 x – 2,8 kertaa nopeampi kuin T4.

Kuva 1: MLPerf-tulokset: T4 ja V100-PCIe

Kuva 2: GNMT-mallin siirtonopeuden vertailu

Alkuun

Johtopäätökset ja jatkosuunnitelmat

Tässä blogikirjoituksessa arvioimme T4-grafiikkasuorittimien suorituskykyä Dell EMC PowerEdge R740 -palvelimessa useiden MLPerf-suorituskykytestauksen avulla. T4:n suorituskykyä verrattiin V100-PCIe:hen, joka käytti samaa palvelinta ja ohjelmistoa. V100-PCIe on kaiken kaikkiaan 2,2 x – 3,6 kertaa T4-testiä nopeampi kunkin suorituskykytestauksen ominaisuuksien mukaan. Yksi havainto on, että jotkin mallit ovat vakaita riippumatta siitä, mitä satunnaisia seed-arvoja käytetään, mutta satunnaiset seed-arvot vaikuttavat merkittävästi muihin malleihin, kuten GNMT:hen, NCF:ään ja Transformeriin. Jatkossa korjaamme hyperparametrit, jotta epävakaat mallit yhdentyvät entistä vähemmän. Suoritamme MLPerf-palvelun myös useammalla grafiikkasuoritin- ja solmulla, jotta voimme arvioida kyseisten mallien skaalautuvuutta PowerEdge-palvelimissa.

*Vastuuvapauslauseke: Vertailun vuoksi Dell EMC PowerEdge R740:n neljä T4-grafiikkasuoritinta arvioitiin. PowerEdge R740 tukee tällä hetkellä virallisesti enintään kolmea T4-suoritinta x16 PCIe -paikoissa.

Alkuun