Raskere workloader knyttet til dyp læring med andre generasjons Intel Xeon skalerbare prosessorer

 HPC er under kontinuerlig utvikling, og det er også workloadene. Etter hvert som datasettene blir større og mer komplekse, tar AI-workloader (kunstig intelligens), som dyp læring, hovedrollen. Flere og flere dyp-læring-workloader kjøres nå på toppen av kraftige, skalerbare HPC-systemer med liten ventetid og løser utfordringer som man ikke kunne forestilt seg for ti år siden. Tradisjonelle HPC-workloads innen biovitenskap, digital produksjon, olje og gass, finansnæringen og så videre blir drevet av dyp læring for å generere mer nyttig kunnskap fra data på kortere tid og med større nøyaktighet. Intel erkjenner at AI-metoder nå er kritiske komponenter for HPC-workloader. For å løse behovet for både å trene opp og, enda viktigere, tilrettelegge for raskere beslutningstaking hos AI-modeller har Intel fokusert på disse workloadene med den nye andre generasjons Intel® Xeon® skalerbare prosessoren.

Andre generasjons Intel® Xeon® skalerbar prosessor

Andre generasjons Intel ® Xeon® skalerbar prosessor sørger for en rekke nye og forbedrede funksjoner, inkludert muligheten til å implementere Intel® Optane™ DC-ytelsesminne, forbedret DRAM-hastighet, større behandlingskapasitet for tradisjonelle instruksjonssett, for eksempel en enkelt Precision FP32 og ny behandlingskapasitet for dyp læring-workloader med nytt instruksjonssett for Intel® Deep Learning Boost (forsterkning av dyp læring).

Deep Learning Boost på andre generasjons Intel® Xeon® skalerbar prosessor

Dyp læring er en prosess som utvikler modeller ved hjelp av kunstige nevrale nettverk. Nettverket består av mange uavhengige prosessorer, eller nevroner, tilkoblet i et kompakt diagram. Nevrale nettverk har vist en forbløffende evne til å identifisere ukjente eller uforutsette mønstre i all slags data og har vært brukt innen domener som omfatter bilde- og videogjenkjenning og -analyse, lyd- og språkteknologi og tidsserieanalyse av data- og avviksgjenkjenning.

Prosessen med å bruke nevrale nettverk til å utvikle banebrytende modeller er delt inn i to faser: Opplæringsfasen der eksisterende data brukes til å lære opp det nevrale nettverket til å identifisere mønstre, og inferensfasen der den opplærte modellen utsettes for nye data og forventes å ta riktige avgjørelser. Og mens prosessen med å lære opp det nevrale nettverket har vært hovedfokus for maskinvare- og programvareinnovasjon i flere år, er det i inferensen at virksomhetene får betalt for deres innsats på AI-området.

Inferensen har andre krav til maskinvare enn opplæringen. Opplæring krever halvpresisjons eller enkeltpresisjons flyttallaritmetikk og muligheten til å behandle mange store vektorer med lignende data samtidig. Inferens har mye lavere totale beregningskrav, fokuserer mer på ventetid (tid til avgjørelse) og kan dra nytte av tallformater med lavere presisjon, for eksempel 8-biters og 16-biters heltall.

Andre generasjons Intel® Xeon® skalerbare prosessorer fokuserer primært på denne andre (inferens) fasen med en helt ny funksjon kjent som Deep Learning Boost. Intel® Deep Learning Boost sørger for redusert presisjonsaritmetikk (8-biters og 16-biters heltall) sammenlignet med Xeons 512-biters Wide Vector Units (AVX512). Dette er en omfattende evne for å klare seg med redusert presisjonsinferens fordi Deep Learning Boost-aktiverte Intel® Xeon®-prosessorer samtidig kan behandle 64 8-biters heltall (eller 32 16-biters heltall) i én maskinvare instruksjon! Sammen med evnen til å utføre fusjonerte operasjoner, for eksempel FMA (Fused Multiply Add), på disse brede lavpresisjonsvektorene, og gjennomstrømningen av systemet går betraktelig opp.

Dell EMC har fått en benchmarking av de realiserte ytelsesforbedringene som Intel® Deep Learning Boost kan tilføre inferens i det nevrale nettverket. Figuren ovenfor viser hvor stor forbedring organisasjonen din kan oppnå ved å implementere andre generasjons Intel® Xeon® skalerbare prosessorer med Intel® Deep Learning Boost. Mens første generasjons Intel® Xeon® skalerbare prosessorer (kodenavn «Skylake») kan behandle 258 image per sekund på ResNet-50-ytelsestest i enkeltpresisjon (FP32) og 389 image per sekund i redusert 8-biters heltallspresisjon kan de nye instruksjonene som Deep Learning Boost gir til andre generasjons Intel® Xeon® skalerbare prosessorer, mer enn tredoble gjennomstrømmingen i 8-biters heltallspresisjon til 1278 image per sekund.

Hvorfor dette er viktig

Hva betyr dette for virksomheten din? Hver inferens som AI-modellen foretar, er en innsikt du ikke hadde før, eller en workload du har automatisert som fjerner en beslutningshindring. Hver av disse innsiktene – hver av de hindringene som blir fjernet – kan bety et nytt salg, en salgsøkning eller en raskere investeringsbeslutning. Det betyr penger til virksomheten.

Etter hvert som virksomheten gjennomgår en digital forvandling, er det viktig å bruke AI – og spesielt dyp læring – for å holde seg konkurransedyktig i en datastyrt verden. Og selv om opplæringen av AI-modeller har vært startfokuset, så er det gjennom inferens at virksomheten virkelig kan dra fordel av AI. Dell EMC PowerEdge-servere drevet av andre generasjons Intel® Xeon® skalerbare prosessorer med Intel® Deep Learning Boost kan hjelpe virksomheten med å realisere det fulle potensialet til AI gjennom modeller med høytytende inferens. Og høyere ytelse betyr bedre forretningsdrift.