Förbättra arbetsbelastningar för djupinlärning med andra generationens Intel Xeon skalbara processorer

 HPC utvecklas kontinuerligt och därmed även arbetsbelastningarna. I takt med att datamängderna blir större och mer komplexa tar AI-arbetsbelastningar, t. ex. djupinlärning en mer central roll. Mer och mer arbetsbelastningar för djupinlärning körs nu ovanpå kraftfulla och skalbara HPC-system med låg latens för att lösa utmaningar som var otänkbara för tio år sedan. Traditionella HPC-arbetsbelastningar inom biovetenskap, digital tillverkning, olja och gas, finans och så vidare drivs av djupinlärning för att skapa mer meningsfull information från data på kortare tid och med större precision. Intel anser att AI-metoderna nu är viktiga komponenter i HPC-arbetsbelastningar. För att tillgodose behovet av att både lära och, vilket är viktigare, underlätta snabbare beslutsfattande för AI-modeller, har Intel placerat dessa arbetsbelastningar först och i mitten med de nya 2^:a generationens® skalbara processorserie av typen Intel Xeon® .

2^:a generationens skalbara Intel® Xeon®-processorer

2^:a generationens skalbara Intel® Xeon®-processorer ger en mängd nya och förbättrade funktioner, bland annat möjligheten att driftsätta Intel® Optane™ DC-beständigt minne, förbättrade DRAM-hastigheter, större bearbetningskapacitet för traditionella instruktionsuppsättningar som FP32 med enkel precision och ny bearbetningskapacitet för arbetsbelastningar för djupinlärning med den nya instruktionsuppsättningen Intel® Deep Learning Boost.

Deep Learning Boost på 2^:a generationens skalbara Intel® Xeon®-processorer

Djupinlärning är processen att utveckla modeller med hjälp av artificiella neurala nätverk som består av många oberoende bearbetningsenheter, eller neuroner, som ansluts i en kompakt graf. Neurala nätverk har visat en häpnadsväckande förmåga att identifiera okända eller oförutsedda mönster i alla typer av data och har tillämpats på domäner som sträcker sig från bild- och videoigenkänning och -analys, till ljud- och språkomvandling, till analys av tidsseriedata och avvikelseupptäckt.

Arbetet med att använda neurala nätverk för att utveckla banbrytande modeller delas upp i två faser: inlärning, där befintliga data används för att lära neurala nätverk att identifiera mönster, och inferens, där den utbildade modellen utsätts för nya data och förväntas fatta lämpliga beslut. Och även om utbildningen av neurala nätverk har varit i fokus för maskin-och programvaruinnovation under flera år, är det i inferensen som företag får nytta av sina AI-insatser.

Inferens har andra maskinvarukrav än inlärning. Inlärning kräver flytpunktsaritmetik med halv precision eller enkel precision och förmåga att bearbeta många stora vektorer med liknande data samtidigt. Inferens har mycket lägre totala bearbetningskrav, är mer fokuserad på latens (tid till beslut) och kan dra nytta av numeriska format med lägre precision som 8-bitars och 16-bitars heltal.

2^:a generationens skalbara processorserie Intel® Xeon® är främst inriktad på den här andra fasen (inferens) med en helt ny kapacitet som kallas Deep Learning Boost. Intel® Deep Learning Boost ger minskad precisionsaritmetik (8- och 16-bitars heltal) till Xeons 512-bitars breda vektorenheter (AVX512). Det här är en enorm kapacitet för minskad precisionsinferens eftersom djupinlärningsfunktionerna i Intel® Xeon®-processorer samtidigt kan bearbeta 64 8-bitars heltal (eller 32 16-bitars heltal) i en enda maskinvaruinstruktion! Koppla ihop detta med möjligheten att utföra säkra åtgärder, t. ex. FMA (Fused Multiple Add) på dessa breda lågprecisionsvektorer, och genomströmningen i systemet ökar betydligt.

Dell EMC har prestandatestat de prestandaförbättringar som Intel® Deep Learning Boost kan göra med det neurala nätverkets inferens. Siffran ovan visar hur stor förbättring din organisation kan uppnå genom att driftsätta 2^:a generationens skalbara Intel® Xeon®-processorer med Intel® Deep Learning Boost. Medan 1^:a generationens skalbara Intel® Xeon®-processorer (kodnamn ”Skylake”) klarar av att bearbeta 258 bilder per sekund på ResNet-50-inferenstest i enkel precision (FP32) och 389 bilder per sekund i reducerad 8-bitars heltalsprecision, kan de nya instruktioner som Deep Learning Boost tillför 2^:a generationens skalbara Intel® Xeon®-processorer mer än tredubbla genomströmningen i 8-bitars heltalsprecision till 1278 bilder per sekund!

Varför detta är viktigt

Vad innebär detta för ditt företag? Varje slutsats som AI-modellen gör är en insikt du inte hade förut, eller en arbetsbelastning som du har automatiserat och som tar bort ett hinder för ett beslut. Var och en av dessa insikter – var och en av de borttagna hindren – kan översättas till en ny försäljning, en extra merförsäljning eller ett snabbare investeringsbeslut. Det är pengar i företagets fickor.

I takt med att företag genomgår digital omvandling är det mycket viktigt att använda AI – och djupinlärning – för att fortsätta vara konkurrenskraftig i en datadriven värld. Och även om inlärning av AI-modeller har varit i fokus i det här tidiga skedet är inferens det sätt på vilket företagen verkligen kommer att inse fördelarna med AI. Dell EMC PowerEdge-servrar med 2^:a generationens skalbara Intel® Xeon®-processorer med Intel® Deep Learning Boost kan hjälpa företaget att förverkliga den fulla potentialen hos AI med hjälp av en högre prestandamodellinferens. Och högre prestanda innebär bättre affärer.