Deep Learning workloads opvoeren met 2e generatie Intel Xeon schaalbare processoren (in het Engels)

 HPC evolueert voortdurend en dus ook de workloads. Naarmate datasets groter en complexer worden, nemen AI-workloads, zoals Deep Learning, een centrale plaats in. Steeds meer Deep Learning workloads worden nu uitgevoerd bovenop krachtige, schaalbare, HPC-systemen met lage latentie die een decennium geleden onvoorstelbaar waren. Traditionele HPC-workloads op het gebied van biowetenschappen, digitale productie, olie & gas, financiën en dergelijke worden aangedreven door Deep Learning om meer zinvolle inzichten vanuit data te genereren in minder tijd en met een grotere nauwkeurigheid. Intel beseft dat AI-methoden nu kritieke componenten van HPC-workloads zijn. Om te voldoen aan de behoefte aan zowel training als, nog belangrijker, snellere besluitvorming voor AI-modellen, heeft Intel deze workloads prioriteit gegeven met de nieuwe 2^nd Generation Intel® Xeon® schaalbare processorlijn.

2^nd Generation Intel® Xeon® schaalbare processoren

2^nd Generation Intel® Xeon® schaalbare processoren bieden tal van nieuwe en verbeterde mogelijkheden, waaronder de mogelijkheid om® Intel™ OPTANE DC permanent geheugen te implementeren, verbeterde DRAM-snelheden, meer verwerkingsmogelijkheden voor traditionele instructiesets zoals single precision FP32 en nieuwe verwerkingsmogelijkheden voor Deep Learning workloads met de nieuwe Intel® Deep Learning Boost instructieset.

Deep Learning Boost op 2^nd Generation Intel® Xeon® schaalbare processoren

Deep Learning is het proces om modellen te ontwikkelen met behulp van kunstmatige neurale netwerken die bestaan uit een groot aantal onafhankelijke verwerkingseenheden, of neuronen, die in een compacte graaf verbonden. Neurale netwerken hebben een verbluffende mogelijkheid aangetoond om onbekende of onvoorziene patronen in allerlei soorten data te identificeren en zijn toegepast op domeinen variërend van beeld- en videoherkenning en -analyse tot audio- en taaltransformatie, tot tijdreeksanalyse van data- en anomaliedetectie.

Het proces van het gebruik van neurale netwerken voor het ontwikkelen van geavanceerde modellen is onderverdeeld in twee fasen: training, waarbij bestaande data worden gebruikt om het neurale netwerk te leren hoe ze patronen kunnen identificeren; en gevolgtrekkingen maken, waarbij het getrainde model wordt blootgesteld aan nieuwe data en naar verwachting de juiste beslissingen zal nemen. En terwijl het proces van het trainen van neurale netwerken al meerdere jaren de focus van hardware- en software-innovatie is, is het op het gebied van conclusies trekken dat bedrijven profiteren van hun AI-inspanningen.

Deduceren heeft andere hardwarevereisten dan training. De training vereist half-precision of single-precision zwevende kommaberekeningen en de mogelijkheid om veel grote vectoren van vergelijkbare data tegelijk te verwerken. Het trekken van conclusies stelt veel lagere totale computervereisten, is veel sterker gericht op latentie (time-to-decision) en kan profiteren van numerieke formaten met lagere precisie, zoals 8-bit en 16-bit integers.

De 2^nd Generation Intel® Xeon® schaalbare processor lijn richt zich voornamelijk op deze tweede fase (conclusies trekken) met een volledig nieuwe mogelijkheid die bekend staat als Deep Learning Boost. Intel® Deep Learning Boost brengt minder nauwkeurige berekeningen (8-bit en 16-bin integers) over naar Xeon 512-bit brede vectoreenheden (AVX512). Dit is een enorme mogelijkheid voor minder nauwkeurige deductie omdat de Intel® Xeon®-processoren met Deep Learning Boost gelijktijdig 64 8-bit integers (of 32 16-bit integers) kunnen verwerken in één hardware-instructie! Koppel dit met de mogelijkheid om fused operations uit te voeren, zoals Fused Multiply Add (FMA) op deze brede lage-precisie vectoren, en de doorvoer van het systeem gaat aanzienlijk omhoog.

Dell EMC is benchmarking de realiseerbare prestatieverbeteringen die Intel® Deep Learning Boost de neurale-netwerk-inferentie kan brengen. Uit de bovenstaande afbeelding blijkt hoeveel verbetering uw organisatie zou kunnen realiseren door de implementatie van 2^nd Generation Intel® Xeon® schaalbare processoren® met Intel Deep Learning Boost. Terwijl 1^st Generation Intel® Xeon® schaalbare processoren (met codenaam "Skylake") 258 images per seconde kunnen verwerken op de ResNet-50 inferentie-benchmark in single-precision (FP32) en 389 images per seconde in gereduceerde 8-bit integerprecisie, de nieuwe instructies die Deep Learning Boost biedt aan 2^nd Generation Intel® Xeon® schaalbare processoren kunnen meer dan drie maal de doorvoer in 8-bit integerprecisie tot 1278 images per seconde verhogen!

Waarom dit belangrijk is

Wat betekent dit voor uw bedrijf? Elke gevolgtrekking die uw AI-model maakt, is een inzicht dat u niet eerder had, of een workload die u hebt geautomatiseerd, waardoor een belemmering voor een beslissing wordt weggenomen. Elk van deze inzichten — elk van de obstakels die worden weggenomen — kan worden vertaald naar een nieuwe verkoop, een extra upsell of een snellere beslissing voor investeringen. Dat brengt geld in het laatje van uw bedrijf.

Aangezien bedrijven digitale transformatie ondergaan, is het gebruikmaken van AI - en met name deep learning - van essentieel belang om concurrerend te blijven in een data-gestuurde wereld. En terwijl de opleiding van AI-modellen in dit vroege stadium centraal staat, is gevolgtrekkingen maken de manier waarop bedrijven de voordelen van AI echt zullen realiseren. Dell EMC PowerEdge servers aangedreven door 2^nd Generation Intel® Xeon® schaalbare processoren met® Intel Deep Learning Boost kunnen uw bedrijf helpen het volledige potentieel van AI te realiseren door middel van een hoger prestatiemodel. En hogere prestaties betekent beter zakendoen.