Bare Metal versus Kubernetes: Gedistribueerde training met TensorFlow

Artikel is geschreven door Rakshith Vasudev &John Lockman - HPC AI Innovation Lab in oktober 2019

Inhoudsopgave

1. Inleiding
   1. Bare Metal
   2. Kubernetes
2. Softwareversies
3. Praktijkvoorbeeld: CheXNet
4. Hardwarespecificaties
5. Prestaties
6. Samenvatting
    

Inleiding

Softwareversies

Tabel 1
 

Praktijkvoorbeeld: CheXNet

Zoals eerder geïntroduceerd, is CheXNet een AI-radioloogassistent-model dat gebruikmaakt van DenseNet om maximaal 14 ziektebeelden te identificeren van een bepaald rö ray-beeld op de borst. Verschillende benaderingen werden onderzocht om de training van een model uit te breiden dat zowel goed als beter presteert dan de oorspronkelijke CheXNet-121 met ResNet-50 die beloftes demonstreerde in zowel schaalbaarheid als verbeterde trainingsnauwkeurigheid (positieve ACREDITC). De auteurs demonstreerden schaalbaarheid op CPU-systemen, maar we zijn geïnteresseerd in het gebruik van het parallelisme van GPU's om het trainingsproces te versnellen. De Dell EMC PowerEdge C4140 biedt zowel dichtheid als prestaties met vier NVIDIA V100 GPU's in de SXM2-configuratie.
 

Hardwarespecificaties

Prestaties

De imagedoorvoer, gemeten in images per seconde, bij het trainen van CheXNet werd gemeten met behulp van 1, 2, 3, 4 en 8 GPU's in 2 C4140 knooppunten op beide systemen die worden beschreven in Tabel 2. De specificaties van de uitvoering, inclusief de modelarchitectuur, invoerdata, enz. worden beschreven in dit artikel. Afbeelding 1 toont de gemeten prestatievergelijking op het Kubernetes-systeem en het bare metal systeem.

 
Afbeelding 1: CheXNet-training uitvoeren op K8's versus Bare Metal
 

Samenvatting

Het bare metal systeem toont een toename van 8% van de prestaties wanneer we opschalen naar 8 GPU's. De verschillen in het ontwerp van de systeemarchitectuur kunnen echter dit kleine prestatieverschil veroorzaken, naast alleen de container versus het bare metal argument. Het bare metal systeem kan profiteren van de volledige bandbreedte en latentie van de onbewerkte InfiniBand-verbinding en heeft geen te maken met de overhead die is gemaakt met softwaregedefinieerde netwerken, zoals een kliknel. Het is ook het geval dat het K8s-systeem IP gebruikt via InfiniBand, wat de beschikbare bandbreedte kan verminderen. 
Deze cijfers kunnen variëren, afhankelijk van de workload en de communicatiepatronen die worden gedefinieerd door het type applicaties dat wordt uitgevoerd. In het geval van een probleem met de imageclassificatie is de snelheid waarmee communicatie plaatsvindt tussen GPU's hoog en dus is er een hoge wisselkoers. Het gebruik van de ene benadering ten opzichte van de andere is echter afhankelijk van de behoeften van de workload. Hoewel ons Kubernetes-gebaseerde systeem een kleine prestatieboete heeft, neemt ~8% in dit geval gebruikers en beheerders weg van het instellen van bibliotheken, configuraties, omgevingen en andere afhankelijkheden. Deze aanpak stelt datawetenschappers in staat productiever te zijn en zich te richten op het oplossen van belangrijke zakelijke problemen, zoals datawrangling en modelbuild.