Bare Metal vs. Kubernetes: Distribueret undervisning med TensorFlow

Artiklen er skrevet af Rakshith Vasudev & John Lockman - HPC AI Innovation Lab i oktober 2019

Indholdsfortegnelse

1. Introduktion
   1. Bare Metal
   2. Kubernetes
2. Softwareversioner
3. Brugscase fra den virkelige verden: CheXNet
4. Hardwarespecifikationer
5. Performance (Ydeevne)
6. Overblik
    

Indledning

Softwareversioner

Tabel 1
 

Brugscase fra den virkelige verden: CheXNet

Som introduceret tidligere er CheXNet en AI-radiologassistentmodel, der bruger DenseNet til at identificere op til 14 patologier ud fra et givent patiade x-ray-billede. Flere metoder blev undersøgt for at udskalere undervisningen af en model, der kunne fungere lige så godt som eller bedre end den oprindelige CheXNet-121 med ResNet-50, som har et løfte om både skalerbarhed og øget indlæringsgengivelse (positiv AUROC). Forfatterene demonstrerede skalerbarheden på CPU-systemer, men vi er interesserede i at udnytte gpu'ens parallelitet til at fremskynde indlæringsprocessen. Dell EMC PowerEdge C4140 giver både tæthed og ydeevne med fire Nvidia V100 GPU'er i SXM2-konfigurationen.
 

Hardwarespecifikationer

Performance (Ydeevne)

Billedoverførselshastigheden målt i billeder pr. sekund, da indlæringen af CheXNet blev målt ved brug af 1, 2, 3, 4 og 8 GPU'er på tværs af 2 C4140-noder på begge systemer beskrevet i Tabel 2. Specifikationerne for kørsel, herunder modelarkitekturen, inputdata osv., er beskrevet i denne artikel. Figur 1 viser den målte sammenligning af ydeevnen på Kubernetes-systemet og bare metal-systemet.

 
Figur 1: Kørsel af CheXNet-træning på K8s vs. Bare Metal
 

Overblik

Det bare metal-system viser en stigning i ydeevnen på 8 %, når vi opskalerer til 8 GPU'er. Forskellene i systemarkitekturens design kan imidlertid forårsage denne lille forskel i ydeevnen ud over blot beholderen vs. metalargumentet. Det blotte metalsystem kan drage fordel af den fulde båndbredde og ventetid af den rå InfiniBand-forbindelse og behøver ikke at håndtere de omkostninger, der er forbundet med softwaredefinerede netværk som f.eks. en flannel. Det er også tilfældet, at K8s-systemet bruger IP over InfiniBand, hvilket kan reducere den tilgængelige båndbredde. 
Disse tal kan variere afhængigt af arbejdsbelastningen og kommunikationsmønstrene defineret efter den type programmer, der køres. I tilfælde af et problem med billedklassificeringen er den hastighed, hvormed kommunikationen forekommer mellem GPU'er, høj, og derfor er der en høj ombytningshastighed. Om du skal bruge én tilgang frem for den anden, afhænger dog af arbejdsbelastningens behov. Selvom vores Kubernetes-baserede system har en lille ydeevne-bod, ~8 % i dette tilfælde, fritager det brugere og administratorer fra at konfigurere biblioteker, konfigurationer, miljøer og andre afhængigheder. Denne tilgang gør datalogerne mere produktive og fokuserer på at løse centrale forretningsproblemer som f.eks. data-wrangling og modelopbygning.