Bare-metal rispetto a Kubernetes: Formazione distribuita con TensorFlow

L'articolo è stato scritto dae Vasudev e John Lockman - HPC AI Innovation Lab nel mese di ottobre 2019

Sommario

1. Introduzione
   1. Bare metal
   2. Kubernetes
2. Versioni software
3. Use case reale: CheXNet
4. Specifiche hardware
5. Prestazioni
6. Riepilogo
    

Introduzione

Versioni software

Tabella 1
 

Use case reale: CheXNet

Come introdotto in precedenza, CheXNet è un modello di assistente radilogo di intelligenza artificiale che utilizza DenseNet per identificare fino a 14 pathologie da una data immagine x-ray del toracico. Sono stati analizzati diversi approcci per scalare l'addestramento di un modello che potesse funzionare in modo ottimale o superiore rispetto al CheXNet-121 originale con ResNet-50 dimostrando la promessa sia in termini di scalabilità che di maggiore precisione dell'addestramento (AUROC positivo). Gli autori hanno dimostrato capacità di scalabilità sui sistemi cpu, tuttavia siamo interessati a sfruttare il parallelismo delle GPU per accelerare il processo di formazione. Dell EMC PowerEdge C4140 fornisce densità e prestazioni con quattro GPU NVIDIA V100 nella configurazione SXM2.
 

Specifiche hardware

Prestazioni

Il throughput dell'immagine, misurato in immagini al secondo, durante l'addestramento di CheXNet è stato misurato utilizzando 1, 2, 3, 4 e 8 GPU su 2 nodi C4140 su entrambi i sistemi descritti nella Tabella 2. Le specifiche dell'esecuzione, tra cui l'architettura del modello, i dati di input e così via, sono descritte in dettaglio in questo articolo. La figura 1 mostra il confronto delle prestazioni misurato sul sistema Kubernetes e sul sistema bare metal.

 
Figura 1. Esecuzione della formazione CheXNet su K8s rispetto a Bare Metal
 

Riepilogo

Il sistema bare metal dimostra un aumento dell'8% delle prestazioni durante lo scale-out a 8 GPU. Tuttavia, le differenze nella progettazione dell'architettura di sistema potrebbero causare questa lieve differenza di prestazioni, al di là del solo argomento contenitore rispetto a quello bare metal. Il sistema bare metal può sfruttare la larghezza di banda e la latenza complete della connessione InfiniBand raw e non deve affrontare l'overhead creato con le reti definite dal software, come una flangia. È anche il caso che il sistema K8s utilizzi IP su InfiniBand in grado di ridurre la larghezza di banda disponibile. 
Questi numeri possono variare a seconda del carico di lavoro e dei modelli di comunicazione definiti dal tipo di applicazioni eseguite. Nel caso di un problema di classificazione delle immagini, la velocità con cui si verifica la comunicazione tra le GPU è elevata e quindi c'è un tasso di cambio elevato. Tuttavia, se utilizzare un approccio rispetto all'altro dipende dalle esigenze del carico di lavoro. Anche se il nostro sistema basato su Kubernetes ha una piccola riduzione delle prestazioni, circa l'8% in questo caso, solleva utenti e amministratori dalla configurazione di librerie, configurazioni, ambienti e altre dipendenze. Questo approccio consente ai Data Scientist di essere più produttivi e di concentrarsi sulla risoluzione dei principali problemi aziendali come la wra hybrid data e la creazione di modelli.