Bare Metal vs. Kubernetes: Verteiltes Training mit TensorFlow

Der Artikel wurde von Rakshith Vasudev & John Lockman, HPC AI Innovation Lab, im Oktober 2019 verfasst.

Inhaltsverzeichnis

1. Einführung
   1. Bare Metal
   2. Kubernetes
2. Softwareversionen
3. Reales Anwendungsbeispiel: ChexNet
4. Hardwarespezifikationen
5. Leistung
6. Übersicht
    

Einführung

Softwareversionen

Tabelle 1
 

Reales Anwendungsbeispiel: ChexNet

Wie bereits erwähnt, handelt es sich bei CheXNet um ein KI-Assistentenmodell für Radiologen, das DenseNet verwendet, um bis zu 14 Pathologien auf einem Thorax-Röntgenbild zu identifizieren. Es wurden mehrere Ansätze untersucht, um das Training eines Modells zu skalieren, damit es genauso gut oder sogar besser als das ursprüngliche CheXNet-121 mit ResNet-50 ist. Dabei wurden vielversprechende Ergebnisse in Bezug auf Skalierbarkeit und höhere Trainingsgenauigkeit (positives AUROC) erzielt. Die Autoren konnten Skalierbarkeit auf CPU-Systemen nachweisen, wir sind aber daran interessiert, die Parallelität von GPUs zu nutzen, um den Trainingsprozess zu beschleunigen. Der Dell EMC PowerEdge C4140 bietet mit vier NVIDIA V100-GPUs in SXM2-Konfiguration sowohl Dichte als auch Performance.
 

Hardwarespezifikationen

Leistung

Der Bilddurchsatz in Bildern pro Sekunde wurde beim Training von CheXNet auf beiden Systemen mit 1, 2, 3, 4 und 8 GPUs auf 2 C4140-Nodes gemessen, wie in Tabelle 2 dargestellt. Die technischen Daten der Ausführung, einschließlich der Modellarchitektur, der Eingabedaten usw., sind in diesem Artikel aufgeführt. Abbildung 1 zeigt einen Vergleich der gemessenen Performance auf dem Kubernetes-System und dem Bare-Metal-System.

 
Abbildung 1: CheXNet-Training auf K8s im Vergleich zu Bare Metal
 

Übersicht

Das Bare-Metal-System zeigt bei einem Scale-out auf 8 GPUs eine Performancesteigerung von 8 %. Dieser leichte Performanceunterschied könnte jedoch auf die Unterschiede im Design der Systemarchitektur zurückzuführen sein, was über den Vergleich „Container vs. Bare Metal“ hinausgeht. Das Bare-Metal-System kann die volle Bandbreite und Latenz der InfiniBand-Rohverbindung nutzen und muss sich nicht mit dem Overhead auseinandersetzen, der bei softwaredefinierten Netzwerken wie einem Flanell entsteht. Außerdem verwendet das K8s-System IP über InfiniBand, was die verfügbare Bandbreite reduzieren kann. 
Diese Zahlen können je nach Workload und Kommunikationsmustern der ausgeführten Anwendungen variieren. Bei einem Bildklassifizierungsproblem ist die Geschwindigkeit, mit der die Kommunikation zwischen den GPUs erfolgt, hoch und daher kommt es zu einer hohen Austauschrate. Es hängt jedoch von den Anforderungen des Workloads ab, welcher Ansatz verwendet werden sollte. Obwohl das Kubernetes-basierte System eine geringe Performanceeinbuße aufweist, in diesem Fall ca. 8 %, müssen Nutzer und Administratoren keine Bibliotheken, Konfigurationen, Umgebungen und andere Abhängigkeiten mehr einrichten. Dieser Ansatz ermöglicht es Wissenschaftlern, produktiver zu arbeiten und sich auf die Lösung wichtiger geschäftlicher Probleme wie die Datenaufbereitung und Modellerstellung zu konzentrieren.