ベア メタルとKubernetesの比較：TensorFlowを使用した分散トレーニング

この記事は、2019年10月にHPC AI Innovation LabのRakshith Vasudev氏とJohn Lockman氏によって作成されました。

目次

1. はじめに
   1.ベア メタル
   2.Kubernetes
2. ソフトウェアのバージョン
3. 実環境での使用事例：CheXNet
4. ハードウェア仕様
5. パフォーマンス
6. 概要
    

概要

ソフトウェアのバージョン

表1
 

実環境での使用事例：CheXNet

前に紹介したように、CheXNetは、DenseNetを活用して、指定された胸のレントゲン写真から最大14の病状を特定できるAI放射線技師アシスタント モデルです。拡張性とトレーニング精度の向上（陽性AURORAC）の両方を実証しながら、ResNet-50を使用した従来のCheXNet-121と同等以上のパフォーマンスを発揮できる可能性のあるモデルのトレーニングをスケールアウトするため、いくつかのアプローチが検討されました。作者によって、CPUシステムでの拡張性については実証されましたが、GPUの並列化を活用してトレーニング プロセスを高速化することについて関心が寄せられました。Dell EMC PowerEdge C4140は、SXM2構成の4台のNVIDIA V100 GPUで密度とパフォーマンスの両方を提供します。
 

ハードウェア仕様

パフォーマンス

この画像スループットは、1秒あたりの画像で測定されます。このトレーニングでは、表2に記載されている両方のシステム上の2つのC4140ノードで1、2、3、4、8台のGPUを使用してCheXNetを測定しました。モデル アーキテクチャ、入力データなどを含む実行の仕様については、この記事 で詳しく説明しています。図1は、Kubernetesシステムとベア メタル システムで測定されたパフォーマンスの比較を示しています。

 
図1: k8sとベア メタルでCheXNetトレーニングを実行
 

概要

ベア メタル システムでは、8GPUにスケールアウトするとパフォーマンスが8%向上しました。ただし、システム アーキテクチャの設計の違いにより、コンテナとベア メタルの違いだけでなく、このわずかなパフォーマンスの違いが発生する可能性があります。ベア メタル システムは、InfiniBand接続(Raw)の全帯域幅とレイテンシーを活用でき、ソフトウェア デファインド ネットワーク（flannelなど）で作成されたオーバーヘッドに対処する必要はありません。また、k8sシステムがInfiniBand経由でIPを使用しており、使用可能な帯域幅を削減できる可能性もあります。
これらの数値は、ワークロードと、実行されるアプリケーションの種類により定義された通信パターンによって異なる場合があります。画像の分類に関する問題の場合、GPU間で通信が発生するレートが高いため、交換レートが高くなります。ただし、どちらのアプローチを使用するかは、ワークロードのニーズによって異なります。Kubernetesベースのシステムはパフォーマンスの低下が少なくなります（この場合は8%以下）。それにより、ユーザーと管理者がライブラリー、構成、環境、その他の依存関係を設定する必要がなくなります。このアプローチにより、データ サイエンティストは生産性を向上させ、データ ラングリングやモデル構築などのコア ビジネス上の問題の解決に専念できるようになります。