HPC BeeGFSストレージ向けDell Readyソリューションの拡張性

容量またはパフォーマンス、またはその両方の観点からDell BeeGFSハイ パフォーマンス ストレージ ソリューションを拡張する方法を教えてください。

「解決方法」セクションの情報を参照してください。

目次

1. 概要
2. 基本構成
3. BeeGFSの使用可能容量の計算
4. 拡張性の高い構成
5. パフォーマンス特性
6. 結論および今後の計画
    

---

概要

このブログでは、最近発表された Dell EMC Ready Solutions for HPC BeeGFS Storage の拡張性について説明します。  BeeGFSアーキテクチャは、管理サービス、メタデータ サービス、ストレージ サービス、クライアント サービスの4つの主要なサービスで構成されています。BeeGFSの場合、役割とハードウェアが緊密に統合されていないため、これら4つのメイン サービス(これらすべてを含む)を任意の組み合わせで同じサーバー上で実行できます。  「ハイパー コンバージド ソリューション」では、4つのサービスすべてが同じサーバー上で実行されます。クライアント アプリケーションは通常、ストレージ サービスのパフォーマンスに影響を与える可能性があるリソースを消費するため、パフォーマンスが重要な環境では、この構成はお勧めしません。Dell EMCソリューションは、専用のストレージ サーバーと、デュアル目的のメタデータとストレージ サーバーを使用して、ハイパフォーマンスで拡張性に優れたストレージ ソリューションを提供します。既存のシステムにストレージ サーバーを追加することで、システムを拡張できます。このブログでは、ストレージ サーバーの数が異なる構成と、これらの構成で期待できるパフォーマンスについて説明します。

---

基本構成

ハイパフォーマンスのスクラッチ ファイル システムを提供するように設計された BeeGFS ストレージ ソリューションは、次のハードウェア コンポーネントを使用します。

• Management Server
  • R640、デュアル インテルXeon Gold 5218 2.3GHz、16コア、96GB(12x 8GB 2666 MT/s RDIMM)、6 x 15k RPM 300GB SAS、H740P
• メタデータおよびストレージ サーバー
  • R740xd、2 x インテルXeon Platinum 8268 CPU @ 2.90GHz、24コア、384GB(12x 32GB 2933 MT/s RDIMM)
  • OS用RAID 1に240GB M.2 SATA SSD x 2を搭載したBOSSカード
  • 24x、インテル1.6TB、NVMe、Mixed Use Express Flash、2.5 SFFドライブ、ソフトウェアRAID

管理サーバーは、BeeGFSモニタリング サービスを実行します。メタデータ サーバーは、NUMA 0ゾーン上の12台のドライブを使用してメタ データ ターゲット(MD)をホストし、NUMA 1ゾーン上の残りの12台のドライブはST(ストレージ ターゲット)をホストします。BeeGFSメタデータのストレージ容量要件が非常に小さいため、専用のメタデータ サーバーは使用されません。メタデータとストレージのターゲットとサービスは個別のNUMAノード上で分離されるため、ワークロードのかなりの分離が確立されます。構成で使用されるストレージ サーバーには、NUMAゾーンごとに3つのストレージ サービスが実行され、サーバーごとに合計6つ実行されます。詳細については、 発表ブログを参照してください。図1 は、 Dell EMC HPCおよびAIイノベーション ラボでテストおよび検証された2つの基本構成を示しています。

図1: 基本構成

小規模構成は、3台のR740xdサーバーで構成されています。合計15のストレージ ターゲットがあります。中規模構成には6台のR740xdサーバーがあり、合計33個のストレージ ターゲットがあります。ユーザーは、「小規模」構成または「中」構成から開始し、必要に応じてストレージ サーバーまたはメタデータ サーバーを追加して、ストレージスペースと全体的なパフォーマンス、またはファイルとメタデータのパフォーマンスを向上させることができます。表1 は、Dell EMC HPCおよびAIイノベーション ラボで広範にテストおよび検証された基本構成のパフォーマンス データを示しています。

表1：基本構成の容量とパフォーマンスの詳細

 

---

BeeGFSの使用可能容量の計算

推定使用可能容量は、次の式を使用してTiBで計算されます(ほとんどのツールはバイナリ単位で使用可能なスペースを示しているため)。

BeeGFS有効容量(TiB単位)= (0.99* ドライブ数* サイズ(TB) * (10^12/2^40)

上記の式では、0.99は、ファイル システムから1%のオーバーヘッドがあると控えめに仮定することによって得られる要素です。  ストレージのドライブ数に到達するために、MDSから12台のドライブも含まれています。これは、MDSでは、NUMAゾーン0の12台のドライブがメタデータに使用され、NUMAゾーン1の12台のドライブがストレージに使用されるためです。式10^12/2^40の最後の要素は、使用可能なスペースをTBからTiBに変換することです。

---

拡張性の高い構成

BeeGFSハイ パフォーマンス ストレージ ソリューションは、柔軟性に優れ、次に示すようにサーバーを追加することで、パフォーマンスや容量を簡単かつシームレスに拡張できるように設計されています。

表2: 拡張構成の容量とパフォーマンスの詳細

 

---

パフォーマンス特性

さまざまな構成のパフォーマンスは、ストレージ プールを作成することによってテストされました。小規模構成には15個のストレージ ターゲットがあり、追加のストレージ サーバーごとに6つのストレージ ターゲットが追加されます。したがって、さまざまな構成のパフォーマンスをテストするために、ストレージ プールは15~39個のストレージ ターゲット(小規模、小規模+1、小+2、中、中+1の場合は6単位)で作成されました。これらのプールごとに、iozoneベンチマークの3回の反復が実行され、それぞれに1~1024個のスレッド(2単位で)が含まれます。採用されているテスト方法は、 発表ブログ で説明されている方法と同じです。図3と図4は、拡張性の高い構成の書き込みおよび読み取りパフォーマンスをそれぞれ示しています。各構成のピーク パフォーマンスはReady Reference用にハイライト表示されています。



図3：  拡張可能な構成の書き込み


パフォーマンス図4 :  拡張性の高い構成のパフォーマンスを

読む注:

と呼ばれるストレージ プールは、異なる構成のパフォーマンスを特徴づける明示的な目的でのみ作成されました。  発表ブログで詳しく説明されている中規模構成のパフォーマンス評価を行っている間、33個のターゲットはすべて「デフォルト プール」のみでした。以下に示す beegfs-ctl --liststoragepools コマンドの出力は、ストレージ ターゲットの割り当てを示しています。

# beegfs-ctl --liststoragepools
Pool ID Pool Description Targets Buddy Groups
======= ================== ============================ ============================
1 Default 1,2,3,4,5,6,7,8,9,10,11,12,
                                                13、14、15、16、17、18、19、20、21、22、23、
24、25、26、27、28、29、30、
31、32、33  

---

結論および今後の計画

このブログでは、Dell EMC Ready Solutions for HPC BeeGFS Storageの拡張性について説明し、さまざまな構成に対するシーケンシャルな読み取り/書き込みスループットのパフォーマンスを強調しました。このブログ シリーズのパート3では、BeeGFSのその他の機能について説明し、BeeGFSの組み込み型ストレージ ターゲット ベンチマークである「StorageBench」の使用について説明します。次のステップの一環として、メタデータ パフォーマンス、IOR N-1パフォーマンス評価、設計に関する考慮事項、チューニング、構成に関する詳細を含むホワイト ペーパーを後で公開します。 

リファレンス

[1]HPC BeeGFSストレージ向けDell EMC Ready Solutions:  
https://www.dell.com/support/article/sln319381/[2]BeeGFSドキュメント: 
https://www.beegfs.io/wiki/[3]同じサブネット上の2つのインターフェイスを接続する方法: 
https://access.redhat.com/solutions/30564[4]外部メモリーを使用したPCI Express Direct Memory Accessリファレンス設計:https://www.intel.com/content/www/us/en/programmable/documentation/nik1412547570040.html#nik1412547565760