Dell EMC HPC NFSストレージ ソリューション - 高可用性（NSS 7.4 - HA）構成

目次

1. ソリューションの概要
2. NSS 7.4-HAアーキテクチャ
3. NSS 7.4-HAとNSS 7.3-HAのコンポーネントの比較
4. テストベッドの構成
5. NSS 7.4-HA I/Oパフォーマンスの概要
   • IPoIB順次書き込みおよび読み取りN-N
   • IPoIBランダム書き込みおよび読み取りN-N
   • IPoIBメタデータの操作
6. 結論
7. リファレンス
   
    

---

ソリューションの概要

このブログでは、Dell EMC HPC NFSストレージ ソリューション バージョン7.4（NSS 7.4-HA）について説明します 。これは、「Cascade Lake」というコードネームの持つ、第2世代Intel Xeonスケーラブル プロセッサーを利用しています。  これらの改良されたXeonプロセッサーは、最大28コア、最大38.5 MBの最終レベル キャッシュ、およびソケットあたり6つの2933 MT/sメモリー チャネルを搭載しています。  カスケード Lake プロセッサーの主な機能は、サイドチャネル攻撃に対する統合ハードウェアの緩和、 Intel DL ブースト(vnni)、クロックスピードとメモリ速度の向上のサポートです。

Cascade Lake とその先行 Skylake には、 adddc (adaptive double d RAMdデバイスC) と呼ばれる機能があります。ADDDCは、障害が発生したDRAMデバイスを動的にマッピングするために実行時に導入され、SDDC（Single Device Data Correction）、エラー修正コード（ECC）メモリーを提供しながら、DIMMの長寿命化に対応しています。この機能は、x4 DRAMデバイスに対してのみ有効になっており、システムにx8 DRAMデバイスがある場合は何も実行されません。最新のNSS-HAバージョン7.4では、x8構成である16 GBのメモリーのみが使用されているため、ADDDCはグレー表示になり、BIOSでは調整可能なオプションではありません。ただし、32GB メモリ (x4) を使用している場合は、ADDDC を調整可能なオプションとして使用でき、RAS 機能よりもパフォーマンスを優先するために、disabled (無効) に設定することをお勧めします。

「Intel Cascade Lake プロセッサー用の bios の特性」の説明に従って、HPC プロファイルを使用して NFS サーバを設定することをお勧めします。これには、サブ NUMA クラスタを有効にするための bios のチューニング、論理プロセッサの無効化、システムプロファイルの「パフォーマンス」の設定が含まれます。既存のシステムをアップグレードする場合は、CPUをCascade Lakeプロセッサーにアップグレードする前に、まずCascade Lake CPUをサポートするバージョンにBIOSがアップデートされていることを確認してください。HPCおよびAI Innovation LabのHPCエンジニアリング チームは、Cascade Lakeプロセッサーを搭載したNSSサーバーを使用した一連のベンチマーク テストを実施し、その結果を、以前にNSS7.3-HAソリューションから取得したものと比較しました。なお、当該ソリューションには旧世代の「Skylake」Xeonファミリー プロセッサーを搭載した最新バージョンのPowerEdgeサーバーを使用しました。このブログでは、ベンチマーク結果と比較について説明します。

Dell EMC によって提供される NFS ストレージソリューションは、最適なパフォーマンスを得るために最適化され、調整されています。  NSS7.4-HAソリューションのセットアップ時には、次の点に注意する必要があります。

1. Cascade Lakeプロセッサーを使用する場合、サポートされている最小オペレーティング システムはRed Hat Enterprise Linux 7.6です。ただし、カーネル バージョン3.10.0-957.el7では、kworkerなどのタスクでNFS共有がハングアップし、CPUの100 %が消費されます。問題の根本原因は、TCPレイヤーがsunrpcレイヤーの移動状態と同期されていないことが原因です。この問題は、パッケージ「kernel-3.10.0-957.5.1 .el7」以降で解決されています。したがって、このソリューションで使用されるベース オペレーティング システムはRHEL7.6であり、使用されているカーネル バージョンはkernel-3.10.0-957.5.1.el7です。詳細については、https://access.redhat.com/solutions/3742871を参照してください。
2. NSS7.4-HAソリューションの場合、次のパッケージがインストールされていない限り、nfs-idmapdサービスの開始に失敗するため、nfsserverリソースの起動に失敗します。詳細については、https://access.redhat.com/solutions/3746891を参照してください。
   • resource-agents-4.1.1-12.el7_6.4
   • resource-agents-aliyun-4.1.1-12.el7_6.4
   • resource-agents-gcp-4.1.1-12.el7_6.4以降。
3. RHEL7.6のリリース ノートでは、LVMのI/Oレイヤーのバグによって、物理ボリュームの割り当て可能スペースの最初の128 KBでデータが破壊されるという事実に注目しています。  この問題は、lvm2-2.02.180-10.el7_6.2以降で解決されています。  そのため、lvm2パッケージが最新バージョンにアップデートされていることを確認してください。Lvm2をアップデートしない場合、回避策は、lvcreateやlvextendなどのボリューム グループ（VG）のメタデータを変更するLVMコマンドは使用せず、VGの論理ボリュームを使用する方法です。

---

NSS 7.4-HAアーキテクチャ

図1は、NSS7.4-HAの設計を示しています。必要なソフトウェアおよびファームウェアのアップデートを除き、NSS7.4-HAおよびNSS7.3-HAは、同じHAクラスター構成とストレージ構成を共有します。アクティブ - パッシブHA構成のNFSサーバーのペアは、PowerVault ME4084に接続されています。各NFSサーバーには、デュアルSASカードがあります。各カードには共有ストレージ内の各コントローラーへのSASケーブルが搭載されているため、1つのSASカードまたはSASケーブルで障害が発生しても、データの可用性に影響はありません（構成の詳細については、『NSS7.3-HAホワイト ペーパー』を参照してください)。NSS 7.4-HAアーキテクチャ

 

---

 

NSS 7.4-HAとNSS 7.3-HAのコンポーネントの比較

Dell NSS-HAソリューションは、最初のNSS-HAリリース以降、より高い可用性、高いパフォーマンス、および大容量のストレージ容量を提供するため、多くのハードウェアおよびソフトウェアのアップグレードを受けていますが、NSS-HAソリューション ファミリーのアーキテクチャ設計および導入ガイドラインは変更されていません。この最新バージョンとそれ以前のバージョンであるNSS7.3-HAは、Power Vault ME4084と同じストレージ バックエンドを共有しています。次の表に、最新のNSS7.4-HAソリューションと以前のNSS7.3-HAソリューションのコンポーネントの比較を示します。

 

ブログの残りの部分では、NSS7.4-HAのテストベッドおよびI/Oパフォーマンス情報について説明します。NSS7.4-HAと以前のリリースのパフォーマンスの違いを示すために、NSS7.3-HAの対応するパフォーマンス番号も提示されています。

 

---

テストベッドの構成

NSS7.4-HAソリューションのパフォーマンスと機能を評価するために使用されたテストベッドについて、ここで説明します。パフォーマンス テストに使用されたCPUは、この作業のためにXeon Gold 6240 CPUが時間通りに受け取れなかったため、ソリューションとして選択されたCPUとは異なることに注意してください。この計画では、6240プロセッサーが利用可能になった後にテストの一部を繰り返し、必要に応じてこのレポートを修正します。
    

表4：NSS 7.4: HA クライアント構成   

---

NSS 7.4-HA I/Oパフォーマンスの概要

このセクションでは、現在のNSS7.4ソリューションのI/Oパフォーマンス テストの結果について説明します。すべてのパフォーマンス テストは、ソリューションの最大機能を測定するために、障害のないシナリオで実施されました。このテストでは、大規模な順次読み取りと書き込み、小規模なランダム読み取りと書き込み、3つのメタデータ操作（ファイルの作成、stat、および削除）を含む、3種類のI/Oパターンに焦点を当てました。以前のバージョン NSS 7.3: HA と同様に、このソリューションでは、締切期限の i/o スケジューラと 256 NFS デーモンを使用します。

EDR 経由の IPoIB ネットワーク接続を使用して、840TB (raw ストレージサイズ) 構成が benchmarked されました。ベンチマーク テストのワークロードを生成するために、32ノードのコンピューティング クラスターを使用しました。各テストは、ソリューションの拡張性をテストするために、クライアントの範囲に対して実行されました。

この調査では、IOzone および mdtest のベンチマークが使用されています。順次テストとランダム テストでは、Iozoneが使用されました。順次テストでは、1024 KiBのリクエスト サイズが使用されました。NFSサーバー キャッシュが確実に飽和状態になるように、転送されたデータの総量は2 TBです。ランダム テストでは、4 KiBのリクエスト サイズを使用し、各クライアントは4 GiBファイルの読み取りおよび書き込みを行いました。メタデータ テストは、OpenMPIでmdtestベンチマークを使用して実施されました。これには、ファイルの作成、stat、および削除の操作が含まれています（テストで使用された完全なコマンドについては、『NSS7.3-HAホワイト ペーパー』の付録Aを参照してください）。

 

IPoIB順次書き込みおよび読み取りN-N

IOzoneベンチマークの順次読み取りおよび書き込みを評価するため、バージョン3.487が順次読み取りおよび書き込みモードで使用されました。これらのテストは、1つのスレッドから、2の累乗（最大64スレッド）で増加する複数のスレッド数に対して実施されました。このテストでは、スレッドあたり1つのファイル、またはN-Nの場合に動作するため、各スレッド数では同じ数のファイルが生成されました。2 TB の集計ファイルサイズが選択されています。これは、特定のテスト内のスレッド数に均等に分けられます。

図2は NSS 7.4-HA バージョンのシーケンシャル i/o パフォーマンスと NSS 7.3-HA バージョンの比較を示しています。図のように、最新のNSS7.4と以前のNSS7.3は、最大7 GB/sでの読み取りと、書き込みピーク パフォーマンスが5 GB/sの場合と同様のピーク パフォーマンスを備えていることが確認されました。ただし、一部のスレッド数では、NSS7.3-HAソリューションと比較すると、15～20 %の書き込みパフォーマンスの低下が測定されました。このパフォーマンスの違いについては、調査中です。読み取りパフォーマンスは、スレッド数1および2ではほぼ45 %向上し、スレッド数8では18 %向上しました。8よりも多いスレッド数については、読み取りパフォーマンスはNSS7.3-HAソリューションの場合と似ています。より少ないスレッド数での読み取りパフォーマンスの向上は、サイド チャネル攻撃に対してCascade Lakeプロセッサーに配置されているハードウェア緩和策による可能性があります。IPoIBの大規模な順次I/Oパフォーマンス




 

IPoIBランダム書き込みおよび読み取りN-N

ランダムIOパフォーマンスを評価するため、IOzoneバージョン3.487がランダム モードで使用されました。テストは、1から2の累乗で最大64のスレッド数に対して実施されました。レコード サイズは4 KBが選択されました。各クライアントは、小さなランダム データ アクセスをシミュレートするために、4 GiBファイルの読み取りまたは書き込みを行いました。  クラスタには32ノードのみがあるため、64スレッドのデータポイントは、2つのスレッドを実行する32クライアントを使用して取得されました。

図3は、NSS 7.4-HA のランダム書き込みと読み取り i/o のパフォーマンスを NSS 7.3-HA のものと比較したものです。図から、NSS7.4は、NSS7.3-HAと同様（最大7300 IOPS）のランダム書き込みピーク パフォーマンスを備えていることがわかります。  NSS7.4-HAソリューションの場合、1と2より少ないスレッド数では、書き込みパフォーマンスは以前のバージョンのソリューションと比べて約14 %低下します。これについては、調査中です。  ランダム読み取りパフォーマンスは、NSS7.4で徐々に増加し、64スレッドで16607 IOPSのピーク パフォーマンスに達します。以前のリリース（NSS7.3-HA）では、32スレッドで28811 IOPSのピーク パフォーマンスに達しました。これは、NSS7.4-HAソリューションのランダム読み取りにおいて達成されたピーク パフォーマンスよりも42 %高くなっています。IPoIBのランダムI/Oパフォーマンス



 

IPoIBメタデータの操作

システムのメタデータ パフォーマンスを評価するため、MDTestツール バージョン1.9.3が使用されました。使用されたMPI分配は、OpenMPIバージョン1.10.7です。  表5のように、メタデータ テストは、スレッド数最大32に対して960,000ファイルを作成し、ファイル数を増やして、ソリューションの拡張性をテストすることによって実施されました。メタデータテスト: スレッド間でのファイルとディレクトリの分散 

スレッド数	ディレクトリーあたりのファイル数	スレッドあたりのディレクトリー数	ファイルの総数
1	3000	320	960000
2	3000	160	960000
4	3000	80	960000
8	3000	40	960000
16	3000	20	960000
32	3000	10	960000
64	3000	8	1536000
128	3000	4	1436000
256	3000	4	3072000
512	3000	4	6144000

図4、図5、および図6は、ファイルの作成、stat、および削除の各操作の結果を示しています。HPCコンピューティング クラスターには32のコンピューティング ノードがあり、次のグラフでは、各クライアントは最大32に対してノードごとに1つのスレッドを実行しました。64、128、256、および512のクライアント数については、各ノードが2、4、8、または16の同時操作を実行しました。 図4：IPoIB ファイルの作成パフォーマンス



図 5: IPoIB fiel のパフォーマンス



図 6: IPoIB fie のパフォーマンスの削除



 

---

結論

次の表は、最後のNSS7.4およびNSS7.3ソリューション間で観察されたパフォーマンスの違いをまとめたものです。 表5：NSS7.4およびNSS7.3 HAバージョンのパフォーマンスの比較

Dell EMC HPC NFSストレージ	NSS7.4-HA	NSS7.4 – HA NSS7.3-HA
順次1MB 書き込みのピーク: 1.4% の減少	4,834 MB/秒	4,906 MB/秒
順次1MB 読み取りのピーク: 0.7% の減少	7,024 MB/秒	7,073 MB/秒
ランダム4KB 書き込みのピーク: 0.7% の減少	7,290 IOps	7,341 IOps
ランダム4KB 読み取りのピーク: 42% の減少	16,607 IOps	28,811 IOps
Create operations/second のピーク: 1.1% の減少	54,197 Op/s	54,795 Op/s
Stat 操作/秒のピーク: 35% の減少	522,231 Op/s	808,317 Op/s
削除操作/秒のピーク: 35% の減少	47,345 Op/s	73,320 Op/s

上記の結果から、現在のNSS7.4-HAソリューションは、前世代のNSS7.3-HAソリューションと同等のパフォーマンスを提供していると分かりました。デルでは、プロセッサーあたり18コアのXeon Gold 6240 CPUを使用してベンチマーク テストを実施することを計画しています。これにより、ランダム読み取りパフォーマンスが低下し、ファイルのstatおよび削除操作におけるより高いスレッド数でのパフォーマンス低下が、NSS7.4-HAソリューションのパフォーマンス ベンチマークに使用されるXeon Gold 6244 CPU（プロセッサーあたり8コア）のコア数が少ないことに起因しているかどうかを理解できます。

---

リファレンス

NSS-HAソリューションの詳細については、公開されているホワイト ペーパーを参照してください。

 

•  『Dell HPC NFS Storage Solution - High Availability (NSS6.0-HA) Configuration with Dell PowerEdge 13th Generation Servers』、リリース バージョンNSS6.0-HA（2014年11月公開）。
•  「Dell HPC NFS Storage Solution - High Availability (NSS7.0-HA) Configuration」、リリース バージョンNSS7.0-HA（2016年5月公開）。
•  「Dell EMC Ready Solution for HPC NFS Storage」、リリース バージョンNSS7.3-HA（2019年3月公開）。