Skip to main content
  • Place orders quickly and easily
  • View orders and track your shipping status
  • Create and access a list of your products

Dell EMC HPC NFSストレージ ソリューション - 高可用性(NSS 7.4 - HA)構成

Summary: このブログでは、Dell EMC HPC NFSストレージ ソリューション バージョン7.4(NSS 7.4-HA)について説明します 。これは、「Cascade Lake」というコードネームの持つ、第2世代Intel Xeonスケーラブル プロセッサーを利用しています。

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.

Symptoms

この文書は、2019年6月にDell EMC HPCおよびAI Innovation LabのNirmala SundararajanおよびMario Gallegosによって作成されました。

Cause

Resolution


ソリューションの概要

このブログでは、Dell EMC HPC NFSストレージ ソリューション バージョン7.4(NSS 7.4-HA)について説明します 。これは、「Cascade Lake」というコードネームの持つ、第2世代Intel Xeonスケーラブル プロセッサーを利用しています。  これらの改良されたXeonプロセッサーは、最大28コア、最大38.5 MBの最終レベル キャッシュ、およびソケットあたり6つの2933 MT/sメモリー チャネルを搭載しています。  カスケード Lake プロセッサーの主な機能は、サイドチャネル攻撃に対する統合ハードウェアの緩和Intel DL ブースト(vnni)、クロックスピードとメモリ速度の向上のサポートです。

Cascade Lake とその先行 Skylake には、 adddc (adaptive double d RAMdデバイスC) と呼ばれる機能があります。ADDDCは、障害が発生したDRAMデバイスを動的にマッピングするために実行時に導入され、SDDC(Single Device Data Correction)、エラー修正コード(ECC)メモリーを提供しながら、DIMMの長寿命化に対応しています。この機能は、x4 DRAMデバイスに対してのみ有効になっており、システムにx8 DRAMデバイスがある場合は何も実行されません。最新のNSS-HAバージョン7.4では、x8構成である16 GBのメモリーのみが使用されているため、ADDDCはグレー表示になり、BIOSでは調整可能なオプションではありません。ただし、32GB メモリ (x4) を使用している場合は、ADDDC を調整可能なオプションとして使用でき、RAS 機能よりもパフォーマンスを優先するために、disabled (無効) に設定することをお勧めします。

Intel Cascade Lake プロセッサー用の bios の特性」の説明に従って、HPC プロファイルを使用して NFS サーバを設定することをお勧めします。これには、サブ NUMA クラスタを有効にするための bios のチューニング、論理プロセッサの無効化、システムプロファイルの「パフォーマンス」の設定が含まれます。既存のシステムをアップグレードする場合は、CPUをCascade Lakeプロセッサーにアップグレードする前に、まずCascade Lake CPUをサポートするバージョンにBIOSがアップデートされていることを確認してください。HPCおよびAI Innovation LabのHPCエンジニアリング チームは、Cascade Lakeプロセッサーを搭載したNSSサーバーを使用した一連のベンチマーク テストを実施し、その結果を、以前にNSS7.3-HAソリューションから取得したものと比較しました。なお、当該ソリューションには旧世代の「Skylake」Xeonファミリー プロセッサーを搭載した最新バージョンのPowerEdgeサーバーを使用しました。このブログでは、ベンチマーク結果と比較について説明します。

Dell EMC によって提供される NFS ストレージソリューションは、最適なパフォーマンスを得るために最適化され、調整されています。  NSS7.4-HAソリューションのセットアップ時には、次の点に注意する必要があります。
  1. Cascade Lakeプロセッサーを使用する場合、サポートされている最小オペレーティング システムはRed Hat Enterprise Linux 7.6です。ただし、カーネル バージョン3.10.0-957.el7では、kworkerなどのタスクでNFS共有がハングアップし、CPUの100 %が消費されます。問題の根本原因は、TCPレイヤーがsunrpcレイヤーの移動状態と同期されていないことが原因です。この問題は、パッケージ「kernel-3.10.0-957.5.1 .el7」以降で解決されています。したがって、このソリューションで使用されるベース オペレーティング システムはRHEL7.6であり、使用されているカーネル バージョンはkernel-3.10.0-957.5.1.el7です。詳細については、https://access.redhat.com/solutions/3742871を参照してください。
  2. NSS7.4-HAソリューションの場合、次のパッケージがインストールされていない限り、nfs-idmapdサービスの開始に失敗するため、nfsserverリソースの起動に失敗します。詳細については、https://access.redhat.com/solutions/3746891を参照してください。
    • resource-agents-4.1.1-12.el7_6.4
    • resource-agents-aliyun-4.1.1-12.el7_6.4
    • resource-agents-gcp-4.1.1-12.el7_6.4以降。
  3. RHEL7.6のリリース ノートでは、LVMのI/Oレイヤーのバグによって、物理ボリュームの割り当て可能スペースの最初の128 KBでデータが破壊されるという事実に注目しています。  この問題は、lvm2-2.02.180-10.el7_6.2以降で解決されています。  そのため、lvm2パッケージが最新バージョンにアップデートされていることを確認してください。Lvm2をアップデートしない場合、回避策は、lvcreatelvextendなどのボリューム グループ(VG)のメタデータを変更するLVMコマンドは使用せず、VGの論理ボリュームを使用する方法です。



NSS 7.4-HAアーキテクチャ

図1は、NSS7.4-HAの設計を示しています。必要なソフトウェアおよびファームウェアのアップデートを除き、NSS7.4-HAおよびNSS7.3-HAは、同じHAクラスター構成とストレージ構成を共有します。アクティブ - パッシブHA構成のNFSサーバーのペアは、PowerVault ME4084に接続されています。各NFSサーバーには、デュアルSASカードがあります。各カードには共有ストレージ内の各コントローラーへのSASケーブルが搭載されているため、1つのSASカードまたはSASケーブルで障害が発生しても、データの可用性に影響はありません(構成の詳細については、『NSS7.3-HAホワイト ペーパー』を参照してください)。NSS 7.4-HAアーキテクチャ
SLN317325_en_US__1001
 

 

NSS 7.4-HAとNSS 7.3-HAのコンポーネントの比較

Dell NSS-HAソリューションは、最初のNSS-HAリリース以降、より高い可用性、高いパフォーマンス、および大容量のストレージ容量を提供するため、多くのハードウェアおよびソフトウェアのアップグレードを受けていますが、NSS-HAソリューション ファミリーのアーキテクチャ設計および導入ガイドラインは変更されていません。この最新バージョンとそれ以前のバージョンであるNSS7.3-HAは、Power Vault ME4084と同じストレージ バックエンドを共有しています。次の表に、最新のNSS7.4-HAソリューションと以前のNSS7.3-HAソリューションのコンポーネントの比較を示します。

 
表1:表1:NSS7.4-HAとNSS7.3-HAのコンポーネントの比較 
対処方法 NSS7.4-HAリリース(2019年6月) NSS7.3-HAリリース(2018年10月)
NFSサーバー モデル 2 Dell EMC PowerEdge R740
内部接続 Dell Networking S3048を使用したギガビットEthernet
ストレージサブシステム Dell EMC PowerVault ME4084
84-3.5 "NL SAS ドライブ、最大 12 tb。
最大 1008TB (raw スペース)
8 個の lun、リニア 8 + 2 の RAID 6、チャンクサイズの128KiB をサポートします。
4 グローバルHDDスペア。
ストレージ接続 12 Gbps SAS接続。
CPU 2 Intel Xeon Gold 6240 @ 2.6 GHz、プロセッサーあたり18コア 2 Intel Xeon Gold 6136 @ 3.0 GHz、プロセッサーあたり12コア
メモリー 12 16GiB 2933 MT/s RDIMM 12 16GiB 2666 MT/s RDIMM
オペレーティングシステム Red Hat Enterprise Linux 7.6 Red Hat Enterprise Linux 7.5
カーネル バージョン 3.10.0-957.5.1.el7.x86_64 3.10.0-862.el7.x86_64
Red Hat Scalable File System(XFS) v4.5.0-18 v4.5.0-15
外部ネットワーク接続 Mellanox ConnectX-5 InfiniBand EDR/100 GbE、および10 GbE Mellanox Connectx-3-5 InfiniBand EDR、および10 GbE。
NSS 7.3: HA ソリューションのブログでは、Mellanox の場合、、EDR/100 GbE が使用されています。
OFEDのバージョン Mellanox OFED 4.5-1.0.1.0 Mellanox OFED 4.4-1.0.0


ブログの残りの部分では、NSS7.4-HAのテストベッドおよびI/Oパフォーマンス情報について説明します。NSS7.4-HAと以前のリリースのパフォーマンスの違いを示すために、NSS7.3-HAの対応するパフォーマンス番号も提示されています。

 



テストベッドの構成

NSS7.4-HAソリューションのパフォーマンスと機能を評価するために使用されたテストベッドについて、ここで説明します。パフォーマンス テストに使用されたCPUは、この作業のためにXeon Gold 6240 CPUが時間通りに受け取れなかったため、ソリューションとして選択されたCPUとは異なることに注意してください。この計画では、6240プロセッサーが利用可能になった後にテストの一部を繰り返し、必要に応じてこのレポートを修正します。
 
表2: NSS 7.4: HA ハードウェア構成 
サーバー構成
NFSサーバー モデル Dell PowerEdge R740
CPU 2 Intel Xeon Gold 6244 CPU @ 3.60 GHz(各8コア)
メモリー 12 16GiB 2933 MT/s RDIMM
ローカル ディスクとRAIDコントローラー PERC H730Pには、5台の300 GB 15K SASハード ドライブが搭載されています。2台のドライブがRAID1でOS用に、2台のドライブがRAID0でスワップ スペース用に構成されており、5番目のドライブはRAID1ディスク グループのホット スペアです。
Mellanox EDRカード(スロット8) Mellanox ConnectX-5 EDRカード
1 GbE Ethernetカード(ドーター カード スロット) Broadcom 5720 QP 1ギガビットEthernetネットワーク ドーター カード。またはIntel(R)Gigabit 4P I350-t rNDC
外部ストレージ コントローラー(スロット1およびスロット2) 2 Dell 12 Gbps SAS HBA
システム管理 iDRAC9 Enterprise
ストレージ構成
ストレージ エンクロージャ 1 Dell PowerVault ME4084エンクロージャ
RAIDコントローラ Dell ME4084のDuplex RAIDコントローラー
Hard Disk Drives(ハードディスクドライブ) アレイあたり84 - 10 TB 7.2K NL SASドライブ、合計84 x 10ディスク
その他のコンポーネント
プライベート ギガビットEthernetスイッチ Dell Networking S3048-ON
配電ユニット 2 APCスイッチ ラックPDU、モデルAP7921B


表3: NSS 7.4: HA サーバーソフトウェアのバージョン 
コンポーネント 説明
オペレーティングシステム Red Hat Enterprise Linux(RHEL)7.6 x86_64 errata
カーネル バージョン 3.10.0-957.5.1.el7.x86_64
Cluster Suite RHEL 7.6以降のRed Hat Cluster Suite
ファイルシステム Red Hat Scalable File System(XFS)4.5.0-18
システム管理ツール Dell OpenManage Server Administrator 9.3.0-3407_A00
  

表4:NSS 7.4: HA クライアント構成 
コンポーネント 説明
サーバー 32 Dell EMC PowerEdge C6420コンピュート ノード
CPU 2 Intel Xeon Gold 6148 CPU @ 2.40 GHz(プロセッサーあたり20コア)
メモリー 12 16GiB 2666 MT/s RDIMM
オペレーティングシステム Red Hat Enterprise Linux Serverリリース7.6
カーネル バージョン 3.10.0-957.el7.x86_64
 内部接続 Mellanox InfiniBand EDR
OFEDのバージョン 4.3-1.0.1.0
ConnectX-4ファームウェア 12.17.2052
 


NSS 7.4-HA I/Oパフォーマンスの概要

このセクションでは、現在のNSS7.4ソリューションのI/Oパフォーマンス テストの結果について説明します。すべてのパフォーマンス テストは、ソリューションの最大機能を測定するために、障害のないシナリオで実施されました。このテストでは、大規模な順次読み取りと書き込み、小規模なランダム読み取りと書き込み、3つのメタデータ操作(ファイルの作成、stat、および削除)を含む、3種類のI/Oパターンに焦点を当てました。以前のバージョン NSS 7.3: HA と同様に、このソリューションでは、締切期限の i/o スケジューラと 256 NFS デーモンを使用します。

EDR 経由の IPoIB ネットワーク接続を使用して、840TB (raw ストレージサイズ) 構成が benchmarked されました。ベンチマーク テストのワークロードを生成するために、32ノードのコンピューティング クラスターを使用しました。各テストは、ソリューションの拡張性をテストするために、クライアントの範囲に対して実行されました。

この調査では、IOzone および mdtest のベンチマークが使用されています。順次テストとランダム テストでは、Iozoneが使用されました。順次テストでは、1024 KiBのリクエスト サイズが使用されました。NFSサーバー キャッシュが確実に飽和状態になるように、転送されたデータの総量は2 TBです。ランダム テストでは、4 KiBのリクエスト サイズを使用し、各クライアントは4 GiBファイルの読み取りおよび書き込みを行いました。メタデータ テストは、OpenMPIでmdtestベンチマークを使用して実施されました。これには、ファイルの作成、stat、および削除の操作が含まれています(テストで使用された完全なコマンドについては、『NSS7.3-HAホワイト ペーパー』の付録Aを参照してください)。

 

IPoIB順次書き込みおよび読み取りN-N

IOzoneベンチマークの順次読み取りおよび書き込みを評価するため、バージョン3.487が順次読み取りおよび書き込みモードで使用されました。これらのテストは、1つのスレッドから、2の累乗(最大64スレッド)で増加する複数のスレッド数に対して実施されました。このテストでは、スレッドあたり1つのファイル、またはN-Nの場合に動作するため、各スレッド数では同じ数のファイルが生成されました。2 TB の集計ファイルサイズが選択されています。これは、特定のテスト内のスレッド数に均等に分けられます。

図2は NSS 7.4-HA バージョンのシーケンシャル i/o パフォーマンスと NSS 7.3-HA バージョンの比較を示しています。図のように、最新のNSS7.4と以前のNSS7.3は、最大7 GB/sでの読み取りと、書き込みピーク パフォーマンスが5 GB/sの場合と同様のピーク パフォーマンスを備えていることが確認されました。ただし、一部のスレッド数では、NSS7.3-HAソリューションと比較すると、15~20 %の書き込みパフォーマンスの低下が測定されました。このパフォーマンスの違いについては、調査中です。読み取りパフォーマンスは、スレッド数1および2ではほぼ45 %向上し、スレッド数8では18 %向上しました。8よりも多いスレッド数については、読み取りパフォーマンスはNSS7.3-HAソリューションの場合と似ています。より少ないスレッド数での読み取りパフォーマンスの向上は、サイド チャネル攻撃に対してCascade Lakeプロセッサーに配置されているハードウェア緩和策による可能性があります。IPoIBの大規模な順次I/Oパフォーマンス

SLN317325_en_US__2image002 (3)


 

IPoIBランダム書き込みおよび読み取りN-N

ランダムIOパフォーマンスを評価するため、IOzoneバージョン3.487がランダム モードで使用されました。テストは、1から2の累乗で最大64のスレッド数に対して実施されました。レコード サイズは4 KBが選択されました。各クライアントは、小さなランダム データ アクセスをシミュレートするために、4 GiBファイルの読み取りまたは書き込みを行いました。  クラスタには32ノードのみがあるため、64スレッドのデータポイントは、2つのスレッドを実行する32クライアントを使用して取得されました。

図3は、NSS 7.4-HA のランダム書き込みと読み取り i/o のパフォーマンスを NSS 7.3-HA のものと比較したものです。図から、NSS7.4は、NSS7.3-HAと同様(最大7300 IOPS)のランダム書き込みピーク パフォーマンスを備えていることがわかります。  NSS7.4-HAソリューションの場合、1と2より少ないスレッド数では、書き込みパフォーマンスは以前のバージョンのソリューションと比べて約14 %低下します。これについては、調査中です。  ランダム読み取りパフォーマンスは、NSS7.4で徐々に増加し、64スレッドで16607 IOPSのピーク パフォーマンスに達します。以前のリリース(NSS7.3-HA)では、32スレッドで28811 IOPSのピーク パフォーマンスに達しました。これは、NSS7.4-HAソリューションのランダム読み取りにおいて達成されたピーク パフォーマンスよりも42 %高くなっています。IPoIBのランダムI/Oパフォーマンス

SLN317325_en_US__303 (1)

 

IPoIBメタデータの操作

システムのメタデータ パフォーマンスを評価するため、MDTestツール バージョン1.9.3が使用されました。使用されたMPI分配は、OpenMPIバージョン1.10.7です。  表5のように、メタデータ テストは、スレッド数最大32に対して960,000ファイルを作成し、ファイル数を増やして、ソリューションの拡張性をテストすることによって実施されました。メタデータテスト: スレッド間でのファイルとディレクトリの分散 
スレッド数 ディレクトリーあたりのファイル数 スレッドあたりのディレクトリー数 ファイルの総数
1 3000 320 960000
2 3000 160 960000
4 3000 80 960000
8 3000 40 960000
16 3000 20 960000
32 3000 10 960000
64 3000 8 1536000
128 3000 4 1436000
256 3000 4 3072000
512 3000 4 6144000


図4、図5、および図6は、ファイルの作成、stat、および削除の各操作の結果を示しています。HPCコンピューティング クラスターには32のコンピューティング ノードがあり、次のグラフでは、各クライアントは最大32に対してノードごとに1つのスレッドを実行しました。64、128、256、および512のクライアント数については、各ノードが2、4、8、または16の同時操作を実行しました。
ファイルの作成時には、16スレッドまではパフォーマンスが20 %向上し、32スレッド以降は、両方のバージョンのパフォーマンスはほぼ同じです。
NSS 7.4 での Stat 操作では、低スレッド数 (1、2、8、16) のパフォーマンスが10% 向上 > し、より高いスレッド数 (64 スレッドから512スレッド) のパフォーマンスが30% 低下します。
最後に、削除操作では、64クライアントまでのパフォーマンスが14% 低下しました。128256と512のスレッド数が増加すると、> 20% 低下していました。

 
図4:IPoIB ファイルの作成パフォーマンス
SLN317325_en_US__404 (1)


図 5: IPoIB fiel のパフォーマンス
SLN317325_en_US__505 (1)


図 6: IPoIB fie のパフォーマンスの削除
SLN317325_en_US__606 (1)


 

結論

次の表は、最後のNSS7.4およびNSS7.3ソリューション間で観察されたパフォーマンスの違いをまとめたものです。 表5:NSS7.4およびNSS7.3 HAバージョンのパフォーマンスの比較
Dell EMC HPC NFSストレージ NSS7.4-HA NSS7.4 – HA NSS7.3-HA
順次1MB 書き込みのピーク: 1.4% の減少 4,834 MB/秒 4,906 MB/秒
順次1MB 読み取りのピーク: 0.7% の減少 7,024 MB/秒 7,073 MB/秒
ランダム4KB 書き込みのピーク: 0.7% の減少 7,290 IOps 7,341 IOps
ランダム4KB 読み取りのピーク: 42% の減少 16,607 IOps 28,811 IOps
Create operations/second のピーク: 1.1% の減少 54,197 Op/s 54,795 Op/s
Stat 操作/秒のピーク: 35% の減少 522,231 Op/s 808,317 Op/s
削除操作/秒のピーク: 35% の減少 47,345 Op/s 73,320 Op/s


上記の結果から、現在のNSS7.4-HAソリューションは、前世代のNSS7.3-HAソリューションと同等のパフォーマンスを提供していると分かりました。デルでは、プロセッサーあたり18コアのXeon Gold 6240 CPUを使用してベンチマーク テストを実施することを計画しています。これにより、ランダム読み取りパフォーマンスが低下し、ファイルのstatおよび削除操作におけるより高いスレッド数でのパフォーマンス低下が、NSS7.4-HAソリューションのパフォーマンス ベンチマークに使用されるXeon Gold 6244 CPU(プロセッサーあたり8コア)のコア数が少ないことに起因しているかどうかを理解できます。



リファレンス

NSS-HAソリューションの詳細については、公開されているホワイト ペーパーを参照してください。

 

Affected Products

High Performance Computing Solution Resources
Article Properties
Article Number: 000145124
Article Type: Solution
Last Modified: 28 Feb 2021
Version:  4
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.