概要

最新のDell EMC Ready Solution for HPC NFS Storage(NSS)with High Availability(NSS-HAソリューション)バージョンはNSS7.3-HAで、今月下旬にリリースされる予定です。
NSSのこのリリースには、新しい Dell EMC PowerVault ME4084ストレージ アレイとRed Hat Enterprise Linux 7.5が組み込まれています。また、引き続きインテルXeonスケーラブル・プロセッサー・ファミリーのCPU(アーキテクチャ・コードネームSkylake)を使用して、以前のNSS-HAソリューションよりも高いシステム全体のパフォーマンスを提供します。このブログでは、この最新バージョンのNSSソリューションのI/Oパフォーマンステストの結果を紹介します。
図1は、NSS7.3-HA構成の設計を示しています。NSS7.3-HAとその直前のNSS7.2-HAの主な違いは次のとおりです。

• バック エンド ストレージ アレイ:
  • NSS7.2-HA: PowerVault MD3460 + オプションのMD3060e(HDD 60台または120台)
  • NSS7.3-HA: PowerVault ME4084(HDD 84台)
• オペレーティングシステム:
  • NSS7.2-HA: RHEL 7.4
  • NSS7.3-HA: Red Hat® Enterprise Linux® 7.5

NSS7.2-HAとNSS7.3-HAは、必要なソフトウェアやファームウェアのアップデートなどを除き、同じHAクラスタ設計と基本的なストレージ構成を共有しています。(構成の詳細については、 NSS7.0-HAホワイトペーパー を参照してください。
NSS7.2-HAおよびNSS7.3-HAからのもう一つの大きな改善点は、最大容量の大幅な増加です。NSS7.2-HAは、Red Hat XFSの現在のサポート上限である500 TBに制限されていますが、Dell EMCとRed Hatは、当社のラボでの広範なテストと検証の後、最大768 TBの使用可能容量を持つNSS7.3-HA構成をサポートする協力契約を締結しました。これは、12 TB HDDまたは1008 TBのロー ストレージ スペースをフル装備したDell EMC PowerVault ME4084です。

NSS-HAアーキテクチャ

図1は、NSS 7.3のアーキテクチャを点線の長方形の中に示したもので、クライアントとパブリック・ネットワーク・スイッチを含む一般的なテスト・ベッドに組み込まれています。

図1NSS7.3-HA 1008 TBのロー・スペース(使用可能容量768 TB) アーキテクチャとテスト・ベッド

次の表は、新しいNSS HA 7.3ソリューションのさまざまなコンポーネントをまとめたものです。
  

表1NSS7.2-HAおよびNSS7.3-HAのコンポーネント

	NSS7.2-HAリリース(2018年4月) 「PowerEdge第14世代サーバーおよびMD3460 + MD3060e」	NSS7.3-HAリリース(2018年10月) 「PowerEdge第14世代サーバーおよびME4084ベースのソリューション」
ソフトウェア	Red Hat Enterprise Linux 7.4、 カーネル3.10.0-693.el7.x86_64 Red Hat Scalable File System(XFS)v4.5.0-12	Red Hat Enterprise Linux 7.5、 カーネル3.10.0-862.el7.x86_64 Red Hat Scalable File System(XFS)v4.5.0-15
NFSサーバー	2台のDell PowerEdge R740サーバー。 CPU：デュアル インテル Xeon Gold 6136 @ 3.0 GHz、プロセッサーあたり12コア。 メモリ：12 x 16GiB 2666 MT/s RDIMM。
外部ネットワーク接続	EDR InfiniBand、10 GbE、またはインテルOmni-Path。 このブログでは、Mellanox ConnectX-4 IB EDR/100 GbEです。 注文の場合、CX-5 IB EDR/100 GbE。
内部接続	ギガビットEthernet、スイッチ Dell Networking S3048-ON
OFEDのバージョン	Mellanox OFED 4.3-1.0.1.0	Mellanox OFED 4.4-1.0.0
Direct Storage接続	12 Gbps SAS接続。
ストレージ サブシステム	Dell EMC MD3460 + オプションのMD3060e。 60 – 120 – 3.5インチNL SAS 4 TBドライブ。 240 TBまたは480 TB(rawスペース)の2種類の構成。 6または12個のLUN、8+2 RAID 6、セグメント サイズ512KiB 、スペアなし	Dell EMC PowerVault ME4084。 84:3.5インチNL SASドライブ、最大12TB。 1つの構成で最大1008TB(raw容量)。 8 LUN、リニア8 + 2 RAID 6、チャンク サイズ128 KiB。 4 グローバルHDDスペア。

 

新しいPowerVault ME4084ストレージでは、基本構築ユニットとしてリニア8+2 RAID 6を引き続き使用します。新しいチャンク サイズ(セグメント サイズ)は128 KiBで、パフォーマンスを最適化するために先読み値として「ストライプ サイズ」が選択されています。また、現在84台のドライブがあるため、RAID 6に基づく8つのLUNと、障害が発生したディスクを直ちに交換するように構成された4台のグローバル スペアHDDがあります。つまり、このソリューションでは最大768 TBの使用可能容量を確保できます。

NSS7.3-HA I/Oパフォーマンス

このブログでは、現在のNSS-HAソリューション、つまりNSS7.3のI/Oパフォーマンステストの結果を紹介します。すべてのパフォーマンス テストは、ソリューションの最大機能を測定するために、HAの障害のないシナリオで実施されました。テストでは、大規模なシーケンシャルな読み取りと書き込み、小規模なランダム読み取りと書き込み、3つのメタデータ操作(ファイルの作成、統計、削除)の3種類のI/Oパターンに焦点を当てました。
ベンチマーク テスト用のワークロードを生成するために、32ノードのコンピューティング クラスターを使用しました。クライアントと1008 TB(ロー ストレージ サイズ)のNSS構成は、InfiniBand EDRを使用して接続し、ファイル システムはIPoIBを介してマウントしました。各I/Oベンチマーク テストは、ソリューションの拡張性をテストするために、さまざまなクライアントに対して実行されました。使用されるクライアントの詳細を次の表に示します。

表 2.クライアントの構成(パフォーマンス テスト)

サーバー モデル	PowerEdge C6420
サーバーの数	32サーバー クラスター
CPU	インテル(R) Xeon(R) Gold 6148 CPU @ 2.40 GHz
RAM	192 GiB
オペレーティングシステム	Red Hat Enterprise Linux Serverリリース7.4
カーネル	3.10.0-693.17.1.el7.x86_64
ネットワークアダプタ	Mellanox ConnectX-4 VPI IB EDR/100 GbEシングル ポートQSFP28
OFEDのバージョン	MLNX_OFED-4.3.1.0.1.0

 

この調査では、 IOzone ベンチマークと MDtest ベンチマークを使用しました。IOzone は、シーケンシャル テストとランダム テストに使用されました。シーケンシャル テストでは、1024 KiB の要求サイズが使用されました。転送されたデータの合計量は256 GiBで、NFSサーバー キャッシュが飽和状態になるようにしました。ランダム テストでは、4 KiB の要求サイズを使用し、各クライアントは 4 GiB のファイルを読み書きしました。メタデータ テストは、OpenMPIで MDtest ベンチマークを使用して実行され、ファイルの作成、統計、削除操作が含まれていました。(テストで使用される完全なコマンドについては、 NSS7.0-HAホワイトペーパー の付録Aを参照してください。

IPoIBのシーケンシャルな書き込みと読み取り

図2と図3は、シーケンシャルな書き込みと読み取りのパフォーマンスを示しています。テスト クラスターには 32 個のノードがあったため、それぞれ 2 つのスレッドを実行している 32 個のクライアントを使用して、64 スレッドのデータ ポイントを取得しました。
NSS7.3-HAの場合、ピーク・リード・パフォーマンスは7 GB/秒、ピーク・ライト・パフォーマンスはほぼ5 GB/秒です。この2つの図から、現在のNSS7.3-HAソリューションは、以前のバージョンよりもシーケンシャル パフォーマンスの数値が高いことが分かります。読み取りパフォーマンスは最大18.7%向上しますが、ライト パフォーマンスは特に向上しており、以前のソリューションの最大2.65倍(16スレッド)のパフォーマンスになっています。ピーク性能値を比較すると、NSS7.3-HAでの書き込みは2.13倍、読み取りは12.5%向上しています。
これは、HDDを含むすべてのPowerVault ME4084内部コンポーネントのSAS内部速度が12 Gbpsに向上し(PowerVault MD3460は6 Gbps)、LUNあたりのスループットが向上したことが一因ですが、旧世代のPowerVault MD3よりも高速に情報を処理できる新しいストレージ コントローラーによっても挙げられます。

図2IPoIB 大規模シーケンシャル書き込みパフォーマンス

 

図3IPoIB 大規模シーケンシャル読み取りパフォーマンス

IPoIBランダム書き込みおよび読み取り

図4と図5は、ランダム書き込みおよび読み取り性能を示しています。
図からわかるように、ランダム書き込みは32スレッドでピーク パフォーマンスを達成しますが、以前のバージョンのソリューションではピークが64スレッドでした。ランダム読み取りパフォーマンスは、NSS7.3では最大32クライアントまで着実に向上し、以前のソリューションでは16クライアントでピークに達しました。繰り返しになりますが、この新しいストレージは、先行モデルよりも優れたパフォーマンスを示しており、前世代と比較して書き込みパフォーマンスが最大3.44倍(2スレッド)向上し、読み取りパフォーマンスが85%向上(32スレッド)しています。ピーク時のパフォーマンスを比較すると、ランダム書き込みで約13%、ランダム読み取りで約85%の差があります。これらの改善は主に、PowerVault MD3460コントローラーと比較して高速な処理能力を備えた新しいPowerVault ME4084コントローラーによるものです。

図4。IPoIBランダム書き込みパフォーマンス

図5IPoIBランダム読み取りパフォーマンス

 

IPoIBメタデータの操作

図6、図7、図8は、それぞれファイル作成、stat、および削除操作の結果を示しています。HPC コンピューティング クラスターには 32 個のコンピューティング ノードしかないため、次のグラフでは、各クライアントは最大 32 個のクライアント数に対して最大 1 個のスレッドを実行し、スレッド数が 64、128、256、および 512 個の場合、各クライアントは 2、4、8、または 16 個の同時操作 (スレッド) を実行しました。
ファイル作成の場合、以前のソリューションと比較すると、新しいソリューションでは、32クライアントでピーク時の差(208%)で約2倍のパフォーマンスの持続的な向上が見られ、その後わずかに低下しますが、256スレッドでの両ソリューションのピーク パフォーマンスを比較しても、新しいソリューションの方が30%高速です。
統計操作は新しいストレージで最も改善されており、改善は256スレッドで前世代の7.7倍と高く、ピークパフォーマンスを比較すると、NSS7.3は以前のバージョンのNSSよりも1秒あたりの統計操作数がほぼ6倍であることを示しています。
最後に、削除操作は比較的わずかに改善されており、ほとんどのデータポイントは以前のソリューションよりも33%以上のパフォーマンスを発揮しています。ただし、128スレッドではパフォーマンスが2.21倍向上しています。ピーク時のパフォーマンスでは、新しいストレージは以前のNSSシステムと比較して約55%高いパフォーマンスを達成します。
これらの改善はすべて、SAS3の速度(12 Gbps)を使用したより高速なHDDと、より高いIOPSと帯域幅が可能な新しいPowerVault ME4084コントローラーによるものです。

図6IPoIBのファイル作成パフォーマンス

 

 

 

図8IPoIBのファイル削除パフォーマンス

結論および今後の計画

NSS-HAソリューションは、さまざまな世代のソリューションで、高可用性、高パフォーマンス、大容量のストレージを継続的に提供するために、多くのハードウェアとソフトウェアの更新が行われてきました。これらのすべてのバージョンで、NSS-HAソリューション ファミリーのコア アーキテクチャ設計に変更はありません。NSS7.3-HAと以前のリリース(NSS7.2-HA)のパフォーマンスの違いを示すために、両方のソリューションのパフォーマンス数値を比較したところ、PowerVault ME4084に基づくソリューションの最新バージョンのソリューションの優れたパフォーマンスが示されました。 

•  シーケンシャル書き込みが最大2.65倍、読み取りパフォーマンスが最大18.7%高速化します。
  
•  ランダム書き込みのパフォーマンスは最大3.44倍、ランダム読み取りのパフォーマンスは最大85%高速化します。
  
•  作成率は最大2.1倍、統計速度は7.7倍、削除率は最大2.2倍です。

  次のフェーズでは、Intel Omni-Pathアダプタに接続されたNSS7.3-HAソリューションの特性評価を行います。NSS-HAソリューションの詳細については、公開されているホワイトペーパーを参照してください。

•  Dell HPC NFS Storage Solution High Availability Configurations、リリース バージョン NSS2-HA(2011年4月公開)。
  
•  Dell HPC NFS Storage Solution High Availability Configurations with Large Capacities、リリース バージョン NSS3-HA(2012年2月に公開)。
  
•  Dell HPC NFS Storage Solution High Availability (NSS-HA) Configurations with Dell PowerEdge 12th Generation Servers、リリース バージョンNSS4-HA(2012年7月に公開)。
  
•  Dell HPC NFSストレージ ソリューション - Dell PowerVault MD3260/MD3060eストレージ アレイでの高可用性(NSS-HA)構成、リリース バージョン NSS4.5-HAアップデート、2013年5月公開。
  
•  Dell HPC NFSストレージ ソリューション - 高可用性NSS5-HA構成、リリース バージョン NSS5.0-HA(2013年9月公開)。
  
•  Dell HPC NFSストレージ ソリューション - Dell PowerVault MD3460およびMD3060eストレージ アレイでの高可用性(NSS5.5-HA)構成、リリース バージョンNSS5.5-HA(2013年9月発行)。
  
•  『Dell HPC NFS Storage Solution - High Availability (NSS6.0-HA) Configuration with Dell PowerEdge 13th Generation Servers』、リリース バージョンNSS6.0-HA（2014年11月公開）。
  
•  「Dell HPC NFS Storage Solution - High Availability (NSS7.0-HA) Configuration」、リリース バージョンNSS7.0-HA（2016年5月公開）。

   

  メモ:カスタマイズされた構成/導入については、特定のガイドラインについてDell EMC担当者にお問い合わせください。