Skip to main content
Sign Out

Welcome to Dell

My Account
  • Place orders quickly and easily
  • View orders and track your shipping status
  • Enjoy members-only rewards and discounts
  • Create and access a list of your products
  • Manage your Dell EMC sites, products, and product-level contacts using Company Administration.
Sign In Create an Account Dell Financial Services Premier Sign In Partner Program Sign In
Contact Us

Your Dell.com Carts

Article Number: 000133483

最新のDell EMCストレージを使用したNFSストレージ ソリューション -- パフォーマンス結果

Summary: HPCハイパフォーマンス コンピューティング, HPCおよびAIイノベーション ラボ, HPCストレージ, HPCストレージ ソリューション, NFSストレージ ソリューション, XFSストレージ, NFSストレージ, ストレージ ソリューション, RHEL7, RHEL7.5, IB EDRストレージ, NSS, NSS-HA, NSS7.3, NSS7.3-HA, IOZone, MDTest ...

This article may have been automatically translated. If you have any feedback regarding its quality, please let us know using the form at the bottom of this page.

Article Content

Symptoms

作成者:Mario Gallegos、Xin Chen共著、HPC and AI Innovation Lab、2018年10月

Resolution

概要

最新のDell EMC Ready Solution for HPC NFS Storage(NSS)with High Availability(NSS-HAソリューション)バージョンはNSS7.3-HAで、今月下旬にリリースされる予定です。
NSSのこのリリースには、新しい Dell EMC PowerVault ME4084ストレージ アレイとRed Hat Enterprise Linux 7.5が組み込まれています。また、引き続きインテルXeonスケーラブル・プロセッサー・ファミリーのCPU(アーキテクチャ・コードネームSkylake)を使用して、以前のNSS-HAソリューションよりも高いシステム全体のパフォーマンスを提供します。このブログでは、この最新バージョンのNSSソリューションのI/Oパフォーマンステストの結果を紹介します。
図1は、NSS7.3-HA構成の設計を示しています。NSS7.3-HAとその直前のNSS7.2-HAの主な違いは次のとおりです。
  • バック エンド ストレージ アレイ:
    • NSS7.2-HA: PowerVault MD3460 + オプションのMD3060e(HDD 60台または120台)
    • NSS7.3-HA: PowerVault ME4084(HDD 84台)
  • オペレーティングシステム:
    • NSS7.2-HA: RHEL 7.4
    • NSS7.3-HA: Red Hat® Enterprise Linux® 7.5
NSS7.2-HAとNSS7.3-HAは、必要なソフトウェアやファームウェアのアップデートなどを除き、同じHAクラスタ設計と基本的なストレージ構成を共有しています。(構成の詳細については、 NSS7.0-HAホワイトペーパー を参照してください。
NSS7.2-HAおよびNSS7.3-HAからのもう一つの大きな改善点は、最大容量の大幅な増加です。NSS7.2-HAは、Red Hat XFSの現在のサポート上限である500 TBに制限されていますが、Dell EMCとRed Hatは、当社のラボでの広範なテストと検証の後、最大768 TBの使用可能容量を持つNSS7.3-HA構成をサポートする協力契約を締結しました。これは、12 TB HDDまたは1008 TBのロー ストレージ スペースをフル装備したDell EMC PowerVault ME4084です。

NSS-HAアーキテクチャ

図1は、NSS 7.3のアーキテクチャを点線の長方形の中に示したもので、クライアントとパブリック・ネットワーク・スイッチを含む一般的なテスト・ベッドに組み込まれています。

図1NSS7.3-HA 1008 TBのロー・スペース(使用可能容量768 TB) アーキテクチャとテスト・ベッド

SLN314595_en_US__1image(6997)


次の表は、新しいNSS HA 7.3ソリューションのさまざまなコンポーネントをまとめたものです。
  

表1NSS7.2-HAおよびNSS7.3-HAのコンポーネント
 

NSS7.2-HAリリース(2018年4月)
「PowerEdge第14世代サーバーおよびMD3460 + MD3060e」

NSS7.3-HAリリース(2018年10月)
「PowerEdge第14世代サーバーおよびME4084ベースのソリューション」

ソフトウェア

Red Hat Enterprise Linux 7.4、
カーネル3.10.0-693.el7.x86_64

Red Hat Scalable File System(XFS)v4.5.0-12

Red Hat Enterprise Linux 7.5、
カーネル3.10.0-862.el7.x86_64

Red Hat Scalable File System(XFS)v4.5.0-15

NFSサーバー

2台のDell PowerEdge R740サーバー。
CPU：デュアル インテル Xeon Gold 6136 @ 3.0 GHz、プロセッサーあたり12コア。
メモリ：12 x 16GiB 2666 MT/s RDIMM。

外部ネットワーク接続

EDR InfiniBand、10 GbE、またはインテルOmni-Path。

このブログでは、Mellanox ConnectX-4 IB EDR/100 GbEです。
注文の場合、CX-5 IB EDR/100 GbE。

内部接続

ギガビットEthernet、スイッチ Dell Networking S3048-ON

OFEDのバージョン

Mellanox OFED 4.3-1.0.1.0

Mellanox OFED 4.4-1.0.0

Direct Storage接続

12 Gbps SAS接続。

ストレージ サブシステム

Dell EMC MD3460 + オプションのMD3060e。

60 – 120 – 3.5インチNL SAS 4 TBドライブ。
240 TBまたは480 TB(rawスペース)の2種類の構成。
6または12個のLUN、8+2 RAID 6、セグメント サイズ512KiB
、スペアなし

Dell EMC PowerVault ME4084。

84:3.5インチNL SASドライブ、最大12TB。
1つの構成で最大1008TB(raw容量)。
8 LUN、リニア8 + 2 RAID 6、チャンク サイズ128 KiB。
4 グローバルHDDスペア。

 


新しいPowerVault ME4084ストレージでは、基本構築ユニットとしてリニア8+2 RAID 6を引き続き使用します。新しいチャンク サイズ(セグメント サイズ)は128 KiBで、パフォーマンスを最適化するために先読み値として「ストライプ サイズ」が選択されています。また、現在84台のドライブがあるため、RAID 6に基づく8つのLUNと、障害が発生したディスクを直ちに交換するように構成された4台のグローバル スペアHDDがあります。つまり、このソリューションでは最大768 TBの使用可能容量を確保できます。

NSS7.3-HA I/Oパフォーマンス

このブログでは、現在のNSS-HAソリューション、つまりNSS7.3のI/Oパフォーマンステストの結果を紹介します。すべてのパフォーマンス テストは、ソリューションの最大機能を測定するために、HAの障害のないシナリオで実施されました。テストでは、大規模なシーケンシャルな読み取りと書き込み、小規模なランダム読み取りと書き込み、3つのメタデータ操作(ファイルの作成、統計、削除)の3種類のI/Oパターンに焦点を当てました。
ベンチマーク テスト用のワークロードを生成するために、32ノードのコンピューティング クラスターを使用しました。クライアントと1008 TB(ロー ストレージ サイズ)のNSS構成は、InfiniBand EDRを使用して接続し、ファイル システムはIPoIBを介してマウントしました。各I/Oベンチマーク テストは、ソリューションの拡張性をテストするために、さまざまなクライアントに対して実行されました。使用されるクライアントの詳細を次の表に示します。

表 2.クライアントの構成(パフォーマンス テスト)
サーバー モデル PowerEdge C6420
サーバーの数 32サーバー クラスター
CPU インテル(R) Xeon(R) Gold 6148 CPU @ 2.40 GHz
RAM 192 GiB
オペレーティングシステム Red Hat Enterprise Linux Serverリリース7.4
カーネル 3.10.0-693.17.1.el7.x86_64
ネットワークアダプタ Mellanox ConnectX-4 VPI IB EDR/100 GbEシングル ポートQSFP28
OFEDのバージョン MLNX_OFED-4.3.1.0.1.0

 


この調査では、 IOzone ベンチマークと MDtest ベンチマークを使用しました。IOzone は、シーケンシャル テストとランダム テストに使用されました。シーケンシャル テストでは、1024 KiB の要求サイズが使用されました。転送されたデータの合計量は256 GiBで、NFSサーバー キャッシュが飽和状態になるようにしました。ランダム テストでは、4 KiB の要求サイズを使用し、各クライアントは 4 GiB のファイルを読み書きしました。メタデータ テストは、OpenMPIで MDtest ベンチマークを使用して実行され、ファイルの作成、統計、削除操作が含まれていました。(テストで使用される完全なコマンドについては、 NSS7.0-HAホワイトペーパー の付録Aを参照してください。

IPoIBのシーケンシャルな書き込みと読み取り

図2と図3は、シーケンシャルな書き込みと読み取りのパフォーマンスを示しています。テスト クラスターには 32 個のノードがあったため、それぞれ 2 つのスレッドを実行している 32 個のクライアントを使用して、64 スレッドのデータ ポイントを取得しました。
NSS7.3-HAの場合、ピーク・リード・パフォーマンスは7 GB/秒、ピーク・ライト・パフォーマンスはほぼ5 GB/秒です。この2つの図から、現在のNSS7.3-HAソリューションは、以前のバージョンよりもシーケンシャル パフォーマンスの数値が高いことが分かります。読み取りパフォーマンスは最大18.7%向上しますが、ライト パフォーマンスは特に向上しており、以前のソリューションの最大2.65倍(16スレッド)のパフォーマンスになっています。ピーク性能値を比較すると、NSS7.3-HAでの書き込みは2.13倍、読み取りは12.5%向上しています。
これは、HDDを含むすべてのPowerVault ME4084内部コンポーネントのSAS内部速度が12 Gbpsに向上し(PowerVault MD3460は6 Gbps)、LUNあたりのスループットが向上したことが一因ですが、旧世代のPowerVault MD3よりも高速に情報を処理できる新しいストレージ コントローラーによっても挙げられます。

図2IPoIB 大規模シーケンシャル書き込みパフォーマンス

SLN314595_en_US__2image(6989)

 

図3IPoIB 大規模シーケンシャル読み取りパフォーマンス

SLN314595_en_US__3image(6990)

IPoIBランダム書き込みおよび読み取り

図4と図5は、ランダム書き込みおよび読み取り性能を示しています。
図からわかるように、ランダム書き込みは32スレッドでピーク パフォーマンスを達成しますが、以前のバージョンのソリューションではピークが64スレッドでした。ランダム読み取りパフォーマンスは、NSS7.3では最大32クライアントまで着実に向上し、以前のソリューションでは16クライアントでピークに達しました。繰り返しになりますが、この新しいストレージは、先行モデルよりも優れたパフォーマンスを示しており、前世代と比較して書き込みパフォーマンスが最大3.44倍(2スレッド)向上し、読み取りパフォーマンスが85%向上(32スレッド)しています。ピーク時のパフォーマンスを比較すると、ランダム書き込みで約13%、ランダム読み取りで約85%の差があります。これらの改善は主に、PowerVault MD3460コントローラーと比較して高速な処理能力を備えた新しいPowerVault ME4084コントローラーによるものです。

図4。IPoIBランダム書き込みパフォーマンス

SLN314595_en_US__4image(6991)

図5IPoIBランダム読み取りパフォーマンス

SLN314595_en_US__5image(6992)
 

IPoIBメタデータの操作

図6、図7、図8は、それぞれファイル作成、stat、および削除操作の結果を示しています。HPC コンピューティング クラスターには 32 個のコンピューティング ノードしかないため、次のグラフでは、各クライアントは最大 32 個のクライアント数に対して最大 1 個のスレッドを実行し、スレッド数が 64、128、256、および 512 個の場合、各クライアントは 2、4、8、または 16 個の同時操作 (スレッド) を実行しました。
ファイル作成の場合、以前のソリューションと比較すると、新しいソリューションでは、32クライアントでピーク時の差(208%)で約2倍のパフォーマンスの持続的な向上が見られ、その後わずかに低下しますが、256スレッドでの両ソリューションのピーク パフォーマンスを比較しても、新しいソリューションの方が30%高速です。
統計操作は新しいストレージで最も改善されており、改善は256スレッドで前世代の7.7倍と高く、ピークパフォーマンスを比較すると、NSS7.3は以前のバージョンのNSSよりも1秒あたりの統計操作数がほぼ6倍であることを示しています。
最後に、削除操作は比較的わずかに改善されており、ほとんどのデータポイントは以前のソリューションよりも33%以上のパフォーマンスを発揮しています。ただし、128スレッドではパフォーマンスが2.21倍向上しています。ピーク時のパフォーマンスでは、新しいストレージは以前のNSSシステムと比較して約55%高いパフォーマンスを達成します。
これらの改善はすべて、SAS3の速度(12 Gbps)を使用したより高速なHDDと、より高いIOPSと帯域幅が可能な新しいPowerVault ME4084コントローラーによるものです。

図6IPoIBのファイル作成パフォーマンス


SLN314595_en_US__6image(6993)

 

図7IPoIBのファイルstatパフォーマンス

 SLN314595_en_US__7image(6994)

 

図8IPoIBのファイル削除パフォーマンス

 SLN314595_en_US__8image(6995)

結論および今後の計画

NSS-HAソリューションは、さまざまな世代のソリューションで、高可用性、高パフォーマンス、大容量のストレージを継続的に提供するために、多くのハードウェアとソフトウェアの更新が行われてきました。これらのすべてのバージョンで、NSS-HAソリューション ファミリーのコア アーキテクチャ設計に変更はありません。NSS7.3-HAと以前のリリース(NSS7.2-HA)のパフォーマンスの違いを示すために、両方のソリューションのパフォーマンス数値を比較したところ、PowerVault ME4084に基づくソリューションの最新バージョンのソリューションの優れたパフォーマンスが示されました。 

Article Properties

Affected Product

High Performance Computing Solution Resources, Dell EMC PowerVault ME4084

Last Published Date

21 Feb 2021

Version

3

Article Type

Solution

Back to Top