Skip to main content
  • Place orders quickly and easily
  • View orders and track your shipping status
  • Create and access a list of your products

NFS 儲存解決方案與最新的 Dell EMC 儲存 -- 效能結果

Summary: HPC 高效能運算, HPC 和人工智慧創新實驗室, HPC 儲存, HPC 儲存解決方案, NFS 儲存解決方案, XFS 儲存, NFS 儲存, 儲存解決方案, RHEL7, RHEL7.5, IB EDR 儲存, NSS, NSS-HA, NSS7.3, NSS7.3-HA, IOZone, MDTest

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.

Symptoms

作者:Mario Gallegos 和 Xin Chen,HPC 與 AI 創新實驗室,2018 年 10 月

Resolution

概觀

最新的 HPC NFS 儲存 (NSS) 高可用性 (NSS-HA 解決方案) 專用 Dell EMC Ready Solution 版本將為 NSS7.3-HA,並計畫在本月晚些時候推出。
此版本的 NSS 結合了全新 Dell EMC PowerVault ME4084 儲存陣列 和 Red Hat Enterprise Linux 7.5,並繼續使用 Intel Xeon 可擴充處理器系列 CPU (架構代號為 Skylake),提供比先前 NSS-HA 解決方案更高的整體系統效能。此博客介紹此最新版本的 NSS 解決方案的 I/O 性能測試結果。
圖 1 顯示了 NSS7.3-HA 配置的設計。NSS7.3-HA 與其上一代 NSS7.2-HA 的主要區別如下:
  • 後端儲存陣列:
    • NSS7.2-HA:PowerVault MD3460 + 選配的 MD3060e (60 或 120 個 HDD)
    • NSS7.3-HA:PowerVault ME4084 (84 顆硬碟)
  • 作業系統:
    • NSS7.2-HA:RHEL 7.4
    • NSS7.3-HA:Red Hat® Enterprise Linux® 7.5
除了必要的軟體和韌體更新等項目外,NSS7.2-HA 和 NSS7.3-HA 共用相同的 HA 叢集設計和基本儲存組態。(有關配置的更多詳細資訊,請參閱 NSS7.0-HA 白皮書
NSS7.2-HA 和 NSS7.3-HA 的另一個重大改善是最大容量大幅增加。雖然 NSS7.2-HA 受到 Red Hat XFS 目前 500 TB 的支援限制,但在我們實驗室進行大量測試和驗證後,Dell EMC 與 Red Hat 達成合作協議,支援 NSS7.3-HA 組態,可用空間最大可達 768 TB。這是裝滿 12 TB 硬碟或 1008 TB 原始儲存空間的 Dell EMC PowerVault ME4084。

戰國策高架構

圖 1 顯示了虛線矩形內的 NSS 7.3 架構,嵌入在包括用戶端和公共網路交換機在內的典型測試台中。

圖 1.NSS7.3-HA 1008 TB 光空間 (768 TB 可用) 架構和試驗台

SLN314595_en_US__1image(6997)


下表總結了新 NSS HA 7.3 解決方案的不同元件。
  

表 1.NSS7.2-HA 和 NSS7.3-HA 的元件
 

NSS7.2-HA 版本 (2018 年 4 月)
「PowerEdge 第 14 代伺服器和 MD3460 + MD3060e」

NSS7.3-HA 版本 (2018 年 10 月)
「PowerEdge 第 14 代伺服器和 ME4084 型解決方案」

軟體

Red Hat Enterprise Linux 7.4,
核心 3.10.0-693.el7.x86_64

Red Hat 可擴充檔案系統 (XFS) v4.5.0-12

Red Hat Enterprise Linux 7.5,
核心 3.10.0-862.el7.x86_64

Red Hat 可擴充檔案系統 (XFS) v4.5.0-15

NFS 伺服器

兩台 Dell PowerEdge R740 伺服器。
CPU:雙 Intel Xeon Gold 6136 @ 3.0 GHz,每顆處理器 12 個核心。
記憶體:12 條 16GiB 2666 MT/秒 RDIMM。

外部網路連線能力

EDR、InfiniBand、10 GbE 或 Intel Omni-Path。

在此部落格中,請參閱 Mellanox ConnectX-4 IB EDR/100 GbE。
對於訂單,CX-5 IB EDR/100 GbE。

內部連線能力

Gigabit 乙太網路, 交換器 Dell Networking S3048-ON

OFED 版本

Mellanox OFED 4.3-1.0.1.0

Mellanox OFED 4.4-1.0.0

直接儲存連線

12 Gbps SAS 連線。

儲存子系統

Dell EMC MD3460 + 選配的 MD3060e。

60 – 120 – 3.5“ NL SAS 4 TB 磁碟機。
兩種組態:240 或 480 TB (光空間)。
6 或 12 個 LUN,8+2 RAID 6,區段大小 512KiB
無備援

Dell EMC PowerVault ME4084。

84 個 3.5“ NL SAS 磁碟機,最大 12 TB。
一種組態:最大 1008 TB (原始空間)。
8 個 LUN,線性 8+2 RAID 6,區塊大小 128KiB。
4 個通用 HDD 備件。

 


全新 PowerVault ME4084 儲存裝置繼續使用線性 8+2 RAID 6 作為基本建置單元,並採用 128 KiB 的新區塊大小 (區段大小),並選取「stripe 大小」的預先讀取值,以獲得最佳效能。此外,由於我們現在有 84 個磁碟機,因此我們有 8 個以 RAID 6 為基礎的 LUN 和 4 個全域備援 HDD,可立即更換任何故障的磁碟。這表示此解決方案的可用空間最大可達 768 TB。

NSS7.3-HA I/O 效能

此部落格介紹目前 NSS-HA 解決方案 (即 NSS7.3) 的 I/O 效能測試結果。所有效能測試均在 HA 無故障情境中執行,以衡量解決方案的最大功能。測試側重於三種類型的 I/O 模式:大型順序讀取和寫入、小型隨機讀取和寫入以及三種元數據操作(檔案創建、統計和刪除)。
使用 32 節點的運算叢集來產生效能指標測試的工作負荷。用戶端和 1008 TB (原始儲存大小) NSS 組態使用 InfiniBand EDR 和透過 IPoIB 掛接的檔案系統進行連線。每個 I/O 基準測試都在一系列用戶端上運行,以測試解決方案的可伸縮性。下表列出了有關所用用戶端的詳細資訊。

表 2.用戶端組態 (效能測試)
伺服器機型 PowerEdge C6420
伺服器數量 32 個伺服器叢集
CPU Intel(R) Xeon(R) Gold 6148 CPU @ 2.40 GHz
RAM 192 GiB
作業系統 Red Hat Enterprise Linux Server 7.4 版
核心 3.10.0-693.17.1.el7.x86_64
網路卡 Mellanox ConnectX-4 VPI IB EDR/100 GbE 單埠 QSFP28
OFED 版本 MLNX_OFED-4.3.1.0.1.0

 


本研究使用 IOzone MDtest 效能指標。IOzone 用於順序和隨機測試。對於順序測試,使用的請求大小為 1024 KiB。傳輸的資料總量為 256 GiB,以確保 NFS 伺服器快取已飽和。隨機測試使用 4 KiB 要求大小,每個用戶端讀取和寫入 4 GiB 檔。中繼資料測試是使用 MDtest 效能指標與 OpenMPI 執行,並包含檔案建立、統計和移除作業。(有關測試中使用的完整命令,請參閱 NSS7.0-HA 白皮書 的附錄 A。

IPoIB 循序寫入和讀取

圖 2 和圖 3 顯示順序寫入和讀取效能。由於測試群集有 32 個節點,因此 64 個線程數據點是使用 32 個用戶端獲取的,每個用戶端運行 2 個線程。
對於 NSS7.3-HA,峰值讀取性能為 7 GB/秒,峰值寫入性能幾乎為 5 GB/秒。從這兩個數位可以明顯看出,目前的 NSS7.3-HA 解決方案的順序效能數字高於先前的版本。讀取性能提高了 18.7%,但寫入性能尤其好,性能是前一個解決方案的 2.65 倍(在 16 個線程時)。比較峰值性能值,NSS7.3-HA 上的寫入速度提高了 2.13 倍,讀取速度提高了
12.5%。這部分是由於所有 PowerVault ME4084 內部元件 (包括 HDD 的 PowerVault MD3460 為 6 Gbps) 的 SAS 內部速度較高,達到 12 Gbps,允許每個 LUN 更高的輸送量,同時也因為新的儲存控制器可以比上一代 PowerVault MD3 更快地處理資訊。

圖 2.IPoIB 大型循序寫入效能

SLN314595_en_US__2image(6989)

 

圖 3.IPoIB 大型循序讀取效能

SLN314595_en_US__3image(6990)

IPoIB 隨機寫入和讀取

圖 4 和圖 5 顯示了隨機寫入和讀取的性能。
從圖中可以看出,隨機寫入可在 32 個執行緒達到尖峰效能,而先前版本的解決方案則在 64 個執行緒達到尖峰效能。隨機讀取性能在 NSS7.3 上穩步提高,最多 32 個用戶端,對於以前的解決方案,峰值為 16 個用戶端。新儲存裝置再次展現出優於上一代的效能,寫入效能提升高達 3.44 倍 (2 個執行緒),讀取效能 (32 個執行緒) 較上一代高出 85%。比較峰值效能時,隨機寫入的差異約為 13%,隨機讀取的差異約為 85%。這些改善主要歸功於全新 PowerVault ME4084 控制器,相較於 PowerVault MD3460 控制器,其處理能力更快。

圖 4。IPoIB 隨機寫入效能

SLN314595_en_US__4image(6991)

圖 5。IPoIB 隨機讀取效能

SLN314595_en_US__5image(6992)
 

IPoIB 中繼資料作業

圖 6、圖 7 和圖 8 分別顯示了檔案創建、統計和刪除操作的結果。由於 HPC 計算群集只有 32 個計算節點,因此在下圖中,每個用戶端最多執行一個線程,用戶端計數最多為 32,線程計數為 64、128、256 和 512,每個用戶端同時執行 2、4、8 或 16 個操作(線程)。
對於文件創建,與以前的解決方案相比,新解決方案在 32 個用戶端上顯示出大約兩倍的性能持續改進,峰值差異 (208%),然後略有下降,但即使比較兩個解決方案在 256 個線程下的峰值性能,新解決方案的速度也快
了 30%。新存儲對 Stat 操作的改進最大,其改進程度高達 7.7 倍,為 256 個線程,與峰值性能相比,NSS7.3 顯示的每秒統計操作數幾乎是以前版本的 NSS 的 6 倍。
最後,刪除操作的改進相對較小,大多數數據點的性能比以前的解決方案高出 33%或更好;除了 128 個線程的性能提高了 2.21 倍。在尖峰效能時,新儲存裝置的效能比先前的 NSS 系統
高出近 55%。所有這些改善都歸功於使用 SAS3 速度 (12 Gbps) 的更快 HDD,以及能夠實現更高 IOPS 和頻寬的全新 PowerVault ME4084 控制器。

圖 6。IPoIB 檔案建立效能


SLN314595_en_US__6image(6993)

 

圖 7。IPoIB 檔案統計效能

 SLN314595_en_US__7image(6994)

 

圖 8。IPoIB 檔案移除效能

 SLN314595_en_US__8image(6995)

結論和未來工作

在解決方案的不同代次中,NSS-HA 解決方案經歷了許多硬體和軟體更新,以不斷提供高可用性、更高的性能和更大的儲存容量。在所有這些版本中,戰國策HA解決方案系列的核心架構設計保持不變。為了顯示 NSS7.3-HA 與先前版本 (NSS7.2-HA) 之間的效能差異,對比了兩種解決方案的效能數字,顯示基於 PowerVault ME4084 的最新解決方案版本之卓越效能: 

Affected Products

High Performance Computing Solution Resources, Dell EMC PowerVault ME4084
Article Properties
Article Number: 000133483
Article Type: Solution
Last Modified: 21 Feb 2021
Version:  3
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.