概觀

最新的 HPC NFS 儲存 （NSS） 高可用性 （NSS-HA 解決方案） 專用 Dell EMC Ready Solution 版本將為 NSS7.3-HA，並計畫在本月晚些時候推出。
此版本的 NSS 結合了全新 Dell EMC PowerVault ME4084 儲存陣列 和 Red Hat Enterprise Linux 7.5，並繼續使用 Intel Xeon 可擴充處理器系列 CPU （架構代號為 Skylake），提供比先前 NSS-HA 解決方案更高的整體系統效能。此博客介紹此最新版本的 NSS 解決方案的 I/O 性能測試結果。
圖 1 顯示了 NSS7.3-HA 配置的設計。NSS7.3-HA 與其上一代 NSS7.2-HA 的主要區別如下：

• 後端儲存陣列：
  • NSS7.2-HA：PowerVault MD3460 + 選配的 MD3060e （60 或 120 個 HDD）
  • NSS7.3-HA：PowerVault ME4084 （84 顆硬碟）
• 作業系統：
  • NSS7.2-HA：RHEL 7.4
  • NSS7.3-HA：Red Hat® Enterprise Linux® 7.5

除了必要的軟體和韌體更新等項目外，NSS7.2-HA 和 NSS7.3-HA 共用相同的 HA 叢集設計和基本儲存組態。（有關配置的更多詳細資訊，請參閱 NSS7.0-HA 白皮書 。
NSS7.2-HA 和 NSS7.3-HA 的另一個重大改善是最大容量大幅增加。雖然 NSS7.2-HA 受到 Red Hat XFS 目前 500 TB 的支援限制，但在我們實驗室進行大量測試和驗證後，Dell EMC 與 Red Hat 達成合作協議，支援 NSS7.3-HA 組態，可用空間最大可達 768 TB。這是裝滿 12 TB 硬碟或 1008 TB 原始儲存空間的 Dell EMC PowerVault ME4084。

戰國策高架構

圖 1 顯示了虛線矩形內的 NSS 7.3 架構，嵌入在包括用戶端和公共網路交換機在內的典型測試台中。

圖 1.NSS7.3-HA 1008 TB 光空間 （768 TB 可用） 架構和試驗台

下表總結了新 NSS HA 7.3 解決方案的不同元件。
  

表 1.NSS7.2-HA 和 NSS7.3-HA 的元件

	NSS7.2-HA 版本 （2018 年 4 月） 「PowerEdge 第 14 代伺服器和 MD3460 + MD3060e」	NSS7.3-HA 版本 （2018 年 10 月） 「PowerEdge 第 14 代伺服器和 ME4084 型解決方案」
軟體	Red Hat Enterprise Linux 7.4， 核心 3.10.0-693.el7.x86_64 Red Hat 可擴充檔案系統 （XFS） v4.5.0-12	Red Hat Enterprise Linux 7.5， 核心 3.10.0-862.el7.x86_64 Red Hat 可擴充檔案系統 （XFS） v4.5.0-15
NFS 伺服器	兩台 Dell PowerEdge R740 伺服器。 CPU：雙 Intel Xeon Gold 6136 @ 3.0 GHz，每顆處理器 12 個核心。 記憶體：12 條 16GiB 2666 MT/秒 RDIMM。
外部網路連線能力	EDR、InfiniBand、10 GbE 或 Intel Omni-Path。 在此部落格中，請參閱 Mellanox ConnectX-4 IB EDR/100 GbE。 對於訂單，CX-5 IB EDR/100 GbE。
內部連線能力	Gigabit 乙太網路， 交換器 Dell Networking S3048-ON
OFED 版本	Mellanox OFED 4.3-1.0.1.0	Mellanox OFED 4.4-1.0.0
直接儲存連線	12 Gbps SAS 連線。
儲存子系統	Dell EMC MD3460 + 選配的 MD3060e。 60 – 120 – 3.5“ NL SAS 4 TB 磁碟機。 兩種組態：240 或 480 TB （光空間）。 6 或 12 個 LUN，8+2 RAID 6，區段大小 512KiB 無備援	Dell EMC PowerVault ME4084。 84 個 3.5“ NL SAS 磁碟機，最大 12 TB。 一種組態：最大 1008 TB （原始空間）。 8 個 LUN，線性 8+2 RAID 6，區塊大小 128KiB。 4 個通用 HDD 備件。

 

全新 PowerVault ME4084 儲存裝置繼續使用線性 8+2 RAID 6 作為基本建置單元，並採用 128 KiB 的新區塊大小 （區段大小），並選取「stripe 大小」的預先讀取值，以獲得最佳效能。此外，由於我們現在有 84 個磁碟機，因此我們有 8 個以 RAID 6 為基礎的 LUN 和 4 個全域備援 HDD，可立即更換任何故障的磁碟。這表示此解決方案的可用空間最大可達 768 TB。

NSS7.3-HA I/O 效能

此部落格介紹目前 NSS-HA 解決方案 （即 NSS7.3） 的 I/O 效能測試結果。所有效能測試均在 HA 無故障情境中執行，以衡量解決方案的最大功能。測試側重於三種類型的 I/O 模式：大型順序讀取和寫入、小型隨機讀取和寫入以及三種元數據操作（檔案創建、統計和刪除）。
使用 32 節點的運算叢集來產生效能指標測試的工作負荷。用戶端和 1008 TB （原始儲存大小） NSS 組態使用 InfiniBand EDR 和透過 IPoIB 掛接的檔案系統進行連線。每個 I/O 基準測試都在一系列用戶端上運行，以測試解決方案的可伸縮性。下表列出了有關所用用戶端的詳細資訊。

表 2.用戶端組態 （效能測試）

伺服器機型	PowerEdge C6420
伺服器數量	32 個伺服器叢集
CPU	Intel（R） Xeon（R） Gold 6148 CPU @ 2.40 GHz
RAM	192 GiB
作業系統	Red Hat Enterprise Linux Server 7.4 版
核心	3.10.0-693.17.1.el7.x86_64
網路卡	Mellanox ConnectX-4 VPI IB EDR/100 GbE 單埠 QSFP28
OFED 版本	MLNX_OFED-4.3.1.0.1.0

 

本研究使用 IOzone 和 MDtest 效能指標。IOzone 用於順序和隨機測試。對於順序測試，使用的請求大小為 1024 KiB。傳輸的資料總量為 256 GiB，以確保 NFS 伺服器快取已飽和。隨機測試使用 4 KiB 要求大小，每個用戶端讀取和寫入 4 GiB 檔。中繼資料測試是使用 MDtest 效能指標與 OpenMPI 執行，並包含檔案建立、統計和移除作業。（有關測試中使用的完整命令，請參閱 NSS7.0-HA 白皮書 的附錄 A。

IPoIB 循序寫入和讀取

圖 2 和圖 3 顯示順序寫入和讀取效能。由於測試群集有 32 個節點，因此 64 個線程數據點是使用 32 個用戶端獲取的，每個用戶端運行 2 個線程。
對於 NSS7.3-HA，峰值讀取性能為 7 GB/秒，峰值寫入性能幾乎為 5 GB/秒。從這兩個數位可以明顯看出，目前的 NSS7.3-HA 解決方案的順序效能數字高於先前的版本。讀取性能提高了 18.7%，但寫入性能尤其好，性能是前一個解決方案的 2.65 倍（在 16 個線程時）。比較峰值性能值，NSS7.3-HA 上的寫入速度提高了 2.13 倍，讀取速度提高了
12.5%。這部分是由於所有 PowerVault ME4084 內部元件 （包括 HDD 的 PowerVault MD3460 為 6 Gbps） 的 SAS 內部速度較高，達到 12 Gbps，允許每個 LUN 更高的輸送量，同時也因為新的儲存控制器可以比上一代 PowerVault MD3 更快地處理資訊。

圖 2.IPoIB 大型循序寫入效能

 

圖 3.IPoIB 大型循序讀取效能

IPoIB 隨機寫入和讀取

圖 4 和圖 5 顯示了隨機寫入和讀取的性能。
從圖中可以看出，隨機寫入可在 32 個執行緒達到尖峰效能，而先前版本的解決方案則在 64 個執行緒達到尖峰效能。隨機讀取性能在 NSS7.3 上穩步提高，最多 32 個用戶端，對於以前的解決方案，峰值為 16 個用戶端。新儲存裝置再次展現出優於上一代的效能，寫入效能提升高達 3.44 倍 （2 個執行緒），讀取效能 （32 個執行緒） 較上一代高出 85%。比較峰值效能時，隨機寫入的差異約為 13%，隨機讀取的差異約為 85%。這些改善主要歸功於全新 PowerVault ME4084 控制器，相較於 PowerVault MD3460 控制器，其處理能力更快。

圖 4。IPoIB 隨機寫入效能

圖 5。IPoIB 隨機讀取效能

 

IPoIB 中繼資料作業

圖 6、圖 7 和圖 8 分別顯示了檔案創建、統計和刪除操作的結果。由於 HPC 計算群集只有 32 個計算節點，因此在下圖中，每個用戶端最多執行一個線程，用戶端計數最多為 32，線程計數為 64、128、256 和 512，每個用戶端同時執行 2、4、8 或 16 個操作（線程）。
對於文件創建，與以前的解決方案相比，新解決方案在 32 個用戶端上顯示出大約兩倍的性能持續改進，峰值差異 （208%），然後略有下降，但即使比較兩個解決方案在 256 個線程下的峰值性能，新解決方案的速度也快
了 30%。新存儲對 Stat 操作的改進最大，其改進程度高達 7.7 倍，為 256 個線程，與峰值性能相比，NSS7.3 顯示的每秒統計操作數幾乎是以前版本的 NSS 的 6 倍。
最後，刪除操作的改進相對較小，大多數數據點的性能比以前的解決方案高出 33%或更好;除了 128 個線程的性能提高了 2.21 倍。在尖峰效能時，新儲存裝置的效能比先前的 NSS 系統
高出近 55%。所有這些改善都歸功於使用 SAS3 速度 （12 Gbps） 的更快 HDD，以及能夠實現更高 IOPS 和頻寬的全新 PowerVault ME4084 控制器。

圖 6。IPoIB 檔案建立效能

 

 

 

圖 8。IPoIB 檔案移除效能

結論和未來工作

在解決方案的不同代次中，NSS-HA 解決方案經歷了許多硬體和軟體更新，以不斷提供高可用性、更高的性能和更大的儲存容量。在所有這些版本中，戰國策HA解決方案系列的核心架構設計保持不變。為了顯示 NSS7.3-HA 與先前版本 （NSS7.2-HA） 之間的效能差異，對比了兩種解決方案的效能數字，顯示基於 PowerVault ME4084 的最新解決方案版本之卓越效能： 

•  順序寫入速度可達 2.65 倍，讀取效能最高可提升 18.7%。
  
•  高達 3.44 倍的隨機寫入和高達 85% 的隨機讀取效能提升。
  
•  高達 2.1 倍的創建率、7.7 倍的統計率和 2.2 倍的刪除率。

  下一階段將介紹與英特爾 Omni-Path 適配器連接的 NSS7.3-HA 解決方案。有關戰國策高可用性解決方案的詳細資訊，請參閱我們發佈的白皮書：

•  Dell HPC NFS 儲存解決方案高可用性組態，版本 NSS2-HA，2011 年 4 月發佈。
  
•  Dell HPC NFS 儲存解決方案大容量的高可用性組態，版本 NSS3-HA，2012 年 2 月發佈。
  
•  Dell HPC NFS 儲存解決方案高可用性 （NSS-HA） 組態搭配 Dell PowerEdge 第 12 代伺服器，版本 NSS4-HA，2012 年 7 月發佈。
  
•  Dell HPC NFS 儲存解決方案 - 高可用性 （NSS-HA） 設定 Dell PowerVault MD3260/MD3060e 儲存陣列， 更新版本 NSS4.5-HA，於 2013 年 5 月發佈。
  
•  Dell HPC NFS 儲存解決方案 - 高可用性 NSS5-HA 組態，版本 NSS5.0-HA，2013 年 9 月發佈。
  
•  Dell HPC NFS 儲存解決方案 - 高可用性 （NSS5.5-HA） 組態搭配 Dell PowerVault MD3460 和 MD3060e 儲存陣列，版本 NSS5.5-HA，於 2013 年 9 月發佈。
  
•  Dell HPC NFS 儲存解決方案 - 高可用性 （NSS6.0-HA） Dell PowerEdge 第 13 代伺服器的組態，版本 NSS6.0-HA，2014 年 11 月發佈。
  
•  Dell HPC NFS 儲存解決方案 - 高可用性 （NSS7.0-HA） 組態，版本 NSS7.0-HA，2016 年 5 月發佈。

   

  注意：如需任何自訂組態/部署，請聯絡您的 Dell EMC 代表，以取得特定指導方針。