適用於 HPC BeeGFS 儲存裝置的 Dell 就緒解決方案擴充能力

如何根據容量或效能或兩者來擴充 Dell BeeGFS 高效能儲存解決方案？

請參閱「解決方法」一節中的資訊。

目錄

1. 簡介
2. 基本組態
3. BeeGFS 可用空間計算
4. 可擴充組態
5. 效能特性
6. 結論和未來工作
    

---

簡介

此部落格探討最近宣佈的 HPC BeeGFS 儲存裝置適用的 Dell EMC 就緒解決方案 擴充能力。  BeeGFS 架構包含四個主要服務，即管理服務、元數據服務、儲存服務和客戶端服務。這四個主要服務 （包括全部） 都可以在同一部伺服器上執行任何組合，因為在 BeeGFS 的情況下，角色和硬體並未緊密整合。  在「超融合解決方案」中，四項服務皆在同一部伺服器上執行。對於效能關鍵環境，不建議使用此組態，因為用戶端應用程式通常會使用可能影響儲存服務效能的資源。Dell EMC 解決方案使用專用儲存伺服器和雙用途元數據和儲存伺服器，提供高效能、可擴充的儲存解決方案。可透過在現有系統新增額外的儲存伺服器來擴充系統。在此部落格中，我們將提供不同數量的儲存伺服器組態，以及這些組態預期的效能。

---

基本組態

BeeGFS 儲存解決方案旨在提供高效能刮傷文件系統，並使用下列硬體元件：

• 管理伺服器
  • R640，雙 Intel Xeon 黃金級 5218 2.3GHz，16 核心，96 GB （12 條 8 GB 2666 MT/秒 RDIMM），6 條 15k RPM 300GB SAS，H740P
• 元數據和儲存伺服器
  • R740xd，2 個 Intel Xeon 白金級 8268 CPU @2.90 GHz，24 核心，384 GB （12 條 32 GB 2933 MT/秒 RDIMM）
  • 適用於操作系統的 RAID 1 中有 2 張 240GB M.2 SATA SSD 的 BOSS 卡
  • 24x，Intel 1.6TB，NVMe，混合使用 Express Flash，2.5 SFF 磁碟驅動器，軟體 RAID

管理伺服器會執行 BeeGFS 監控服務。元數據伺服器使用 NUMA 0 區域上的 12 個磁碟驅動器來代管 MetaData Target （MDTs），而在 NUMA 1 區域中，其餘 12 個磁碟驅動器則代管儲存目標 （STs）。由於 BeeGFS 元數據的儲存容量需求非常小，因此不會使用專用元數據伺服器。元數據和儲存裝置目標和服務在個別的 NUMA 節點上受到隔離，因此可以建立大量的工作負載區隔。組態中使用的儲存伺服器有三個每個NUMA區域執行的儲存服務，每部伺服器總共有六個儲存服務。如需詳細資訊，請參閱 公告部落格。圖 1 顯示在 Dell EMC HPC 和 AI 創新實驗室中經過測試和驗證的兩個基本組態。

圖 1：基本組態

小型組態包含三個 R740xd 伺服器。它總共有 15 個儲存目標。中型組態有 6 個 R740xd 伺服器，總共有 33 個儲存目標。用戶可以從「小型」組態或「中型」組態開始，並可視需要新增儲存裝置或元數據伺服器，以分別增加儲存空間和整體效能，或檔案數量和元數據效能。表 1 顯示在 Dell EMC HPC 和 AI 創新實驗室中經過廣泛測試和驗證的基本組態的效能數據。

表 1：基本組態的容量和效能詳細數據

 

---

BeeGFS 可用空間計算

估算可用空間會在 TiB 中計算 （因為大多數工具都顯示二進位單元中的可用空間），使用下列公式：

BeeGFS TiB= 中的可用空間 （0.99* 磁碟驅動器數量* 大小 （TB） * （10^12/2^40）

在上述的公式中，0.99 是以保守方式假設文件系統需要負擔 1% 的額外費用所產生的因素。  若要送達儲存裝置的磁碟驅動器數量，亦包含12個來自MDS的磁碟驅動器。這是因為在 MDS 中，NUMA zone 0 中的 12 個磁碟驅動器用於元數據，而 NUMA 區域 1 中的 12 個磁碟驅動器則用於儲存。公式 10^12/2^40 中的最後一個因素是將可用空間從 TB 轉換為 TiB。

---

可擴充組態

BeeGFS 高效能儲存解決方案的設計具有彈性，可透過新增其他伺服器（如下所示） 輕鬆且順暢擴充效能和/或容量：

表 2：擴充組態的容量和效能詳細數據

 

---

效能特性

透過建立儲存集區來測試各種組態的效能。小型組態有 15 個儲存目標，而每一個額外的儲存伺服器額外新增六個儲存目標。因此，為了測試各種組態的效能，儲存集區從15個儲存目標建立到39個儲存目標 （小型、小型+1、小型+2、中型、中等+1的儲存集區增加六個）。針對這些集區，每一個集區會執行三個 i 支架效能指標反覆運算，每一個線程為 1 至 1024 個線程 （以兩個增量為單位）。採用的測試方法與 公告部落格 中所述的方法相同。圖 3 和 4 分別顯示可擴充組態的寫入和讀取效能，每個組態的尖峰效能都會反白顯示以供參考：



圖 3：  寫入可擴充組態的效能


圖 4：  閱讀可擴充組態的效能

注意事項：

所提及的儲存集區建立的明確目的，是將不同組態的效能定性。  對公告部落格中詳述的中型組態進行效能評估時，所有 33 個目標都僅位於「預設集區」中。下方提供的 beegfs-ctl --listtoragepools 命令輸出顯示儲存裝置目標的指派：

# beegfs-ctl --listtoragepools Pools
ID Pool Description Target 一群組
======= ================== ============================ ============================ 1 預設 1、
2、3、4、5、6、7、8、9、10、11、12、
                                                13、14、15、16、17、18、19、20、21、22、
23、24、25、26、27、28、29、30、
31、32、33  

---

結論和未來工作

此部落格探討適用於 HPC BeeGFS 儲存裝置的 Dell EMC 就緒解決方案的擴充能力，並著重強調各種組態的連續讀取和寫入輸送量效能。請持續收聽本部落格系列第 3 部分的調校，討論 BeeGFS 的其他功能，並將重點介紹使用 BeeGFS 的內建儲存目標基準「StorageBench」。接下來的步驟是發佈白皮書，內容包括元數據效能、IOR N-1 效能評估，以及有關設計考慮、調整和組態的其他詳細數據。 

參考資料

[1] 適用於 HPC BeeGFS 儲存裝置的 Dell EMC 就緒解決方案：  
https://www.dell.com/support/article/sln319381/[2] BeeGFS 說明檔： 
https://www.beegfs.io/wiki/[3] 如何在同一子網上連接兩個介面： 
https://access.redhat.com/solutions/30564[4] 使用外接式記憶體的 PCI Express Direct Memory Access 參考設計：https://www.intel.com/content/www/us/en/programmable/documentation/nik1412547570040.html#nik1412547565760