适用于 HPC BeeGFS 存储的戴尔就绪型解决方案的可扩展性

如何在容量和/或性能方面扩展 Dell BeeGFS 高性能存储解决方案？

请参阅“解决方案”部分中的信息。

目录

1. 简介
2. 基本配置
3. BeeGFS 可用空间计算
4. 可扩展配置
5. 性能特征分析
6. 结论和未来的工作
    

---

简介

此博客讨论了最近发布的 适用于 HPC BeeGFS 存储的 Dell EMC 就绪型解决方案 的可扩展性。  BeeGFS 体系结构包含四个主要服务：管理服务、元数据服务、存储服务和客户端服务。可以在同一台服务器上运行这四个主要服务（包括所有服务）的任意组合，因为在 BeeGFS 中角色和硬件没有紧密集成。  在“超融合解决方案”中，所有四项服务都在同一台服务器上运行。对于性能关键型环境，不建议使用此配置，因为客户端应用程序通常会消耗可能会影响存储服务性能的资源。Dell EMC 解决方案使用专用存储服务器以及双用途元数据和存储服务器来提供高性能、可扩展的存储解决方案。可以通过向现有系统添加额外的存储服务器来扩展系统。在本博客中，我们将介绍具有不同数量的存储服务器的配置，以及这些配置可以预期的性能。

---

基本配置

BeeGFS 存储解决方案旨在提供高性能暂存文件系统，它使用以下硬件组件：

• Management Server
  • R640，双英特尔至强 Gold 5218 2.3 GHz，16 核，96 GB（12 个 8 GB 2666 MT/s RDIMM），6 个 15k RPM 300 GB SAS，H740P
• 元数据和存储服务器
  • R740xd，2 个英特尔至强白金级 8268 CPU，2.90 GHz，24 个核心，384 GB（12 个 32 GB 2933 MT/s RDIMM）
  • 在 RAID 1 中为操作系统配备 2 个 240 GB M.2 SATA SSD 的 BOSS 卡
  • 24 个，英特尔 1.6 TB，NVMe，混合使用 Express Flash，2.5 SFF 驱动器，软件 RAID

管理服务器运行 BeeGFS 监视服务。元数据服务器利用 NUMA 0 分区上的 12 个驱动器托管元数据目标 （MDT），而 NUMA 1 分区上的其余 12 个驱动器托管存储目标 （ST）。不使用专用元数据服务器，因为 BeeGFS 元数据的存储容量要求非常小。元数据和存储目标和服务隔离在单独的 NUMA 节点上，以便建立相当长的工作负载分离。配置中使用的存储服务器有三个存储服务，每个 NUMA 分区运行三个存储服务，每个服务器总共六个。有关更多详细信息，请参阅 公告博客。图 1 显示了在 Dell EMC HPC 和 AI 创新实验室中经过测试和验证的两种基本配置。

图 1：基本配置

小型配置包含三台 R740xd 服务器。它总共有 15 个存储目标。中型配置具有 6 个 R740xd 服务器，总共有 33 个存储目标。用户可以从“小型”配置或“中型”配置开始，并可以根据需要添加存储或元数据服务器，以分别增加存储空间和总体性能，或文件数量和元数据性能。表 1 显示了在 Dell EMC HPC 和 AI 创新实验室中经过广泛测试和验证的基本配置的性能数据。

表 1：基本配置的容量和性能详细信息

 

---

BeeGFS 可用空间计算

估算可用空间以 TiB（因为大多数工具显示二进制单元中的可用空间）使用以下公式计算：

BeeGFS 可用空间（以 TiB 为单位）= （0.99* 驱动器数* 大小（TB * ）（10^12/2^40）

在上述公式中，0.99 是假设文件系统存在 1% 开销的保守假设得出的因子。  对于达到用于存储的驱动器数量，还包括来自 MDS 的 12 个驱动器。这是因为在 MDS 中，NUMA 分区 0 中的 12 个驱动器用于元数据，而 NUMA 分区 1 中的 12 个驱动器用于存储。公式 10^12/2^40 中的最后一个因素是将可用空间从 TB 转换为 TiB。

---

可扩展配置

BeeGFS 高性能存储解决方案经过精心设计，非常灵活，可通过添加其他服务器轻松无缝地扩展性能和/或容量，如下所示：

表 2：扩展配置的容量和性能详细信息

 

---

性能特征分析

通过创建存储池测试各种配置的性能。小型配置有 15 个存储目标，每个额外的存储服务器额外增加了 6 个存储目标。为了测试各种配置的性能，创建了从 15 到 39 个存储目标的存储池（对于小型、小+1、小+2、中、中+1，增量为 6）。对于其中每个池，运行了三次 iozone 基准测试迭代，每个都具有 1 到 1024 个线程（以两个增量为单位）。采用的测试方法与 公告博客 中所述的方法相同。图 3 和图 4 分别显示了可扩展配置的写入和读取性能，并突出显示了每个配置的峰值性能，以便随时参考：



图 3：  可扩展配置


的写入性能图 4：  读取可扩展配置的

性能注意：

所引用的存储池仅用于明确描述不同配置的性能。  在对公告博客中详细描述的中型配置进行性能评估时，所有 33 个目标都仅位于“默认池”中。下面提供的 beegfs-ctl --liststoragepools 命令的输出显示了存储目标的分配：

# beegfs-ctl --liststoragepools
池 ID 池描述 目标伙伴组
======= ================== ============================ ============================
1 默认值 1、2、3、4、5、6、7、8、9、10、11、12，
                                                13、14、15、16、17、18、19、20、21、22、
23、24、25、26、27、28、29、30、
31、32、33  

---

结论和未来的工作

此博客讨论了适用于 HPC BeeGFS 存储的 Dell EMC 就绪型解决方案的可扩展性，并强调了各种配置的顺序读取和写入吞吐量的性能。敬请关注此博客系列的第 3 部分，该部分将讨论 BeeGFS 的其他功能，并重点介绍使用 BeeGFS 的内置存储目标基准“StorageBench”。作为后续步骤的一部分，我们稍后将发布一份白皮书，其中包含元数据性能、IOR N-1 性能评估以及有关设计注意事项、调整和配置的其他详细信息。 

参考材料

[1] 适用于 HPC BeeGFS 存储的 Dell EMC 就绪型解决方案：  
https://www.dell.com/support/article/sln319381/[2] BeeGFS 文档： 
https://www.beegfs.io/wiki/[3] 如何在同一子网上连接两个接口： 
https://access.redhat.com/solutions/30564[4] 使用外部内存的 PCI Express Direct 内存访问参考设计：https://www.intel.com/content/www/us/en/programmable/documentation/nik1412547570040.html#nik1412547565760