适用于 HPC Lustre 存储的戴尔就绪型解决方案：级联湖更新

无

通过此博客，我们宣布推出搭载 Cascade Lake 处理器的 Dell Ready Solution for Lustre。在本博客中，我们介绍了 Lustre 解决方案的更新技术规格、更新后的解决方案的初始性能结果，以及当前结果与之前结果之间的比较。  我们使用表 1 中提供的带有 EDR 互连的新更新配置了解决方案堆栈，验证了安装是否按预期工作，并运行了性能检查。

大底座配置的体系结构图如下图 1 所示。
请注意，服务器和存储型号与之前显示的相同。表 1 中仅显示新更新。 

图 1：  适用于 HPC Lustre 存储的戴尔就绪型解决方案：L 基本配置的体系结构图

表 1：  更新了 Ready Solution for Lustre 的技术规格，并与上一版本进行了快速比较

硬件/软件组件	当前	上一个
OSS 和 MDSObject 存储服务器 （ OSS） 和元数据服务器 （ MDS） 中的处理器	2 个英特尔至强™ Gold 6230 CPU，每个 OSS/MDS 有 20 个核心，2.10 GHz	2 个英特尔至强™ Gold 6136,12 核，3.00 GHz
用于 Lustre （ IML） 服务器的集成管理器中的处理器	2 个英特尔至强 Gold 5218,16 核，2.3 GHz	2 个英特尔至强 Gold 5118,12 核，2.3 GHz
OSS 和 MDS 中的内存 DIMM	12 个 32 GiB 2933 MT/s DDR4 RDIMM	24 个 16 GiB 2666 MT/s DDR4 RDIMM
IML 服务器中的内存 DIMM	12 个 8 GiB 2666 MT/s DDR4 RDIMM	12 个 8 GB 2666 MT/s DDR4 RDIMM
BIOS	2.1.8 或更高版本	1.4.5 或更高版本
操作系统内核	3.10.0-957.1.3	3.10.0-862
Lustre 版本	2.10.7	2.10.4
IML 版本	4.0.10.0	4.0.7.0
Mellanox OFED 版本	4.5-1.0.1.0	4.4-1

 

性能结果

我们配置了表 1 中列出的更新就绪型解决方案，并运行了 IOzone 顺序、IOzone 随机和 MDtest 基准测试的性能检查，以验证更新后的解决方案的性能。包括所有测试的基准测试命令在内的测试方法与之前使用和描述的方法完全相同。

对于所有测试，我们使用客户端测试台，如下表 2 所述
 

表 2：  客户端测试台

 

客户端节点数	8
客户端节点	C6420
每个客户端节点的处理器数	2 个英特尔至强 （R） 金牌 6248,20 核，2.50 GHz
每个客户端节点的内存	12 x 16GiB 2933 MT/s RDIMM
BIOS	2.2.6
操作系统内核	3.10.0-957.10.1
Lustre 版本	2.10.7
Mellanox OFED	4.5-1.0.1.0

 

连续 IOzone 性能 

我们使用表 2 中列出的客户端运行顺序 IOzone 版本 3.487。我们运行了从单线程到多达 256 个线程的测试，每个客户端的多个线程超过 8 个线程。根据测试方法，测试的聚合数据大小为 2 TB。  对于小于 32 个线程的较低线程数，使用了 32 个 Lustre 条带计数，对于大于 32 的线程计数，Lustre 条带计数设置为 1。  正如之前的博客中所述，缓存效果得到了最小化。

下面列出了用于此测试的 Lustre 客户端调整参数 

lctl set_param osc.*.checksums=0
lctl set_param超时=600
lctl set_param at_min=250
lctl set_param at_max=600
lctl set_param ldlm.namespaces.*.lru_size=2000
lctl set_param osc.*OST*.max_rpcs_in_flight=16
lctl set_param osc.*OST*.max_dirty_mb=1024
lctl set_param osc.*.max_pages_per_rpc=1024
lctl set_param llite.*.max_read_ahead_mb=1024
lctl set_param llite.*.max_read_ahead_per_file_mb=1024

图 2：顺序 N-N 写入。使用 Cascade Lake Lustre 服务器和客户



端比较之前的结果与当前结果图 3：顺序 N-N 读取。使用 Cascade Lake Lustre 服务器和客户

端比较之前的结果与当前结果图 2 和图 3 展示了基于 Cascade Lake 的最新解决方案的 IOzone 顺序读取和写入性能，并将这些结果与以前的基于 Skylake 的解决方案进行比较。与之前的结果相比，我们看到基于 Cascade Lake 的客户端和 Lustre 服务器的顺序读取和写入性能有所提高，线程数低于 32 个线程。我们可以注意，顺序写入的性能提升高达 2 倍以上，并且读取线程数低于 32 个线程。我们相信，这种性能增量可以归因于 Cascade Lake 处理器（参考链路）中包含的边通道利用的硬件缓解措施。但是，其他影响因素也可能是新解决方案中更快的内存以及更新的软件版本。  

还可以注意，线程数量较高的顺序性能与以前的解决方案非常相似。这是因为在解决方案以后端存储控制器的全部潜能运行后，Cascade Lake 处理器中的增强功能不会提高性能。

随机 IOzone 性能 

我们使用表 2 中列出的客户端运行随机 IOzone 版本 3.487。并运行了 16、64 和 256 线程的性能检查。与以前的测试方法类似，聚合数据大小为 2 TB，条带大小设置为 4 MB。正如之前的博客中所述，缓存效果得到了最小化。

下面列出了用于此测试的 Lustre 客户端调整参数   

lctl set_param osc.*OST*.max_rpcs_in_flight=256
lctl set_param osc.*.max_pages_per_rpc=1024

图 4：IOzone 随机 N-N 读取。以前的结果与使用 Cascade Lake Lustre 服务器和客户

端的当前结果进行比较图 4 绘制随机 I/O 测试的结果。通过比较之前和当前的结果，我们看到趋势保持不变，并且观察到的性能增量在运行变化时在统计上并不显著。

元数据 MDtest 性能

MDTest 工具版本 1.9.3 用于评估系统的元数据性能。使用的 MPI 分布是 Intel MPI。测试使用具有 2 个 MDT 和目录条带化的 DNE 运行。测试方法、使用的命令以及创建的文件和目录的数量与之前博客中所述的内容完全相同。 

图 5：   使用 MDtest 执行元数据操作。   使用 Cascade Lake Lustre 服务器和客户

端比较之前的结果与当前结果图 5 显示了元数据测试的结果。将当前结果与之前的结果进行比较时，我们看到所有三个元数据操作的趋势保持不变。我们可以注意到，峰值文件创建操作提高了 75.4%，峰值文件删除操作减少了 18%，文件统计操作的性能增量可忽略不切。   我们可能会将性能增量归因于解决方案堆栈上的软件和硬件更新，如 表 1 所示。
 

结论

我们已经验证并验证了有关配置、安装和性能的 Lustre 就绪型解决方案的更新。此外，此博客中还包含了已收集的性能数据。

将之前的结果与基于 Cascade Lake 的 Lustre 服务器和客户

端的当前结果进行比较 1） 顺序 IO：我们发现，连续写入和顺序读取的线程数低于 32 个线程，性能提升高达 2 倍以上。峰值性能与以前的基于 Skylake 的解决方案类似。
2） 随机 IO：我们可以看到读取和写入性能有非常相似的趋势，考虑到运行变体，性能增量在统计上并不显著。
3） 元数据性能测试：  我们看到文件创建操作在峰值时提高了多达 75.4%。文件统计信息操作与之前观察到的结果非常接近，性能增量可忽略不清。我们看到文件删除操作在峰值时减少了约 18%，而文件删除操作的一般趋势保持不变，在其他线程数上，增量可忽略不计。  

参考材料

1） IOzone 基准测试
2） Mdtest 基准测试