作者:Mario Gallegos 和 Xin Chen,HPC 和 AI 创新实验室,2018 年 10 月
图 1.NSS7.3-HA 1008 TB 原始空间(768 TB 可用空间) 体系结构和测试台
下表总结了新的 NSS HA 7.3 解决方案的不同组件。
NSS7.2-HA 版本(2018 年 4 月) |
NSS7.3-HA 版本(2018 年 10 月) |
|
软件 |
Red Hat Enterprise Linux 7.4, Red Hat 可扩展文件系统 (XFS) v4.5.0-12 |
Red Hat Enterprise Linux 7.5, Red Hat 可扩展文件系统 (XFS) v4.5.0-15 |
NFS 服务器 |
两台 Dell PowerEdge R740 服务器。 |
|
外部网络连接 |
EDR InfiniBand、10 GbE 或英特尔 Omni-Path。 |
|
内部连接 |
千兆以太网,交换机 Dell Networking S3048-ON |
|
OFED 版本 |
Mellanox OFED 4.3-1.0.1.0 |
Mellanox OFED 4.4-1.0.0 |
直接存储连接 |
12 Gbps SAS 连接。 |
|
存储子系统 |
Dell EMC MD3460 + 可选的 MD3060e。 60-120-3.5“ NL SAS 4 TB 驱动器。 |
Dell EMC PowerVault ME4084。 84 个 3.5“ NL SAS 驱动器,高达 12 TB。 |
新的 PowerVault ME4084 存储继续使用线性 8+2 RAID 6 作为基本构建单元,其中新的区块大小(分段大小)为 128 KiB,并选择预读值“条带大小”以获得最佳性能。此外,由于我们现在有 84 个驱动器,因此我们有 8 个基于 RAID 6 的 LUN 和 4 个全局备用 HDD,配置为立即更换任何故障磁盘。这意味着此解决方案可以具有高达 768 TB 的可用空间。
此博客介绍了当前 NSS-HA 解决方案(即 NSS7.3)的 I/O 性能测试结果。所有性能测试均在高可用性无故障场景中进行,以衡量解决方案的最大功能。测试侧重于三种类型的 I/O 模式:大型顺序读取和写入、小型随机读取和写入以及三种元数据作(文件创建、统计和删除)。
使用 32 节点计算群集为基准测试生成工作负载。客户端和 1008 TB(原始存储大小)NSS 配置使用 InfiniBand EDR 和通过 IPoIB 装载的文件系统进行连接。每个 I/O 基准测试都在一系列客户端上运行,以测试解决方案的可扩展性。下表列出了有关所用客户端的详细信息。
服务器型号 | PowerEdge C6420 |
服务器数量 | 32 服务器群集 |
CPU | 英特尔(R) 至强(R) Gold 6148 CPU @ 2.40 GHz |
RAM | 192 GiB |
操作系统 | Red Hat Enterprise Linux Server 发行版 7.4 |
内核 | 3.10.0-693.17.1.el7.x86_64 |
网络适配器 | Mellanox ConnectX-4 VPI IB EDR/100 GbE 单端口 QSFP28 |
OFED 版本 | MLNX_OFED-4.3.1.0.1.0 |
本研究使用了 IOzone 和 MDtest 基准。IOzone 用于顺序和随机测试。对于顺序测试,使用了 1024 KiB 的请求大小。传输的数据总量为 256 GiB,以确保 NFS 服务器高速缓存达到饱和。随机测试使用 4 KiB 请求大小,每个客户端读取和写入 4 GiB 文件。元数据测试使用带有 OpenMPI 的 MDtest 基准执行,包括文件创建、统计和删除作。(有关测试中使用的完整命令,请参阅 NSS7.0-HA 白皮书 的附录 A。
图 2.IPoIB 大顺序写入性能
图 3.IPoIB 大顺序读取性能
图 4.IPoIB 随机写入性能
图 5.IPoIB 随机读取性能
图 6.IPoIB 文件创建性能
图 8.IPoIB 文件删除性能
在解决方案的不同代次中,NSS-HA 解决方案进行了许多硬件和软件更新,以持续提供高可用性、更高的性能和更大的存储容量。在所有这些版本中,NSS-HA 解决方案系列的核心体系结构设计保持不变。为了显示 NSS7.3-HA 与上一版本 (NSS7.2-HA) 之间的性能差异,对两种解决方案的性能数据进行了对比,显示了基于 PowerVault ME4084 的最新版本解决方案的卓越性能:
下一阶段将表征与英特尔 Omni-Path 适配器连接的 NSS7.3-HA 解决方案。有关 NSS-HA 解决方案的详细信息,请参阅我们发布的白皮书: