Skip to main content
  • Place orders quickly and easily
  • View orders and track your shipping status
  • Create and access a list of your products

Solución de almacenamiento NFS con el almacenamiento Dell EMC más reciente: resultados de rendimiento

Summary: Computación de alto rendimiento HPC, Laboratorio de innovación en HPC e IA, Almacenamiento HPC, Solución de almacenamiento HPC, Solución de almacenamiento NFS, Almacenamiento XFS, Almacenamiento NFS, Solución de almacenamiento, RHEL7, RHEL7.5, Almacenamiento IB EDR, NSS, NSS-HA, NSS7.3, NSS7.3-HA, IOZone, MDTest ...

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.

Symptoms

Autor: Mario Gallegos y Xin Chen, Laboratorio de innovación en HPC e IA, octubre de 2018

Resolution

Descripción general

La versión más reciente de Dell EMC Ready Solution para HPC NFS Storage (NSS) con alta disponibilidad (solución NSS-HA) será NSS7.3-HA, con lanzamiento programado para finales de este mes.
Esta versión de NSS incorpora los nuevos arreglos de almacenamiento Dell EMC PowerVault ME4084 y Red Hat Enterprise Linux 7.5, y continúa utilizando las CPU de la familia de procesadores escalables Intel Xeon (arquitectura con nombre en código Skylake) para ofrecer un mayor rendimiento general del sistema que las soluciones NSS-HA anteriores. En este blog, se presentan los resultados de las pruebas de rendimiento de I/O para esta versión más reciente de la solución NSS.
La Figura 1 muestra el diseño de la configuración de NSS7.3-HA. Las principales diferencias entre NSS7.3-HA y su predecesor inmediato, NSS7.2-HA son:
  • Arreglo de almacenamiento de back-end:
    • NSS7.2-HA: PowerVault MD3460 + MD3060e opcional (60 o 120 HDD)
    • NSS7.3-HA: PowerVault ME4084 (84 HDD)
  • Sistema operativo:
    • NSS7.2-HA: RHEL 7.4
    • NSS7.3-HA: Red Hat Enterprise Linux®® 7.5
A excepción de aquellos elementos como las actualizaciones de software y firmware necesarias, NSS7.2-HA y NSS7.3-HA comparten el mismo diseño de clúster de HA y la misma configuración básica de almacenamiento. (Consulte la documentación técnica NSS7.0-HA para obtener información más detallada sobre la configuración).
Otra mejora importante con respecto a NSS7.2-HA y NSS7.3-HA es el gran aumento en la capacidad máxima. Si bien NSS 7.2-HA está limitado por el límite de soporte actual de Red Hat XFS de 500 TB, después de extensas pruebas y validación en nuestros laboratorios, Dell EMC y Red Hat llegaron a un acuerdo de cooperación que admite configuraciones NSS 7.3-HA con hasta 768 TB de espacio útil. Es un Dell EMC PowerVault ME4084 completamente ocupado con HDD de 12 TB o 1008 TB de espacio de almacenamiento crudo.

Arquitectura de NSS-HA

La Figura 1 muestra la arquitectura NSS 7.3 dentro del rectángulo punteado, integrado en el banco de pruebas típico que incluye clientes y el switch de red pública.

Figura 1. Arquitectura NSS7.3-HA de 1008 TB de espacio bruto (768 TB útiles) y banco de pruebas

SLN314595_en_US__1image(6997)


En la siguiente tabla, se resumen los diferentes componentes de la nueva solución NSS HA 7.3.
  

Tabla 1. Componentes de NSS7.2-HA y NSS7.3-HA
 

Versión NSS7.2-HA (abril de 2018)
"Servidores PowerEdge de 14.ª generación y MD3460 + MD3060e"

Versión NSS7.3-HA (octubre del 2018)
"Servidor PowerEdge de 14.ª generación y solución basada en ME4084"

software

Red Hat Enterprise Linux 7.4,
kernel 3.10.0-693.el7.x86_64

Sistema de archivos escalable (XFS) de Red Hat v4.5.0-12

Red Hat Enterprise Linux 7.5,
kernel 3.10.0-862.el7.x86_64

Red Hat Scalable File System (XFS) v4.5.0-15

Servidores NFS

Dos servidores Dell PowerEdge R740.
CPU: Intel Xeon Gold 6136 doble @ 3.0 GHz, 12 núcleos por procesador.
Memoria: 12 RDIMM de 16 GiB y 2666 MT/s.

Conectividad de red externa

EDR InfiniBand, 10 GbE o Intel Omni-Path.

Para este blog, Mellanox ConnectX-4 IB EDR/100 GbE.
Para pedidos, CX-5 IB EDR/100 GbE.

Conectividad interna

Gigabit Ethernet, switch Dell Networking S3048-ON

Versión de OFED

Mellanox OFED 4.3-1.0.1.0

Mellanox OFED 4.4-1.0.0

Conexión directa de almacenamiento

Conexiones SAS de 12 Gbps.

Subsistema de almacenamiento

Dell EMC MD3460 + MD3060e opcional.

Unidades SAS NL de 4 TB de 60 a 120 unidades de 3,5 in.
Dos configuraciones, 240 o 480 TB (espacio crudo).
6 o 12 LUN, RAID 6 8+2, tamaño de segmento de 512 KiB
Sin repuestos

Dell EMC PowerVault ME4084.

84: discos SAS NL de 3,5", hasta 12 TB.
Una configuración: hasta 1008 TB (espacio sin procesar).
8 LUN, RAID 6 lineal 8+2, tamaño de fragmento de 128 KiB.
4 repuestos globales de HDD.

 


El nuevo almacenamiento PowerVault ME4084 continúa utilizando RAID 6 lineal 8+2 como la unidad de construcción básica con un nuevo tamaño de fragmento (tamaño de segmento) de 128 KiB y un valor de lectura anticipada de "tamaño de sección" seleccionado para un rendimiento óptimo. Además, dado que ahora tenemos 84 unidades, tenemos 8 LUN basados en RAID 6s y 4 HDD de repuesto globales configurados para reemplazar inmediatamente cualquier disco con fallas. Esto significa que esta solución puede tener hasta 768 TB de espacio útil.

Rendimiento de I/O de NSS7.3-HA

En este blog, se presentan los resultados de las pruebas de rendimiento de I/O para la solución NSS-HA actual, es decir, NSS7.3. Todas las pruebas de rendimiento se llevaron a cabo en un escenario sin fallas de alta disponibilidad para medir la funcionalidad máxima de la solución. Las pruebas se centraron en tres tipos de patrones de I/O: lecturas y escrituras secuenciales grandes, lecturas y escrituras aleatorias pequeñas y tres operaciones de metadatos (creación de archivos, estadísticas y eliminación).
Se utilizó un clúster de computación de 32 nodos a fin de generar la carga de trabajo para las pruebas de análisis comparativo. Los clientes y la configuración de NSS de 1008 TB (tamaño de almacenamiento crudo) se conectaron mediante InfiniBand EDR y el sistema de archivos se montó a través de IPoIB. Cada prueba de parámetro de referencia de I/O se ejecutó en un rango de clientes para probar la escalabilidad de la solución. Los detalles sobre los clientes utilizados se enumeran en la siguiente tabla.

Tabla 2. Configuración de clientes (pruebas de rendimiento)
Modelo de servidor PowerEdge C6420
Cantidad de servidores Clúster de 32 servidores
CPU Intel(R) Xeon(R) Gold 6148 CPU @ 2.40 GHz
RAM 192 GiB
Sistema operativo Red Hat Enterprise Linux Server, versión 7.4
Núcleo 3.10.0-693.17.1.el7.x86_64
Adaptador de red Mellanox ConnectX-4 VPI IB EDR/100 GbE de puerto único QSFP28
Versión de OFED MLNX_OFED-4.3.1.0.1.0

 


En este estudio se utilizaron los puntos de referencia IOzone y MDtest . IOzone se utilizó para las pruebas secuenciales y aleatorias. Para las pruebas secuenciales, se utilizó un tamaño de solicitud de 1024 KiB. La cantidad total de datos transferidos fue de 256 GiB para garantizar que la caché del servidor NFS estuviera saturada. Las pruebas aleatorias utilizaron un tamaño de solicitud de 4 KiB y cada cliente leyó y escribió un archivo de 4 GiB. Las pruebas de metadatos se realizaron mediante el parámetro de referencia MDtest con OpenMPI e incluyeron operaciones de creación, estadística y eliminación de archivos. (Consulte el Apéndice A de la documentación técnica de NSS7.0-HA para conocer todos los comandos utilizados en las pruebas).

Escrituras y lecturas secuenciales de IPoIB

En las figuras 2 y 3, se muestra el rendimiento de escritura y lectura secuencial. Dado que el clúster de prueba tenía 32 nodos, el punto de datos de 64 subprocesos se obtuvo mediante 32 clientes que ejecutaban 2 subprocesos cada uno.
Para NSS7.3-HA, el rendimiento máximo de lectura es de 7 GB/s y el rendimiento máximo de escritura es de casi 5 GB/s. A partir de las dos cifras, es obvio que la solución NSS7.3-HA actual tiene números de rendimiento secuencial más altos que la versión anterior. Las lecturas son hasta un 18,7 % mejores, pero el rendimiento de escritura es especialmente mejor, con hasta 2,65 veces (con 16 subprocesos) el rendimiento de la solución anterior. Al comparar los valores de rendimiento máximo, las escrituras en NSS7.3-HA son 2,13 veces más rápidas y las lecturas son un 12,5 % mejores.
Esto se debe en parte a la mayor velocidad interna de SAS de 12 Gbps para todos los componentes internos de PowerVault ME4084, incluidos los HDD (PowerVault MD3460 era de 6 Gbps), lo que permite un mayor rendimiento por LUN, pero también a las nuevas controladoras de almacenamiento que pueden procesar la información más rápido que la generación anterior de PowerVault MD3.

Figura 2. Rendimiento de escritura secuencial grande de IPoIB

SLN314595_en_US__2image(6989)

 

Figura 3. Rendimiento de lectura secuencial grande de IPoIB

SLN314595_en_US__3image(6990)

Escrituras y lecturas aleatorias de IPoIB

En la figura 4 y la figura 5, se muestra el rendimiento de escritura y lectura aleatorias.
En la figura, la escritura aleatoria alcanza un rendimiento máximo de 32 subprocesos, mientras que la versión anterior de la solución alcanzó un máximo de 64 subprocesos. El rendimiento de lectura aleatoria aumenta constantemente en NSS7.3 hasta 32 clientes y para la solución anterior el pico fue de 16 clientes. Una vez más, el nuevo almacenamiento muestra su rendimiento superior sobre su predecesor, con una mejora de hasta 3,44 veces en las escrituras (con 2 subprocesos) y un 85 % más de rendimiento de lectura (con 32 subprocesos) que su predecesor. Si se comparan los rendimientos máximos, la diferencia es de aproximadamente un 13 % en escrituras aleatorias y un 85 % en lecturas aleatorias. Estas mejoras se deben principalmente a las nuevas controladoras PowerVault ME4084 que tienen funcionalidades de procesamiento más rápidas en comparación con las controladoras PowerVault MD3460.

Figura 4. Rendimiento de escritura aleatoria de IPoIB

SLN314595_en_US__4image(6991)

Figura 5. Rendimiento de lectura aleatoria de IPoIB

SLN314595_en_US__5image(6992)
 

Operaciones de metadatos de IPoIB

En la figura 6, la figura 7 y la figura 8, se muestran los resultados de las operaciones de creación, estadística y eliminación de archivos, respectivamente. Dado que el clúster de computación de HPC tiene solo 32 nodos de computación, en los gráficos que aparecen a continuación, cada cliente ejecutó un máximo de un subproceso para los conteos de clientes hasta 32, y para los conteos de subprocesos de 64, 128, 256 y 512, cada cliente ejecutó 2, 4, 8 o 16 operaciones simultáneas (subprocesos).
Para la creación de archivos, en comparación con la solución anterior, la nueva solución muestra una mejora sostenida de aproximadamente el doble del rendimiento con una diferencia máxima (208 %) en 32 clientes, luego disminuye ligeramente, pero incluso si se compara el rendimiento máximo de ambas soluciones con 256 subprocesos, la nueva solución es un 30 % más rápida.
Las operaciones de estadísticas son las más mejoradas por el nuevo almacenamiento, donde las mejoras son hasta 7,7 veces superiores a las de su predecesor con 256 subprocesos y, en comparación con los rendimientos máximos, NSS7.3 muestra casi 6 veces el número de operaciones de estadísticas por segundo que la versión anterior de NSS.
Por último, las operaciones de eliminación tienen comparativamente una mejora marginal con la mayoría de los puntos de datos con un rendimiento del 33 % o mejor que la solución anterior; excepto para 128 hilos donde el rendimiento es 2,21 veces mejor. Con el máximo rendimiento, el nuevo almacenamiento alcanza casi un 55 % más de rendimiento en comparación con el sistema NSS anterior.
Todas estas mejoras se deben a discos duros más rápidos que utilizan velocidades SAS3 (12 Gbps) en general, así como a las nuevas controladoras PowerVault ME4084, capaces de mayores IOPS y ancho de banda.

Figura 6. Rendimiento de creación de archivos IPoIB


SLN314595_en_US__6image(6993)

 

Figura 7. Rendimiento de estadísticas de archivos IPoIB

 SLN314595_en_US__7image(6994)

 

Figura 8. Rendimiento de eliminación de archivos IPoIB

 SLN314595_en_US__8image(6995)

Conclusiones y trabajo a futuro

A lo largo de las diferentes generaciones de la solución, la solución NSS-HA ha pasado por muchas actualizaciones de hardware y software para ofrecer continuamente alta disponibilidad, mayor rendimiento y mayor capacidad de almacenamiento. En todas estas versiones, el diseño arquitectónico central de la familia de soluciones NSS-HA se ha mantenido sin cambios. Con el fin de mostrar la diferencia de rendimiento entre NSS7.3-HA y la versión anterior (NSS7.2-HA), se compararon las cifras de rendimiento de ambas soluciones, lo que muestra el rendimiento superior de la última versión de la solución basada en PowerVault ME4084: 

Affected Products

High Performance Computing Solution Resources, Dell EMC PowerVault ME4084
Article Properties
Article Number: 000133483
Article Type: Solution
Last Modified: 21 Feb 2021
Version:  3
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.