Descripción general

La versión más reciente de Dell EMC Ready Solution para HPC NFS Storage (NSS) con alta disponibilidad (solución NSS-HA) será NSS7.3-HA, con lanzamiento programado para finales de este mes.
Esta versión de NSS incorpora los nuevos arreglos de almacenamiento Dell EMC PowerVault ME4084 y Red Hat Enterprise Linux 7.5, y continúa utilizando las CPU de la familia de procesadores escalables Intel Xeon (arquitectura con nombre en código Skylake) para ofrecer un mayor rendimiento general del sistema que las soluciones NSS-HA anteriores. En este blog, se presentan los resultados de las pruebas de rendimiento de I/O para esta versión más reciente de la solución NSS.
La Figura 1 muestra el diseño de la configuración de NSS7.3-HA. Las principales diferencias entre NSS7.3-HA y su predecesor inmediato, NSS7.2-HA son:

• Arreglo de almacenamiento de back-end:
  • NSS7.2-HA: PowerVault MD3460 + MD3060e opcional (60 o 120 HDD)
  • NSS7.3-HA: PowerVault ME4084 (84 HDD)
• Sistema operativo:
  • NSS7.2-HA: RHEL 7.4
  • NSS7.3-HA: Red Hat Enterprise Linux®® 7.5

A excepción de aquellos elementos como las actualizaciones de software y firmware necesarias, NSS7.2-HA y NSS7.3-HA comparten el mismo diseño de clúster de HA y la misma configuración básica de almacenamiento. (Consulte la documentación técnica NSS7.0-HA para obtener información más detallada sobre la configuración).
Otra mejora importante con respecto a NSS7.2-HA y NSS7.3-HA es el gran aumento en la capacidad máxima. Si bien NSS 7.2-HA está limitado por el límite de soporte actual de Red Hat XFS de 500 TB, después de extensas pruebas y validación en nuestros laboratorios, Dell EMC y Red Hat llegaron a un acuerdo de cooperación que admite configuraciones NSS 7.3-HA con hasta 768 TB de espacio útil. Es un Dell EMC PowerVault ME4084 completamente ocupado con HDD de 12 TB o 1008 TB de espacio de almacenamiento crudo.

Arquitectura de NSS-HA

La Figura 1 muestra la arquitectura NSS 7.3 dentro del rectángulo punteado, integrado en el banco de pruebas típico que incluye clientes y el switch de red pública.

Figura 1. Arquitectura NSS7.3-HA de 1008 TB de espacio bruto (768 TB útiles) y banco de pruebas

En la siguiente tabla, se resumen los diferentes componentes de la nueva solución NSS HA 7.3.
  

Tabla 1. Componentes de NSS7.2-HA y NSS7.3-HA

	Versión NSS7.2-HA (abril de 2018) "Servidores PowerEdge de 14.ª generación y MD3460 + MD3060e"	Versión NSS7.3-HA (octubre del 2018) "Servidor PowerEdge de 14.ª generación y solución basada en ME4084"
software	Red Hat Enterprise Linux 7.4, kernel 3.10.0-693.el7.x86_64 Sistema de archivos escalable (XFS) de Red Hat v4.5.0-12	Red Hat Enterprise Linux 7.5, kernel 3.10.0-862.el7.x86_64 Red Hat Scalable File System (XFS) v4.5.0-15
Servidores NFS	Dos servidores Dell PowerEdge R740. CPU: Intel Xeon Gold 6136 doble @ 3.0 GHz, 12 núcleos por procesador. Memoria: 12 RDIMM de 16 GiB y 2666 MT/s.
Conectividad de red externa	EDR InfiniBand, 10 GbE o Intel Omni-Path. Para este blog, Mellanox ConnectX-4 IB EDR/100 GbE. Para pedidos, CX-5 IB EDR/100 GbE.
Conectividad interna	Gigabit Ethernet, switch Dell Networking S3048-ON
Versión de OFED	Mellanox OFED 4.3-1.0.1.0	Mellanox OFED 4.4-1.0.0
Conexión directa de almacenamiento	Conexiones SAS de 12 Gbps.
Subsistema de almacenamiento	Dell EMC MD3460 + MD3060e opcional. Unidades SAS NL de 4 TB de 60 a 120 unidades de 3,5 in. Dos configuraciones, 240 o 480 TB (espacio crudo). 6 o 12 LUN, RAID 6 8+2, tamaño de segmento de 512 KiB Sin repuestos	Dell EMC PowerVault ME4084. 84: discos SAS NL de 3,5", hasta 12 TB. Una configuración: hasta 1008 TB (espacio sin procesar). 8 LUN, RAID 6 lineal 8+2, tamaño de fragmento de 128 KiB. 4 repuestos globales de HDD.

 

El nuevo almacenamiento PowerVault ME4084 continúa utilizando RAID 6 lineal 8+2 como la unidad de construcción básica con un nuevo tamaño de fragmento (tamaño de segmento) de 128 KiB y un valor de lectura anticipada de "tamaño de sección" seleccionado para un rendimiento óptimo. Además, dado que ahora tenemos 84 unidades, tenemos 8 LUN basados en RAID 6s y 4 HDD de repuesto globales configurados para reemplazar inmediatamente cualquier disco con fallas. Esto significa que esta solución puede tener hasta 768 TB de espacio útil.

Rendimiento de I/O de NSS7.3-HA

En este blog, se presentan los resultados de las pruebas de rendimiento de I/O para la solución NSS-HA actual, es decir, NSS7.3. Todas las pruebas de rendimiento se llevaron a cabo en un escenario sin fallas de alta disponibilidad para medir la funcionalidad máxima de la solución. Las pruebas se centraron en tres tipos de patrones de I/O: lecturas y escrituras secuenciales grandes, lecturas y escrituras aleatorias pequeñas y tres operaciones de metadatos (creación de archivos, estadísticas y eliminación).
Se utilizó un clúster de computación de 32 nodos a fin de generar la carga de trabajo para las pruebas de análisis comparativo. Los clientes y la configuración de NSS de 1008 TB (tamaño de almacenamiento crudo) se conectaron mediante InfiniBand EDR y el sistema de archivos se montó a través de IPoIB. Cada prueba de parámetro de referencia de I/O se ejecutó en un rango de clientes para probar la escalabilidad de la solución. Los detalles sobre los clientes utilizados se enumeran en la siguiente tabla.

Tabla 2. Configuración de clientes (pruebas de rendimiento)

Modelo de servidor	PowerEdge C6420
Cantidad de servidores	Clúster de 32 servidores
CPU	Intel(R) Xeon(R) Gold 6148 CPU @ 2.40 GHz
RAM	192 GiB
Sistema operativo	Red Hat Enterprise Linux Server, versión 7.4
Núcleo	3.10.0-693.17.1.el7.x86_64
Adaptador de red	Mellanox ConnectX-4 VPI IB EDR/100 GbE de puerto único QSFP28
Versión de OFED	MLNX_OFED-4.3.1.0.1.0

 

En este estudio se utilizaron los puntos de referencia IOzone y MDtest . IOzone se utilizó para las pruebas secuenciales y aleatorias. Para las pruebas secuenciales, se utilizó un tamaño de solicitud de 1024 KiB. La cantidad total de datos transferidos fue de 256 GiB para garantizar que la caché del servidor NFS estuviera saturada. Las pruebas aleatorias utilizaron un tamaño de solicitud de 4 KiB y cada cliente leyó y escribió un archivo de 4 GiB. Las pruebas de metadatos se realizaron mediante el parámetro de referencia MDtest con OpenMPI e incluyeron operaciones de creación, estadística y eliminación de archivos. (Consulte el Apéndice A de la documentación técnica de NSS7.0-HA para conocer todos los comandos utilizados en las pruebas).

Escrituras y lecturas secuenciales de IPoIB

En las figuras 2 y 3, se muestra el rendimiento de escritura y lectura secuencial. Dado que el clúster de prueba tenía 32 nodos, el punto de datos de 64 subprocesos se obtuvo mediante 32 clientes que ejecutaban 2 subprocesos cada uno.
Para NSS7.3-HA, el rendimiento máximo de lectura es de 7 GB/s y el rendimiento máximo de escritura es de casi 5 GB/s. A partir de las dos cifras, es obvio que la solución NSS7.3-HA actual tiene números de rendimiento secuencial más altos que la versión anterior. Las lecturas son hasta un 18,7 % mejores, pero el rendimiento de escritura es especialmente mejor, con hasta 2,65 veces (con 16 subprocesos) el rendimiento de la solución anterior. Al comparar los valores de rendimiento máximo, las escrituras en NSS7.3-HA son 2,13 veces más rápidas y las lecturas son un 12,5 % mejores.
Esto se debe en parte a la mayor velocidad interna de SAS de 12 Gbps para todos los componentes internos de PowerVault ME4084, incluidos los HDD (PowerVault MD3460 era de 6 Gbps), lo que permite un mayor rendimiento por LUN, pero también a las nuevas controladoras de almacenamiento que pueden procesar la información más rápido que la generación anterior de PowerVault MD3.

Figura 2. Rendimiento de escritura secuencial grande de IPoIB

 

Figura 3. Rendimiento de lectura secuencial grande de IPoIB

Escrituras y lecturas aleatorias de IPoIB

En la figura 4 y la figura 5, se muestra el rendimiento de escritura y lectura aleatorias.
En la figura, la escritura aleatoria alcanza un rendimiento máximo de 32 subprocesos, mientras que la versión anterior de la solución alcanzó un máximo de 64 subprocesos. El rendimiento de lectura aleatoria aumenta constantemente en NSS7.3 hasta 32 clientes y para la solución anterior el pico fue de 16 clientes. Una vez más, el nuevo almacenamiento muestra su rendimiento superior sobre su predecesor, con una mejora de hasta 3,44 veces en las escrituras (con 2 subprocesos) y un 85 % más de rendimiento de lectura (con 32 subprocesos) que su predecesor. Si se comparan los rendimientos máximos, la diferencia es de aproximadamente un 13 % en escrituras aleatorias y un 85 % en lecturas aleatorias. Estas mejoras se deben principalmente a las nuevas controladoras PowerVault ME4084 que tienen funcionalidades de procesamiento más rápidas en comparación con las controladoras PowerVault MD3460.

Figura 4. Rendimiento de escritura aleatoria de IPoIB

Figura 5. Rendimiento de lectura aleatoria de IPoIB

 

Operaciones de metadatos de IPoIB

En la figura 6, la figura 7 y la figura 8, se muestran los resultados de las operaciones de creación, estadística y eliminación de archivos, respectivamente. Dado que el clúster de computación de HPC tiene solo 32 nodos de computación, en los gráficos que aparecen a continuación, cada cliente ejecutó un máximo de un subproceso para los conteos de clientes hasta 32, y para los conteos de subprocesos de 64, 128, 256 y 512, cada cliente ejecutó 2, 4, 8 o 16 operaciones simultáneas (subprocesos).
Para la creación de archivos, en comparación con la solución anterior, la nueva solución muestra una mejora sostenida de aproximadamente el doble del rendimiento con una diferencia máxima (208 %) en 32 clientes, luego disminuye ligeramente, pero incluso si se compara el rendimiento máximo de ambas soluciones con 256 subprocesos, la nueva solución es un 30 % más rápida.
Las operaciones de estadísticas son las más mejoradas por el nuevo almacenamiento, donde las mejoras son hasta 7,7 veces superiores a las de su predecesor con 256 subprocesos y, en comparación con los rendimientos máximos, NSS7.3 muestra casi 6 veces el número de operaciones de estadísticas por segundo que la versión anterior de NSS.
Por último, las operaciones de eliminación tienen comparativamente una mejora marginal con la mayoría de los puntos de datos con un rendimiento del 33 % o mejor que la solución anterior; excepto para 128 hilos donde el rendimiento es 2,21 veces mejor. Con el máximo rendimiento, el nuevo almacenamiento alcanza casi un 55 % más de rendimiento en comparación con el sistema NSS anterior.
Todas estas mejoras se deben a discos duros más rápidos que utilizan velocidades SAS3 (12 Gbps) en general, así como a las nuevas controladoras PowerVault ME4084, capaces de mayores IOPS y ancho de banda.

Figura 6. Rendimiento de creación de archivos IPoIB

 

 

 

Figura 8. Rendimiento de eliminación de archivos IPoIB

Conclusiones y trabajo a futuro

A lo largo de las diferentes generaciones de la solución, la solución NSS-HA ha pasado por muchas actualizaciones de hardware y software para ofrecer continuamente alta disponibilidad, mayor rendimiento y mayor capacidad de almacenamiento. En todas estas versiones, el diseño arquitectónico central de la familia de soluciones NSS-HA se ha mantenido sin cambios. Con el fin de mostrar la diferencia de rendimiento entre NSS7.3-HA y la versión anterior (NSS7.2-HA), se compararon las cifras de rendimiento de ambas soluciones, lo que muestra el rendimiento superior de la última versión de la solución basada en PowerVault ME4084: 

•  Hasta 2,65 veces la escritura secuencial y un rendimiento de lectura hasta un 18,7 % más rápido.
  
•  Hasta 3,44 veces la escritura aleatoria y un rendimiento de lectura aleatoria hasta un 85 % más rápido.
  
•  Hasta 2,1 veces la tasa de creación, 7,7 veces la tasa de estadísticas y 2,2 veces la tasa de eliminación.

  En la siguiente fase, se caracterizará la solución NSS7.3-HA conectada con adaptadores Intel Omni-Path. Para obtener información detallada sobre las soluciones NSS-HA, consulte nuestra documentación técnica publicada:

•  Configuraciones de alta disponibilidad de la solución de almacenamiento HPC NFS de Dell, versión NSS2-HA publicada en abril del 2011.
  
•  Configuraciones de alta disponibilidad de la solución de almacenamiento NFS HPC de Dell con grandes capacidades, versión NSS3-HA publicada en febrero de 2012.
  
•  Configuraciones de la solución de almacenamiento NFS de HPC de Dell (NSS-HA) con servidores Dell PowerEdge de 12.ª generación, versión NSS4-HA publicada en julio de 2012.
  
•  Solución de almacenamiento HPC NFS de Dell: configuración de alta disponibilidad (NSS-HA) con arreglos de almacenamiento Dell PowerVault MD3260/MD3060e, versión actualizada NSS4.5-HA, publicada en mayo de 2013.
  
•  Solución de almacenamiento HPC NFS de Dell: alta disponibilidad Configuraciones NSS5-HA, versión NSS5.0-HA publicada en septiembre de 2013.
  
•  Solución de almacenamiento NFS HPC de Dell: configuración de alta disponibilidad (NSS5.5-HA) con arreglos de almacenamiento Dell PowerVault MD3460 y MD3060e, versión NSS5.5-HA publicada en septiembre de 2013.
  
•  Solución de almacenamiento NFS HPC de Dell: configuración de alta disponibilidad (NSS6.0-HA) con servidores Dell PowerEdge de 13.ª generación, versión NSS6.0-HA, publicada en noviembre de 2014.
  
•  Solución de almacenamiento NFS HPC de Dell: configuración de alta disponibilidad (NSS7.0-HA), versión NSS7.0-HA publicada en mayo de 2016.

   

  Nota: Para cualquier configuración/implementación personalizada, comuníquese con su representante de Dell EMC para conocer pautas específicas.