Escalabilidad de Dell Ready Solutions for HPC BeeGFS Storage

¿Cómo escalar la solución de almacenamiento de alto rendimiento Dell BeeGFS en términos de capacidad, rendimiento o ambos?

Consulte la información en la sección Resolución.

Tabla de contenido

1. Introducción
2. Configuraciones básicas
3. Cálculo de espacio utilizable de BeeGFS
4. Configuraciones escalables
5. Caracterización del rendimiento
6. Conclusión y trabajo a futuro
    

---

Introducción

En este blog, se analiza la escalabilidad de Dell EMC Ready Solutions for HPC BeeGFS Storage , que se anunció recientemente.  La arquitectura de BeeGFS consta de cuatro servicios principales: el servicio de administración, el servicio de metadatos, el servicio de almacenamiento y el servicio de cliente. Es posible ejecutar cualquier combinación de estos cuatro servicios principales, incluidos todos ellos, en el mismo servidor, porque las funciones y el hardware no están estrechamente integrados en el caso de BeeGFS.  En una "solución hiperconvergente", los cuatro servicios se ejecutan en el mismo servidor. Esta configuración no se recomienda para entornos críticos para el rendimiento, ya que las aplicaciones cliente suelen consumir recursos que pueden afectar el rendimiento de los servicios de almacenamiento. La solución de Dell EMC utiliza servidores de almacenamiento dedicados y un servidor de almacenamiento y metadatos de doble propósito para proporcionar una solución de almacenamiento escalable y de alto rendimiento. Es posible escalar el sistema agregando servidores de almacenamiento adicionales a un sistema existente. En este blog, presentaremos configuraciones con diferentes números de servidores de almacenamiento y el rendimiento que se puede esperar con estas configuraciones.

---

Configuraciones básicas

La solución de almacenamiento BeeGFS, diseñada para proporcionar un sistema de archivos scratch de alto rendimiento, utiliza los siguientes componentes de hardware:

• Servidor de administración
  • R640, Intel Xeon Gold 5218 doble de 2,3 GHz, 16 núcleos, 96 GB (12 RDIMM de 8 GB y 2666 MT/s), SAS de 6 x 15,000 r/min y 300 GB, H740P
• Servidores de almacenamiento y metadatos
  • R740xd, 2 CPU Intel Xeon Platinum 8268 a 2,90 GHz, 24 núcleos, 384 GB (12 RDIMM de 32 GB y 2933 MT/s)
  • Tarjeta BOSS con 2 SSD SATA M.2 de 240 GB en RAID 1 para so
  • 24x, Intel de 1,6 TB, NVMe, Express Flash de uso mixto, unidades SFF 2.5, RAID de software

El servidor de administración ejecuta el servicio de monitoreo de BeeGFS. El servidor de metadatos utiliza las 12 unidades en la zona NUMA 0 para alojar metadata targets (MDT), mientras que las 12 unidades restantes en la zona NUMA 1 alojan los destinos de almacenamiento (TB). No se utiliza un servidor de metadatos dedicado porque los requisitos de capacidad de almacenamiento para los metadatos de BeeGFS son muy pequeños. Los metadatos, los destinos de almacenamiento y los servicios están aislados en nodos NUMA independientes, de modo que se establece una separación considerable de las cargas de trabajo. Los servidores de almacenamiento utilizados en la configuración tienen tres servicios de almacenamiento que se ejecutan por zona NUMA, seis en total por servidor. Para obtener más detalles, consulte el blog de anuncios. La figura 1 muestra las dos configuraciones básicas que se probaron y validaron en el Laboratorio de innovación en HPC e IA de Dell EMC.

Figura 1: Configuraciones básicas

La configuración pequeña consta de tres servidores R740xd. Tiene un total de 15 objetivos de almacenamiento. La configuración media tiene servidores 6xR740xd y tiene un total de 33 destinos de almacenamiento. El usuario puede comenzar con una configuración "pequeña" o con la configuración "media" y puede agregar servidores de almacenamiento o metadatos según sea necesario para aumentar el espacio de almacenamiento y el rendimiento general, o la cantidad de archivos y el rendimiento de metadatos, respectivamente. La tabla 1 muestra los datos de rendimiento de las configuraciones básicas que se probaron y validaron exhaustivamente en el Laboratorio de innovación en HPC e IA de Dell EMC.

Tabla 1: Detalles de capacidad y rendimiento de las configuraciones básicas

 

---

Cálculo de espacio utilizable de BeeGFS

El espacio útil estimado se calcula en TiB (ya que la mayoría de las herramientas muestran espacio utilizable en unidades binarias) mediante la siguiente fórmula:

Espacio utilizable de BeeGFS en TiB= (0,99* n.º de unidades* tamaño en TB * (10^12/2^40)

En la fórmula anterior, 0.99 es el factor que llegó suponiendo conservadoramente que hay una sobrecarga del 1 % del sistema de archivos.  Para llegar a la cantidad de unidades para el almacenamiento, también se incluyen 12 unidades de MDS. Esto se debe a que, en MDS, las 12 unidades en la zona 0 numa se utilizan para los metadatos y las 12 unidades en la zona 1 numa se utilizan para el almacenamiento. El último factor de la fórmula 10^12/2^40 es convertir el espacio utilizable de TB a TiB.

---

Configuraciones escalables

La solución de almacenamiento de alto rendimiento de BeeGFS se diseñó para ser flexible y se puede escalar el rendimiento o la capacidad de manera fácil y sin inconvenientes mediante la adición de servidores adicionales, como se muestra a continuación:

Tabla 2: Detalles de capacidad y rendimiento de las configuraciones escaladas

 

---

Caracterización del rendimiento

El rendimiento de las diversas configuraciones se probó mediante la creación de pools de almacenamiento. La configuración pequeña tiene 15 destinos de almacenamiento y cada servidor de almacenamiento adicional agrega seis destinos de almacenamiento adicionales. Por lo tanto, con el propósito de probar el rendimiento de las diversas configuraciones, los pools de almacenamiento se crearon de 15 a 39 destinos de almacenamiento (incrementos de seis para pequeñas, pequeñas+1, pequeñas+2, medianas, medianas+1). Para cada uno de esos pools, se ejecutaron tres iteraciones del parámetro de referencia iozone, cada uno con uno a 1024 subprocesos (en potencias de dos incrementos). La metodología de pruebas adoptada es la misma que se describe en el blog de anuncios . Las figuras 3 y 4 muestran el rendimiento de escritura y lectura de las configuraciones escalables, respectivamente, con el rendimiento máximo de cada una de las configuraciones resaltadas para referencia lista:


 
Figura 3:  Rendimiento de escritura de configuraciones escalables


Figura 4:  Leer el rendimiento de las configuraciones escalables

Nota:

El pool de almacenamiento al que se hace referencia se creó solo con el propósito explícito de caracterizar el rendimiento de diferentes configuraciones.  Mientras se realizaba la evaluación del rendimiento de la configuración media detallada en el blog del anuncio, los 33 destinos estaban solo en el "pool predeterminado". La salida del comando beegfs-ctl --liststoragepools que se muestra a continuación muestra la asignación de los destinos de almacenamiento:

# beegfs-ctl --liststoragepools Pool ID Descripción del pool Destinos
Grupos
de amigos======= ================== ============================ ============================
1 Predeterminado 1,2,3,4,5,6,7,8,9,10,11,12,
                                                 13, 14, 15, 16, 17, 18, 19, 20, 21,
22, 23, 24, 25, 26, 27, 28, 29, 30,
31, 32, 33  

---

Conclusión y trabajo a futuro

En este blog, se analizó la escalabilidad de Dell EMC Ready Solutions for HPC BeeGFS Storage y se destacó el rendimiento de lectura y escritura secuencial para diversas configuraciones. Manténgase atento a la parte 3 de esta serie de blogs que analizará las características adicionales de BeeGFS y resaltará el uso de "StorageBench", el parámetro de referencia de objetivos de almacenamiento incorporado de BeeGFS. Como parte de los próximos pasos, publicaremos una documentación técnica más adelante con el rendimiento de los metadatos, la evaluación del rendimiento de IOR N-1 y con detalles adicionales sobre las consideraciones de diseño, el ajuste y la configuración. 

Referencias

[1] Dell EMC Ready Solutions for HPC BeeGFS Storage:  
https://www.dell.com/support/article/sln319381/[2] Documentación de BeeGFS: 
https://www.beegfs.io/wiki/[3] Cómo conectar dos interfaces en la misma subred: 
https://access.redhat.com/solutions/30564[4] Diseño de referencia de acceso a la memoria PCI Express Direct mediante memoria externa: https://www.intel.com/content/www/us/en/programmable/documentation/nik1412547570040.html#nik1412547565760