En este blog, se analizan las características destacadas de Dell EMC Ready Solutions for HPC BeeGFS Storage , que se anunció recientemente. Este es el tercer blog de la serie sobre la solución de almacenamiento de alto rendimiento BeeGFS. El primer blog anunció el lanzamiento de la solución. En el segundo blog, se analizó la escalabilidad de Dell EMC Ready Solutions for HPC BeeGFS Storage. Proporcionó detalles sobre las configuraciones básicas, las configuraciones escalables flexibles y el rendimiento de lectura/escritura secuencial medido real de las diversas configuraciones, lo que demuestra que la escalabilidad es lineal con respecto a la cantidad de servidores en la solución. El blog actual resaltará el uso de "StorageBench", el parámetro de referencia de destinos de almacenamiento incorporado de BeeGFS.
BeeGFS es un sistema de archivos de código abierto que se puede descargar desde www.beegfs.io. Es un sistema de archivos paralelo que distribuye datos entre varios destinos de almacenamiento. Es un almacenamiento definido por software que desacopla el sistema de archivos lógico del hardware de almacenamiento subyacente, lo que permite que el usuario defina cómo y dónde se almacenan los datos. El software del sistema de archivos incluye funciones empresariales, como alta disponibilidad, aplicación de cuotas y listas de control de acceso. Las características clave de BeeGFS son su facilidad de uso, escalabilidad y flexibilidad. Su facilidad de uso proviene del hecho de que todos los componentes del lado del servidor son demonios de espacio de usuario, mientras que el cliente es un módulo de kernel que no requiere parches para el kernel en sí. Todos los componentes de BeeGFS se pueden instalar y actualizar sin reiniciar el servidor. Por lo tanto, podemos agregar clientes y servidores al sistema existente sin tiempo de inactividad. Mediante la adición de servidores e unidades, el rendimiento y la capacidad del sistema de archivos se pueden ampliar más en el blog aquí vinculado. BeeGFS es compatible con varias distribuciones de Linux y está diseñado para funcionar con cualquier sistema de archivos local compatible con POSIX. BeeGFS también es compatible con la ejecución de varias instancias de un servicio determinado en el mismo servidor.
Dell EMC Ready Solutions for HPC BeeGFS Storage aprovecha todas las características clave del sistema de archivos BeeGFS y está diseñado para ofrecer un alto rendimiento. La solución utiliza servidores PowerEdge R740xd para almacenar y atender/procesar metadatos y datos. Cada servidor PowerEdge R740xd tiene 24 SSD Intel P4600 NVMe de 1,6 TB que se consideran el segundo gran avance en la tecnología de unidades, ya que las SSD son las primeras. En los entornos de HPC, el espacio desde cero a menudo puede ser un factor limitante. Puede ser demasiado pequeño o demasiado lento. Dell EMC Ready Solutions for HPC BeeGFS Storage está diseñado para utilizarse como una solución para cero y sirve para el almacenamiento desde cero mediante el sistema de archivos BeeGFS.
BeeGFS incluye dos herramientas de análisis comparativo incorporadas que pueden ayudar a caracterizar o evaluar la red o el almacenamiento NetBench y StorageBench , respectivamente. Cuando el modo NetBench está habilitado, los servidores descartarán las solicitudes de escritura recibidas en lugar de escribir los datos. De manera similar, en el caso de las solicitudes de lectura, en lugar de leer desde el sistema de archivos subyacente, solo se enviarán los búferes de memoria a los clientes. El modo NetBench está diseñado para probar el rendimiento de streaming de red independientemente de los discos subyacentes. Por otro lado, StorageBench está diseñado para medir el rendimiento de streaming del sistema de archivos subyacente independientemente del rendimiento de la red. StorageBench es un parámetro de referencia de destinos de almacenamiento que no utiliza la red. El comando storage-bench simplemente envía la solicitud a los destinos de almacenamiento para comenzar a escribir/leer datos. Al hacerlo, eliminamos el impacto de la red. El resultado que obtenemos del banco de almacenamiento es el mejor rendimiento que el sistema puede lograr si el rendimiento de la red es ideal. En este blog se ilustra cómo se puede utilizar StorageBench para comparar el rendimiento de diferentes destinos de almacenamiento y, por lo tanto, identificar destinos defectuosos o mal configurados.
StorageBench no utiliza el sistema de archivos montado. Cuando ejecutamos StorageBench, solo hay un destino por archivo. Storagebench crea un directorio en cada destino de almacenamiento del sistema donde se crean archivos de prueba igual a la cantidad de subprocesos de prueba. Los datos se transmiten directamente a esto para mostrar el rendimiento de bajo nivel disponible para cada destino de almacenamiento. Sin ninguna comunicación de red, el fraccionado de archivos no se puede simular. Por lo tanto, los resultados de los parámetros de referencia de almacenamiento son bastante comparables con las I/O del cliente con fraccionado deshabilitado. Cuando se ejecutan parámetros de referencia reales, el archivo se fracciona en 4 destinos de almacenamiento si se adopta el patrón de fraccionado predeterminado.
Con el fin de probar diferentes destinos de almacenamiento, se utilizaron las configuraciones pequeñas y medianas descritas en el blog sobre la escalabilidad de la solución de almacenamiento Dell EMC BeeGFS. Ambas configuraciones tienen la misma cantidad de destinos de metadatos configurados en RAID 1. Difieren en la configuración RAID de los destinos de almacenamiento. Si bien la configuración pequeña tiene el almacenamiento, los destinos están configurados en RAID 0 de 6 unidades, la configuración media tiene los destinos de almacenamiento configurados en RAID 10 de 6 unidades. Los destinos de almacenamiento configurados en la configuración pequeña y mediana se muestran a continuación:
| Tabla 1 Configuración del banco de pruebas | ||
|---|---|---|
| Configuración | Medio: RAID 10 para destinos de almacenamiento | Pequeño: RAID 0 para destinos de almacenamiento |
| Cantidad de destinos de metadatos | 6 | 6 |
| Cantidad de instancias del servicio de metadatos | 6 | 6 |
| Cantidad de servidores de almacenamiento | 5 | 2 |
| Cantidad de destinos de almacenamiento | 22 | 10 |
| Cantidad de servicios de almacenamiento por servidor | 4 | 4 |
| Cantidad de servicios de almacenamiento por zona NUMA | 2 | 2 |
| Cantidad de destinos por instancia de servicio de almacenamiento | 2 | 2 |
Nota: La configuración anterior de la configuración media es solo con el propósito de probar el rendimiento de los destinos de almacenamiento configurados en diferentes configuraciones RAID mediante la herramienta StorageBench.
El parámetro de referencia de almacenamiento se inicia y monitorea con la herramienta beegfs-ctl. El paquete beegfs-utils proporciona la herramienta de línea de comandos beegfs-ctl que se puede utilizar para ejecutar el parámetro de referencia de destinos de almacenamiento. En el siguiente ejemplo se inicia un parámetro de referencia de escritura en todos los destinos de todos los servidores de almacenamiento BeeGFS con un tamaño de bloque de I/O de 512 KB, con 16 subprocesos por destino, cada uno de los cuales escribirá 200 Gb de datos en su propio archivo.
[root@stor1 ~]# beegfs-ctl --storagebench --alltargets --write --blocksize=512K --size=200G --threads=16
Se inició el parámetro de referencia de almacenamiento de escritura.
Puede consultar el estado con el argumento --status de beegfs-ctl.
Estado del parámetro de referencia del servidor:
Ejecución: 10
El mensaje "Running: La salida de 10" indica que hay un total de 10 destinos de almacenamiento configurados en el sistema.
Para consultar el estado/los resultados del parámetro de referencia de todos los destinos, se puede ejecutar el siguiente comando:
[root@stor1 ~]# beegfs-ctl --storagebench --alltargets --status
Benchmark status:
Finished: 10
Resultados del parámetro de referencia de escritura:
rendimiento mínimo: id. de nodo de 4692435 KiB/s: stor1-numa0-2 [ID: 6], targetID: Rendimiento máximo de 50
: id. de nodo de 5368537 KiB/s: meta-stor-numa1-2 [ID: 2], targetID: 48
Rendimiento promedio: rendimiento agregado de 4907091 KiB/s
: KiB/s de 49070915
Al agregar detalles al comando anterior, se muestra la lista de todos los destinos y su rendimiento respectivo.
[root@meta-stor ~]# beegfs-ctl --storagebench --alltargets --status --verbose
Server benchmark status:
Finished: 10
Resultados del parámetro de referencia de escritura:
rendimiento mínimo: id. de nodo de 4692435 KiB/s: stor1-numa0-2 [ID: 6], targetID: 6
Rendimiento máximo: id. de nodo de 5368537 KiB/s: meta-stor-numa1-2 [ID: 2], targetID: 2
Rendimiento promedio: rendimiento agregado de 4907091 KiB/s
: 49070915 KiB/s
Lista de todos los destinos:
1 5368477 KiB/s nodeID: meta-stor-numa1-1 [ID: 1]
2 ID de nodo de 5368537 KiB/s: meta-stor-numa1-2 [ID: 2]
3 ID de nodo de 4706368 KiB/s: stor1-numa0-1 [ID: 3]
4 ID de nodo de 4896077 KiB/s: stor1-numa1-1 [ID: 4]
5 id. de nodo de 4872876 KiB/s: stor1-numa1-2 [ID: 5]
6 id. de nodo de 4692435 KiB/s: stor1-numa0-2 [ID: 6]
7 id. de nodo de 4879054 KiB/s: stor2-numa1-2 [ID: 7]
8 id. de nodo de 4864737 KiB/s: stor2-numa1-1 [ID: 8]
9 id. de nodo de 4696152 KiB/s: stor2-numa0-1 [ID: 9]
10 id. de nodo de 4726202 KiB/s: stor2-numa0-2 [ID: 10]
El rendimiento promedio por destino de almacenamiento configurado en RAID 0 es de 5,02 GB/s.
En el siguiente ejemplo se inicia un parámetro de referencia de escritura en todos los destinos de todos los servidores de almacenamiento BeeGFS con un tamaño de bloque de I/O de 512 KB, con 16 subprocesos por destino, cada uno de los cuales escribirá 200 Gb de datos en su propio archivo.
[root@node001 ~]# beegfs-ctl --storagebench --alltargets --write --blocksize=512K --size=200G --threads=16
Se inició el parámetro de referencia de almacenamiento de escritura.
Puede consultar el estado con el argumento --status de beegfs-ctl.
Estado del parámetro de referencia del servidor:
Ejecución: 22
Al agregar detalles al comando anterior, se muestra la lista de todos los destinos y su rendimiento respectivo.
[root@node001 ~]# beegfs-ctl --storagebench --alltargets --status --verbose
Server benchmark status:
Finished: 22
Resultados de análisis comparativo de escritura:
rendimiento mínimo: id. de nodo de 2705987 KiB/s: node006-numa0-1 [ID: 19], TARGETID: 1
Rendimiento máximo: nodeID de 3364311 KiB/s: node001-numa1-1 [ID: 1], targetID: 1
Rendimiento promedio: rendimiento agregado de 3212845 KiB/s
: KiB/s de 70682603Lista de todos los destinos:
1 3364311 KiB/s nodeID: node001-numa1-1 [ID: 1]
2 ID de nodo de 3361591 KiB/s: node001-numa1-2 [ID: 2]
3 ID de nodo de 3309530 KiB/s: node002-numa0-1 [ID: 3]
4 ID de nodo de 3312840 KiB/s: node002-numa0-2 [ID: 4]
5 id. de nodo de 3332095 KiB/s: node002-numa1-1 [ID: 5]
6 id. de nodo de 3323319 KiB/s: node002-numa1-2 [ID: 6]
7 3313000 KiB/s nodeID: node003-numa0-1 [ID: 7]
8 id. de nodo de 3321214 KiB/s: node003-numa0-2 [ID: 8]
9 id. de nodo de 3335072 KiB/s: node003-numa1-1 [ID: 9]
10 id. de nodo de 3339743 KiB/s: node003-numa1-2 [ID: 10]
11 id. de nodo de 3302175 KiB/s: node004-numa0-1 [ID: 11]
12 ID de nodo de 3309474 KiB/s: node004-numa0-2 [ID: 12]
13 id. de nodo de 3329879 KiB/s: node004-numa1-1 [ID: 13]
14 id. de nodo de 3328291 KiB/s: node004-numa1-2 [ID: 14]
15 id. de nodo de 3306132 KiB/s: node005-numa0-1 [ID: 15]
16 id. de nodo de 3307096 KiB/s: node005-numa0-2 [ID: 16]
17 id. de nodo de 3318436 KiB/s: node005-numa1-1 [ID: 17]
18 id. de nodo de 3329684 KiB/s: node005-numa1-2 [ID: 18]
19 id. de nodo de 2705987 KiB/s: node006-numa0-1 [ID: 19]
20 id. de nodo de 2716438 KiB/s: node006-numa0-2 [ID: 20]
21 id. de nodo de 2707970 KiB/s: node006-numa1-1 [ID: 21]
22 id. de nodo de 2708326 KiB/s: node006-numa1-2 [ID: 22]
El rendimiento promedio por objetivo de almacenamiento es de 3,29 GB/s.
A partir de la salida de las pruebas de parámetro de referencia de StorageBench realizadas en dos configuraciones diferentes de BeeGFS, una con destinos de almacenamiento configurados en RAID 0 y otra con destinos de almacenamiento configurados en RAID 10, es evidente que el rendimiento de escritura es mejor con los destinos de almacenamiento configurados en RAID 0 en lugar de en RAID 10. Cuando se utilizó el comando dd para escribir un archivo de 10 G con un tamaño de bloque de 1 M y "oflag=direct", el promedio fue de aproximadamente 5,1 GB/s para el sistema pequeño configurado en RAID 0, mientras que el rendimiento promedio fue de aproximadamente 3,4 GB/s para el sistema medio configurado en RAID 10, que es comparable con los resultados obtenidos mediante la herramienta storagebench.
[root@node001 ~]# beegfs-ctl --storagebench --alltargets --status --verbose
Server benchmark status:
Finished: 33
Resultados de la prueba de lectura:
rendimiento mínimo: id. de nodo de 2830479 KiB/s: node003-numa1-2 [ID: 14], TARGETID: 14
Rendimiento máximo: 3025500 KiB/s NODEID: node005-numa0-1 [ID: 22], TARGETID: 22
Rendimiento promedio: rendimiento agregado de 2917836 KiB/s
: 96288596 KiB/s
Lista de todos los destinos:
1 2950039 KiB/s nodeID: node001-numa1-1 [ID: 1]
2 ID de nodo de 2956121 KiB/s: node001-numa1-2 [ID: 2]
3 ID de nodo de 2954473 KiB/s: node001-numa1-3 [ID: 3]
4 ID de nodo de 2957658 KiB/s: node002-numa0-1 [ID: 4]
5 ID de nodo de 2947109 KiB/s: node002-numa0-2 [ID: 5]
6 ID de nodo de 2969886 KiB/s: node002-numa0-3 [ID: 6]
7 id. de nodo de 2892578 KiB/s: node002-numa1-1 [ID: 7]
8 id. de nodo de 2886899 KiB/s: node002-numa1-2 [ID: 8]
9 id. de nodo de 2888972 KiB/s: node002-numa1-3 [ID: 9]
10 id. de nodo de 2861995 KiB/s: node003-numa0-1 [ID: 10]
11 id. de nodo de 2874314 KiB/s: node003-numa0-2 [ID: 11]
12 ID de nodo de 2879096 KiB/s: node003-numa0-3 [ID: 12]
13 id. de nodo de 2832635 KiB/s: node003-numa1-1 [ID: 13]
14 id. de nodo de 2830479 KiB/s: node003-numa1-2 [ID: 14]
15 id. de nodo de 2830971 KiB/s: node003-numa1-3 [ID: 15]
16 id. de nodo de 2986890 KiB/s: node004-numa0-1 [ID: 16]
17 id. de nodo de 2979197 KiB/s: node004-numa0-2 [ID: 17]
18 id. de nodo de 2983958 KiB/s: node004-numa0-3 [ID: 18]
19 id. de nodo de 2897974 KiB/s: node004-numa1-1 [ID: 19]
20 id. de nodo de 2900880 KiB/s: node004-numa1-2 [ID: 20]
21 id. de nodo de 2904036 KiB/s: node004-numa1-3 [ID: 21]
22 3025500 KiB/s NODEID: node005-numa0-1 [ID: 22]
23 id. de nodo de 3021558 KiB/s: node005-numa0-2 [ID: 23]
24 id. de nodo de 3017387 KiB/s: node005-numa0-3 [ID: 24]
25 id. de nodo de 2921480 KiB/s: node005-numa1-1 [ID: 25]
26 id. de nodo de 2930226 KiB/s: node005-numa1-2 [ID: 26]
27 id. de nodo de 2930548 KiB/s: node005-numa1-3 [ID: 27]
28 id. de nodo de 2900018 KiB/s: node006-numa0-1 [ID: 28]
29 id. de nodo de 2898520 KiB/s: node006-numa0-2 [ID: 29]
30 2907113 ID de nodo de KiB/s: node006-numa0-3 [ID: 30]
31 id. de nodo de 2855079 KiB/s: node006-numa1-1 [ID: 31]
32 id. de nodo de 2853527 KiB/s: node006-numa1-2 [ID: 32]
33 id. de nodo de 2861480 KiB/s: node006-numa1-3 [ID: 33]
A partir de la salida anterior, es evidente que todos los destinos de almacenamiento funcionan de manera uniforme y que no hay destinos defectuosos en el sistema.