Skip to main content
Sign Out

Welcome to Dell

My Account
  • Place orders quickly and easily
  • View orders and track your shipping status
  • Create and access a list of your products
Sign In Create an Account Premier Sign In Partner Program Sign In

Soluzione di storage NFS con lo storage Dell EMC più recente - Risultati delle prestazioni (in inglese)

Summary: HPC High Performance Computing, HPC e AI Innovation Lab, storage HPC, soluzione di storage HPC, soluzione di storage NFS, storage XFS, storage NFS, soluzione di storage, RHEL7, RHEL7.5, storage IB EDR, NSS, NSS-HA, NSS7.3, NSS7.3-HA, IOZone, MDTest ...

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.
Check out other resources

Symptoms

Autore: Mario Gallegos e Xin Chen, HPC and AI Innovation Lab, ottobre 2018

Resolution

Panoramica

La versione più recente di Dell EMC Ready Solution for HPC NFS Storage (NSS) con high availability (soluzione NSS-HA) sarà NSS7.3-HA, il cui rilascio è previsto per la fine di questo mese.
Questa versione di NSS incorpora i nuovi array di storage Dell EMC PowerVault ME4084 e Red Hat Enterprise Linux 7.5 e continua a utilizzare le CPU della famiglia di processori scalabili Intel Xeon (architettura nome in codice Skylake) per offrire prestazioni complessive del sistema più elevate rispetto alle precedenti soluzioni NSS-HA. Questo blog presenta i risultati dei test delle prestazioni di I/O per questa versione più recente della soluzione NSS.
La Figura 1 mostra il progetto della configurazione NSS7.3-HA. Le principali differenze tra NSS7.3-HA e il suo immediato predecessore, NSS7.2-HA sono le seguenti:
  • Array di storage back-end:
    • NSS7.2-HA: PowerVault MD3460 + MD3060e opzionale (60 o 120 HDD)
    • NSS7.3-HA: PowerVault ME4084 (84 HDD)
  • Sistema operativo:
    • NSS7.2-HA: RHEL 7.4
    • NSS7.3-HA: Red Hat® Enterprise Linux® 7.5
Fatta eccezione per elementi quali gli aggiornamenti software e firmware necessari, NSS7.2-HA e NSS7.3-HA condividono la stessa progettazione del cluster HA e la stessa configurazione di storage di base. (Fare riferimento al white paper NSS7.0-HA per informazioni più dettagliate sulla configurazione.)
Un altro importante miglioramento rispetto a NSS7.2-HA e NSS7.3-HA è il notevole aumento della capacità massima. Sebbene NSS7.2-HA sia limitato dall'attuale limite di supporto di Red Hat XFS di 500 TB, dopo numerosi test e convalide nei nostri laboratori, Dell EMC e Red Hat hanno raggiunto un accordo di cooperazione per supportare le configurazioni NSS7.3-HA con un massimo di 768 TB di spazio utilizzabile. Si tratta di un sistema Dell EMC PowerVault ME4084 completamente popolato con HDD da 12 TB o 1.008 TB di spazio di storage raw.

Architettura NSS-HA

La Figura 1 mostra l'architettura NSS 7.3 all'interno del rettangolo tratteggiato, incorporata nel tipico banco di prova che include i client e lo switch di rete pubblico.

Figura 1. Architettura NSS7.3-HA da 1.008 TB di spazio raw (768 TB utilizzabili) e banco di prova

SLN314595_en_US__1image(6997)


La tabella seguente riepiloga i diversi componenti della nuova soluzione NSS HA 7.3.
  

Tabella 1. Componenti per NSS7.2-HA e NSS7.3-HA
 

Versione NSS7.2-HA (aprile 2018)
"Server PowerEdge di quattordicesima generazione e MD3460 + MD3060e"

Versione NSS7.3-HA (ottobre 2018)
"Server PowerEdge di quattordicesima generazione e soluzione basata su ME4084"

Software

Red Hat Enterprise Linux 7.4,
kernel 3.10.0-693.el7.x86_64

Red Hat Scalable File System (XFS) v4.5.0-12

Red Hat Enterprise Linux 7.5,
kernel 3.10.0-862.el7.x86_64

Red Hat Scalable File System (XFS) v4.5.0-15

Server NFS

Due server Dell PowerEdge R740.
CPU: Dual Intel Xeon Gold 6136 @ 3,0 GHz, 12 core per processore.
Memoria: 12 RDIMM da 16 GiB a 2.666 MT/s.

Connettività di rete esterna

EDR InfiniBand, 10 GbE o Intel Omni-Path.

Per questo blog, Mellanox ConnectX-4 IB EDR/100 GbE.
Per gli ordini, CX-5 IB EDR/100 GbE.

Connettività interna

Gigabit Ethernet, switch Dell Networking S3048-ON

Versione di OFED

Mellanox OFED 4.3-1.0.1.0

Mellanox OFED 4.4-1.0.0

Connessione di storage diretta

Connessioni SAS a 12 Gbps.

Sottosistema di storage

Dell EMC MD3460 + MD3060e opzionale.

Unità SAS NL da 60 a 120 da 3,5" da 4 TB.
Due configurazioni, 240 o 480 TB (spazio raw).
6 o 12 LUN, 8+2 RAID 6, dimensione segmento 512KiB
Nessuna riserva

Dell EMC PowerVault ME4084.

84 unità SAS NL da 3,5", fino a 12 TB.
Una configurazione: fino a 1.008 TB (spazio raw).
8 LUN, 8+2 RAID 6 lineari, dimensione blocco 128 KiB.
4 unità HDD di ricambio globali.

 


Il nuovo storage PowerVault ME4084 continua a utilizzare RAID 6 lineare 8+2 come unità di creazione di base con una nuova dimensione del blocco (dimensione del segmento) di 128 KiB e un valore read ahead di "dimensione stripe" selezionato per prestazioni ottimali. Inoltre, poiché ora abbiamo 84 unità, abbiamo 8 LUN basate su RAID 6 e 4 HDD di riserva globali configurati per sostituire immediatamente qualsiasi disco guasto. Ciò significa che questa soluzione può avere fino a 768 TB di spazio utilizzabile.

Prestazioni di I/O NSS 7.3-HA

Questo blog presenta i risultati dei test delle prestazioni di I/O per l'attuale soluzione NSS-HA, NSS7.3. Tutti i test delle prestazioni sono stati condotti in uno scenario HA senza errori per misurare la capacità massima della soluzione. I test si sono concentrati su tre tipi di modelli di I/O: letture e scritture sequenziali di grandi dimensioni, letture e scritture casuali di piccole dimensioni e tre operazioni sui metadati (creazione di file, statistiche e rimozione).
Un cluster di elaborazione a 32 nodi è stato utilizzato per generare il carico di lavoro per i test di benchmarking. I client e la configurazione NSS da 1.008 TB (dimensione di storage raw) sono stati connessi utilizzando InfiniBand EDR e il file system montato tramite IPoIB. Ogni test di benchmark di I/O è stato eseguito su una gamma di client per testare la scalabilità della soluzione. I dettagli sui client utilizzati sono elencati nella tabella successiva.

Tabella 2. Configurazione dei client (test delle prestazioni)
Modello server PowerEdge C6420
Numero di server Cluster di 32 server
CPU CPU Intel(R) Xeon(R) Gold 6148 @ 2,40 GHz
RAM 192 GiB
Sistema operativo Red Hat Enterprise Linux Server versione 7.4
Kernel 3.10.0-693.17.1.el7.x86_64
Adattatore di rete Mellanox ConnectX-4 VPI IB EDR/100 GbE a porta singola QSFP28
Versione di OFED MLNX_OFED-4.3.1.0.1.0

 


In questo studio sono stati utilizzati i benchmark IOzone e MDtest . IOzone è stato utilizzato per i test sequenziali e casuali. Per i test sequenziali, è stata utilizzata una dimensione della richiesta di 1.024 KiB. La quantità totale di dati trasferiti era di 256 GiB per garantire che la cache del server NFS fosse satura. I test casuali hanno utilizzato una dimensione della richiesta di 4 KiB e ogni client ha letto e scritto un file di 4 GiB. I test sui metadati sono stati eseguiti utilizzando il benchmark MDtest con OpenMPI e includevano operazioni di creazione, statistica e rimozione di file. (Fare riferimento all'Appendice A del white paper NSS7.0-HA per i comandi completi utilizzati nei test.)

Scritture e letture sequenziali IPoIB

Le Figure 2 e 3 mostrano le prestazioni di scrittura e lettura sequenziali. Poiché il cluster di test aveva 32 nodi, il data point di 64 thread è stato ottenuto utilizzando 32 client che eseguono 2 thread ciascuno.
Per NSS7.3-HA, il picco delle prestazioni di lettura è di 7 GB/sec e il picco delle prestazioni di scrittura è di quasi 5 GB/sec. Dai due dati emerge chiaramente che l'attuale soluzione NSS7.3-HA presenta prestazioni sequenziali più elevate rispetto alla versione precedente. Le letture sono migliorate fino al 18,7%, ma le prestazioni di scrittura sono particolarmente migliori, con prestazioni fino a 2,65 volte superiori (a 16 thread) rispetto alla soluzione precedente. Confrontando i valori delle prestazioni di picco, le scritture su NSS7.3-HA sono 2,13 volte più veloci e le letture sono migliori
del 12,5%.Ciò è dovuto in parte alla maggiore velocità interna SAS di 12 Gbps per tutti i componenti interni di PowerVault ME4084, inclusi gli HDD (PowerVault MD3460 era a 6 Gbps) che consente un throughput più elevato per LUN, ma anche ai nuovi controller di storage in grado di elaborare le informazioni più velocemente rispetto a PowerVault MD3 della generazione precedente.

Figura 2. Prestazioni di scrittura sequenziale di grandi dimensioni IPoIB

SLN314595_en_US__2image(6989)

 

Figura 3. Prestazioni di lettura sequenziale di grandi dimensioni IPoIB

SLN314595_en_US__3image(6990)

Scritture e letture casuali IPoIB

La Figura 4 e la Figura 5 mostrano le prestazioni di scrittura e lettura casuali.
Dalla figura, la scrittura casuale raggiunge prestazioni massime a 32 thread, mentre la versione precedente della soluzione raggiungeva un picco a 64 thread. Le prestazioni di lettura casuale aumentano costantemente su NSS 7.3 fino a 32 client e per la soluzione precedente il picco era a 16 client. Anche in questo caso, il nuovo storage mostra prestazioni superiori rispetto al predecessore, con un miglioramento delle scritture fino a 3,44 volte superiore (a 2 thread) e prestazioni di lettura superiori dell'85% (a 32 thread) rispetto al predecessore. Confrontando i picchi di prestazioni, la differenza è di circa il 13% nelle scritture casuali e dell 85% nelle letture casuali. Questi miglioramenti sono dovuti principalmente ai nuovi controller PowerVault ME4084 con capacità di elaborazione più veloci rispetto ai controller PowerVault MD3460.

Figura 4. Prestazioni di scrittura casuale IPoIB

SLN314595_en_US__4image(6991)

Figura 5. Prestazioni di lettura casuale IPoIB

SLN314595_en_US__5image(6992)
 

Operazioni sui metadati IPoIB

Le Figure 6, 7 e 8 mostrano rispettivamente i risultati delle operazioni di creazione, statistica e rimozione dei file. Poiché il cluster di elaborazione HPC ha solo 32 nodi di calcolo, nei grafici riportati di seguito, ogni client ha eseguito massimo un thread per un numero massimo di client fino a 32 e per un numero di thread di 64, 128, 256 e 512, ogni client ha eseguito 2, 4, 8 o 16 operazioni simultanee (thread).
Per le creazioni di file, rispetto alla soluzione precedente, la nuova soluzione mostra un miglioramento sostenuto di circa il doppio delle prestazioni con una differenza di picco (208%) a 32 client, quindi diminuisce leggermente, ma anche confrontando le prestazioni di picco per entrambe le soluzioni a 256 thread, la nuova soluzione è più veloce
del 30%.Le operazioni statistiche sono le più migliorate dal nuovo storage, dove i miglioramenti sono fino a 7,7 volte rispetto al predecessore a 256 thread e confrontando i picchi di prestazioni, NSS7.3 mostra quasi 6 volte il numero di operazioni statistico al secondo rispetto alla versione precedente di NSS.
Infine, le operazioni di rimozione presentano un miglioramento relativamente marginale, con la maggior parte dei data point con prestazioni pari o superiori al 33% rispetto alla soluzione precedente. Fatta eccezione per 128 thread in cui le prestazioni sono 2,21 volte migliori. Alle massime prestazioni, il nuovo storage raggiunge prestazioni quasi il 55% superiori rispetto al precedente sistema NSS.
Tutti questi miglioramenti sono dovuti ai dischi rigidi più veloci che utilizzano la velocità SAS3 (12 Gb/s) in generale, nonché ai nuovi controller PowerVault ME4084, capaci di aumentare IOPS e larghezza di banda.

Figura 6. Prestazioni delle operazioni di creazione di file IPoIB


SLN314595_en_US__6image(6993)

 

Figura 7. Prestazioni delle operazioni di statistica IPoIB

 SLN314595_en_US__7image(6994)

 

Figura 8. Prestazioni delle operazioni di rimozione di file IPoIB

 SLN314595_en_US__8image(6995)

Conclusioni e lavoro futuro

Nel corso delle diverse generazioni, la soluzione NSS-HA è stata sottoposta a numerosi aggiornamenti hardware e software per offrire costantemente high availability, prestazioni più elevate e maggiore capacità di storage. In tutte queste versioni, la progettazione dell'architettura di base della famiglia di soluzioni NSS-HA è rimasta invariata. Per mostrare la differenza di prestazioni tra NSS7.3-HA e la versione precedente (NSS7.2-HA), sono stati confrontati i numeri delle prestazioni di entrambe le soluzioni, mostrando le prestazioni superiori dell'ultima versione della soluzione basata su PowerVault ME4084: 

Affected Products

High Performance Computing Solution Resources, Dell EMC PowerVault ME4084
Article Properties
Article Number: 000133483
Article Type: Solution
Last Modified: 21 Feb 2021
Version:  3
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.