Panoramica

La versione più recente di Dell EMC Ready Solution for HPC NFS Storage (NSS) con high availability (soluzione NSS-HA) sarà NSS7.3-HA, il cui rilascio è previsto per la fine di questo mese.
Questa versione di NSS incorpora i nuovi array di storage Dell EMC PowerVault ME4084 e Red Hat Enterprise Linux 7.5 e continua a utilizzare le CPU della famiglia di processori scalabili Intel Xeon (architettura nome in codice Skylake) per offrire prestazioni complessive del sistema più elevate rispetto alle precedenti soluzioni NSS-HA. Questo blog presenta i risultati dei test delle prestazioni di I/O per questa versione più recente della soluzione NSS.
La Figura 1 mostra il progetto della configurazione NSS7.3-HA. Le principali differenze tra NSS7.3-HA e il suo immediato predecessore, NSS7.2-HA sono le seguenti:

• Array di storage back-end:
  • NSS7.2-HA: PowerVault MD3460 + MD3060e opzionale (60 o 120 HDD)
  • NSS7.3-HA: PowerVault ME4084 (84 HDD)
• Sistema operativo:
  • NSS7.2-HA: RHEL 7.4
  • NSS7.3-HA: Red Hat® Enterprise Linux® 7.5

Fatta eccezione per elementi quali gli aggiornamenti software e firmware necessari, NSS7.2-HA e NSS7.3-HA condividono la stessa progettazione del cluster HA e la stessa configurazione di storage di base. (Fare riferimento al white paper NSS7.0-HA per informazioni più dettagliate sulla configurazione.)
Un altro importante miglioramento rispetto a NSS7.2-HA e NSS7.3-HA è il notevole aumento della capacità massima. Sebbene NSS7.2-HA sia limitato dall'attuale limite di supporto di Red Hat XFS di 500 TB, dopo numerosi test e convalide nei nostri laboratori, Dell EMC e Red Hat hanno raggiunto un accordo di cooperazione per supportare le configurazioni NSS7.3-HA con un massimo di 768 TB di spazio utilizzabile. Si tratta di un sistema Dell EMC PowerVault ME4084 completamente popolato con HDD da 12 TB o 1.008 TB di spazio di storage raw.

Architettura NSS-HA

La Figura 1 mostra l'architettura NSS 7.3 all'interno del rettangolo tratteggiato, incorporata nel tipico banco di prova che include i client e lo switch di rete pubblico.

Figura 1. Architettura NSS7.3-HA da 1.008 TB di spazio raw (768 TB utilizzabili) e banco di prova

La tabella seguente riepiloga i diversi componenti della nuova soluzione NSS HA 7.3.
  

Tabella 1. Componenti per NSS7.2-HA e NSS7.3-HA

	Versione NSS7.2-HA (aprile 2018) "Server PowerEdge di quattordicesima generazione e MD3460 + MD3060e"	Versione NSS7.3-HA (ottobre 2018) "Server PowerEdge di quattordicesima generazione e soluzione basata su ME4084"
Software	Red Hat Enterprise Linux 7.4, kernel 3.10.0-693.el7.x86_64 Red Hat Scalable File System (XFS) v4.5.0-12	Red Hat Enterprise Linux 7.5, kernel 3.10.0-862.el7.x86_64 Red Hat Scalable File System (XFS) v4.5.0-15
Server NFS	Due server Dell PowerEdge R740. CPU: Dual Intel Xeon Gold 6136 @ 3,0 GHz, 12 core per processore. Memoria: 12 RDIMM da 16 GiB a 2.666 MT/s.
Connettività di rete esterna	EDR InfiniBand, 10 GbE o Intel Omni-Path. Per questo blog, Mellanox ConnectX-4 IB EDR/100 GbE. Per gli ordini, CX-5 IB EDR/100 GbE.
Connettività interna	Gigabit Ethernet, switch Dell Networking S3048-ON
Versione di OFED	Mellanox OFED 4.3-1.0.1.0	Mellanox OFED 4.4-1.0.0
Connessione di storage diretta	Connessioni SAS a 12 Gbps.
Sottosistema di storage	Dell EMC MD3460 + MD3060e opzionale. Unità SAS NL da 60 a 120 da 3,5" da 4 TB. Due configurazioni, 240 o 480 TB (spazio raw). 6 o 12 LUN, 8+2 RAID 6, dimensione segmento 512KiB Nessuna riserva	Dell EMC PowerVault ME4084. 84 unità SAS NL da 3,5", fino a 12 TB. Una configurazione: fino a 1.008 TB (spazio raw). 8 LUN, 8+2 RAID 6 lineari, dimensione blocco 128 KiB. 4 unità HDD di ricambio globali.

 

Il nuovo storage PowerVault ME4084 continua a utilizzare RAID 6 lineare 8+2 come unità di creazione di base con una nuova dimensione del blocco (dimensione del segmento) di 128 KiB e un valore read ahead di "dimensione stripe" selezionato per prestazioni ottimali. Inoltre, poiché ora abbiamo 84 unità, abbiamo 8 LUN basate su RAID 6 e 4 HDD di riserva globali configurati per sostituire immediatamente qualsiasi disco guasto. Ciò significa che questa soluzione può avere fino a 768 TB di spazio utilizzabile.

Prestazioni di I/O NSS 7.3-HA

Questo blog presenta i risultati dei test delle prestazioni di I/O per l'attuale soluzione NSS-HA, NSS7.3. Tutti i test delle prestazioni sono stati condotti in uno scenario HA senza errori per misurare la capacità massima della soluzione. I test si sono concentrati su tre tipi di modelli di I/O: letture e scritture sequenziali di grandi dimensioni, letture e scritture casuali di piccole dimensioni e tre operazioni sui metadati (creazione di file, statistiche e rimozione).
Un cluster di elaborazione a 32 nodi è stato utilizzato per generare il carico di lavoro per i test di benchmarking. I client e la configurazione NSS da 1.008 TB (dimensione di storage raw) sono stati connessi utilizzando InfiniBand EDR e il file system montato tramite IPoIB. Ogni test di benchmark di I/O è stato eseguito su una gamma di client per testare la scalabilità della soluzione. I dettagli sui client utilizzati sono elencati nella tabella successiva.

Tabella 2. Configurazione dei client (test delle prestazioni)

Modello server	PowerEdge C6420
Numero di server	Cluster di 32 server
CPU	CPU Intel(R) Xeon(R) Gold 6148 @ 2,40 GHz
RAM	192 GiB
Sistema operativo	Red Hat Enterprise Linux Server versione 7.4
Kernel	3.10.0-693.17.1.el7.x86_64
Adattatore di rete	Mellanox ConnectX-4 VPI IB EDR/100 GbE a porta singola QSFP28
Versione di OFED	MLNX_OFED-4.3.1.0.1.0

 

In questo studio sono stati utilizzati i benchmark IOzone e MDtest . IOzone è stato utilizzato per i test sequenziali e casuali. Per i test sequenziali, è stata utilizzata una dimensione della richiesta di 1.024 KiB. La quantità totale di dati trasferiti era di 256 GiB per garantire che la cache del server NFS fosse satura. I test casuali hanno utilizzato una dimensione della richiesta di 4 KiB e ogni client ha letto e scritto un file di 4 GiB. I test sui metadati sono stati eseguiti utilizzando il benchmark MDtest con OpenMPI e includevano operazioni di creazione, statistica e rimozione di file. (Fare riferimento all'Appendice A del white paper NSS7.0-HA per i comandi completi utilizzati nei test.)

Scritture e letture sequenziali IPoIB

Le Figure 2 e 3 mostrano le prestazioni di scrittura e lettura sequenziali. Poiché il cluster di test aveva 32 nodi, il data point di 64 thread è stato ottenuto utilizzando 32 client che eseguono 2 thread ciascuno.
Per NSS7.3-HA, il picco delle prestazioni di lettura è di 7 GB/sec e il picco delle prestazioni di scrittura è di quasi 5 GB/sec. Dai due dati emerge chiaramente che l'attuale soluzione NSS7.3-HA presenta prestazioni sequenziali più elevate rispetto alla versione precedente. Le letture sono migliorate fino al 18,7%, ma le prestazioni di scrittura sono particolarmente migliori, con prestazioni fino a 2,65 volte superiori (a 16 thread) rispetto alla soluzione precedente. Confrontando i valori delle prestazioni di picco, le scritture su NSS7.3-HA sono 2,13 volte più veloci e le letture sono migliori
del 12,5%.Ciò è dovuto in parte alla maggiore velocità interna SAS di 12 Gbps per tutti i componenti interni di PowerVault ME4084, inclusi gli HDD (PowerVault MD3460 era a 6 Gbps) che consente un throughput più elevato per LUN, ma anche ai nuovi controller di storage in grado di elaborare le informazioni più velocemente rispetto a PowerVault MD3 della generazione precedente.

Figura 2. Prestazioni di scrittura sequenziale di grandi dimensioni IPoIB

 

Figura 3. Prestazioni di lettura sequenziale di grandi dimensioni IPoIB

Scritture e letture casuali IPoIB

La Figura 4 e la Figura 5 mostrano le prestazioni di scrittura e lettura casuali.
Dalla figura, la scrittura casuale raggiunge prestazioni massime a 32 thread, mentre la versione precedente della soluzione raggiungeva un picco a 64 thread. Le prestazioni di lettura casuale aumentano costantemente su NSS 7.3 fino a 32 client e per la soluzione precedente il picco era a 16 client. Anche in questo caso, il nuovo storage mostra prestazioni superiori rispetto al predecessore, con un miglioramento delle scritture fino a 3,44 volte superiore (a 2 thread) e prestazioni di lettura superiori dell'85% (a 32 thread) rispetto al predecessore. Confrontando i picchi di prestazioni, la differenza è di circa il 13% nelle scritture casuali e dell 85% nelle letture casuali. Questi miglioramenti sono dovuti principalmente ai nuovi controller PowerVault ME4084 con capacità di elaborazione più veloci rispetto ai controller PowerVault MD3460.

Figura 4. Prestazioni di scrittura casuale IPoIB

Figura 5. Prestazioni di lettura casuale IPoIB

 

Operazioni sui metadati IPoIB

Le Figure 6, 7 e 8 mostrano rispettivamente i risultati delle operazioni di creazione, statistica e rimozione dei file. Poiché il cluster di elaborazione HPC ha solo 32 nodi di calcolo, nei grafici riportati di seguito, ogni client ha eseguito massimo un thread per un numero massimo di client fino a 32 e per un numero di thread di 64, 128, 256 e 512, ogni client ha eseguito 2, 4, 8 o 16 operazioni simultanee (thread).
Per le creazioni di file, rispetto alla soluzione precedente, la nuova soluzione mostra un miglioramento sostenuto di circa il doppio delle prestazioni con una differenza di picco (208%) a 32 client, quindi diminuisce leggermente, ma anche confrontando le prestazioni di picco per entrambe le soluzioni a 256 thread, la nuova soluzione è più veloce
del 30%.Le operazioni statistiche sono le più migliorate dal nuovo storage, dove i miglioramenti sono fino a 7,7 volte rispetto al predecessore a 256 thread e confrontando i picchi di prestazioni, NSS7.3 mostra quasi 6 volte il numero di operazioni statistico al secondo rispetto alla versione precedente di NSS.
Infine, le operazioni di rimozione presentano un miglioramento relativamente marginale, con la maggior parte dei data point con prestazioni pari o superiori al 33% rispetto alla soluzione precedente. Fatta eccezione per 128 thread in cui le prestazioni sono 2,21 volte migliori. Alle massime prestazioni, il nuovo storage raggiunge prestazioni quasi il 55% superiori rispetto al precedente sistema NSS.
Tutti questi miglioramenti sono dovuti ai dischi rigidi più veloci che utilizzano la velocità SAS3 (12 Gb/s) in generale, nonché ai nuovi controller PowerVault ME4084, capaci di aumentare IOPS e larghezza di banda.

Figura 6. Prestazioni delle operazioni di creazione di file IPoIB

 

 

 

Figura 8. Prestazioni delle operazioni di rimozione di file IPoIB

Conclusioni e lavoro futuro

Nel corso delle diverse generazioni, la soluzione NSS-HA è stata sottoposta a numerosi aggiornamenti hardware e software per offrire costantemente high availability, prestazioni più elevate e maggiore capacità di storage. In tutte queste versioni, la progettazione dell'architettura di base della famiglia di soluzioni NSS-HA è rimasta invariata. Per mostrare la differenza di prestazioni tra NSS7.3-HA e la versione precedente (NSS7.2-HA), sono stati confrontati i numeri delle prestazioni di entrambe le soluzioni, mostrando le prestazioni superiori dell'ultima versione della soluzione basata su PowerVault ME4084: 

•  Scrittura sequenziale fino a 2,65 volte più veloce e prestazioni di lettura fino al 18,7% più veloci.
  
•  Scrittura casuale fino a 3,44 volte più veloce e prestazioni di lettura casuale fino all'85% più veloci.
  
•  Fino a 2,1 volte il tasso di creazione, 7,7 volte il tasso di statistiche e 2,2 volte il tasso di rimozione.

  La fase successiva sarà caratterizzata dalla soluzione NSS7.3-HA connessa con adattatori Intel Omni-Path. Per informazioni dettagliate sulle soluzioni NSS-HA, consultare i white paper pubblicati:

•  Configurazioni high availability della soluzione di storage NFS HPC Dell, versione NSS2-HA, aprile 2011.
  
•  Configurazioni ad alta disponibilità della soluzione di storage NFS Dell HPC con grandi capacità, versione NSS3-HA pubblicata a febbraio 2012.
  
•  Configurazioni Dell HPC NFS Storage Solution High Availability (NSS-HA) con server Dell PowerEdge di dodicesima generazione, versione NSS4-HA, pubblicata a luglio 2012.
  
•  Soluzione di storage NFS HPC Dell - Configurazione ad alta disponibilità (NSS-HA) con array di storage Dell PowerVault MD3260/MD3060e, versione NSS4.5-HA aggiornata, pubblicata a maggio 2013.
  
•  Soluzione di storage Dell HPC NFS - Configurazioni NSS5-HA high availability, versione NSS5.0-HA, pubblicata a settembre 2013.
  
•  Soluzione di storage NFS HPC Dell - Configurazione ad alta disponibilità (NSS5.5-HA) con array di storage Dell PowerVault MD3460 e MD3060e, versione NSS5.5-HA pubblicata a settembre 2013.
  
•  Dell HPC NFS Storage Solution - High Availability (NSS6.0-HA) Configuration with Dell PowerEdge 13th Generation Servers, versione NSS6.0-HA, pubblicato nel mese di novembre 2014.
  
•  Dell HPC NFS Storage Solution - High Availability (NSS7.0-HA) Configuration, versione NSS7.0-HA, pubblicato nel mese di maggio 2016.

   

  Nota: per qualsiasi configurazione/deployment personalizzato, contattare il rappresentante Dell EMC per linee guida specifiche.