Soluzione di storage NFS Dell EMC HPC - Configurazione ad alta disponibilità (NSS7.4-HA)

Sommario

1. Panoramica della soluzione
2. Architettura NSS7.4-HA
3. Confronto dei componenti in NSS7.4-HA e NSS7.3-HA
4. Configurazione del banco di prova
5. Riepilogo delle prestazioni I/O di NSS7.4-HA
   • IPoIB - Scritture e letture sequenziali N-N
   • IPoIB - Scritture e letture casuali N-N
   • Operazioni sui metadati IPoIB
6. Conclusione
7. Riferimenti
   
    

---

Panoramica della soluzione

Questo blog descrive la soluzione di storage NFS Dell EMC HPC versione 7.4 (NSS7.4-HA), che utilizza processori Intel Xeon scalabili di seconda generazione, nome in codice "Cascade Lake".  Questi processori Xeon sono dotati di un massimo di 28 core, fino a 38,5 MB di cache di ultimo livello e sei canali di memoria da 2933 MT/s per socket.  Le caratteristiche principali dei processori Cascade Lake sono le attenuazioni hardware integrate contro gli attacchi di canale laterale, l' Intel DL Boost (VNNI) e il supporto per aumentare la velocità di clock e la velocità di memoria.

Cascade Lake e il suo predecessore Skylake includono una funzionalità denominata ADDDC (adaptive dguai dRAM dDevice ispositivo CORRECTION). ADDDC viene implementato nel runtime per mappare in modo dinamico i dispositivi DRAM guasti, continuando a fornire Single Device Data Correction (SDDC) e memoria ECC (Error-Correcting Code), con conseguente aumento della durata dei DIMM. Questa funzione viene attivata solo per i dispositivi DRAM x4 e non esegue alcuna operazione quando sono presenti dispositivi DRAM x8 nel sistema. Dal momento che la versione più recente di NSS-HA (7.4) utilizza solo la memoria da 16 GB, che rappresenta l'organizzazione x8, ADDDC non è disponibile e non è un'opzione regolabile nel BIOS. Tuttavia, se si utilizza una memoria da 32 GB, che è X4, ADDDC sarà disponibile come opzione ottimizzabile e si consiglia di essere impostata su Disabled (disabilitata) per favorire le prestazioni sulle funzionalità di RAS.

Si consiglia di configurare i server di NFS con il profilo HPC, come descritto nel Blog "caratterizzazione del BIOS per processori Intel Cascade Lake", che include l'ottimizzazione del BIOS per impostare il cluster Sub-NUMA abilitato, il logical processor disabled e il profilo di sistema impostati su "performance". Se si aggiorna un sistema esistente, assicurarsi che il BIOS venga prima aggiornato a una versione che supporti le CPU Cascade Lake prima di aggiornare le CPU nei processori Cascade Lake. Il team HPC Engineering presso HPC e AI Innovation Lab ha eseguito una serie di benchmark test con i server NSS dotati di processori Cascade Lake e ha confrontato i risultati con quelli ottenuti in precedenza dalla soluzione NSS7.3-HA che utilizzava la versione più recente dei server PowerEdge con processori della famiglia Xeon "Skylake-SP" della generazione precedente. In questo blog vengono visualizzati i risultati del benchmark e il confronto.

La soluzione di storage NFS fornita da Dell EMC è ottimizzata e ottimizzata per ottenere le migliori prestazioni.  Durante la configurazione della soluzione NSS7.4-HA, è opportuno notare i seguenti punti salienti:

1. Il sistema operativo minimo supportato per l'utilizzo dei processori Cascade Lake è Red Hat Enterprise Linux 7.6. Tuttavia, con la versione del kernel 3.10.0-957.el7, la condivisione NFS si blocca con un'attività, ad esempio kworker, che utilizza il 100% della CPU. La root cause del problema è il livello TCP non sincronizzato con lo stato di trasporto dei livelli sunrpc. Il problema è stato risolto con il pacchetto kernel-3.10.0-957.5.1.el7 o versioni successive. In questo modo, il sistema operativo di base utilizzato per questa soluzione è RHEL 7.6 e la versione del kernel utilizzata è kernel-3.10.0-957.5.1.el7. Per ulteriori informazioni, fare riferimento alla pagina all'indirizzo https://access.redhat.com/solutions/3742871.
2. Per la soluzione NSS7.4-HA, a meno che non siano installati i seguenti pacchetti, la risorsa nfsserver non si avvia a causa dell'esito negativo del servizio nfs-idmapd.service. Per ulteriori informazioni, fare riferimento alla pagina all'indirizzo https://access.redhat.com/solutions/3746891.
   • resource-agents-4.1.1-12.el7_6.4
   • resource-agents-aliyun-4.1.1-12.el7_6.4
   • resource-agents-gcp-4.1.1-12.el7_6.4 o versioni successive.
3. Le note di rilascio di RHEL7.6 attirano l'attenzione sul fatto che un bug nel livello I/O di LVM causa il danneggiamento dei dati nei primi 128 KB di spazio allocabile di un volume fisico.  Il problema è stato risolto con lvm2-2.02.180-10.el7_6.2 o versioni successive.  Assicurarsi quindi che il pacchetto lvm2 sia aggiornato alla versione più recente. Se l'aggiornamento di lvm2 non è un'opzione disponibile, la soluzione alternativa consiste nel non utilizzare i comandi LVM che modificano i metadati del gruppo di volumi, ad esempio lvcreate o lvextend, mentre i volumi logici nel gruppo di volumi sono in uso.

---

Architettura NSS7.4-HA

La figura 1 mostra la progettazione di NSS7.4-HA. Fatta eccezione per gli aggiornamenti software e firmware necessari, NSS7.4-HA e NSS7.3-HA condividono la stessa configurazione di storage e cluster HA. La coppia di server NFS nella configurazione attiva-passiva ad alta disponibilità è collegata a PowerVault ME4084. Esistono due schede SAS in ciascun server NFS. Ogni scheda dispone di un cavo SAS per ciascun controller nello storage condiviso, in modo che un singolo errore nella scheda o nel cavo SAS non influisca sulla disponibilità dei dati. Per informazioni dettagliate sulla configurazione, consultare il white paper su NSS7.3-HA. Architettura NSS7.4-HA

 

---

 

Confronto dei componenti in NSS7.4-HA e NSS7.3-HA

Anche se le soluzioni NSS-HA di Dell hanno ricevuto numerosi aggiornamenti hardware e software per offrire maggiore disponibilità, prestazioni più elevate e maggiore capacità di storage dalla prima versione di NSS-HA, la progettazione architettonica e le linee guida per l'installazione della famiglia di soluzioni NSS-HA rimangono invariate. In questa versione più recente e nella versione precedente, NSS7.3-HA condivide lo stesso storage backend, ovvero PowerVault ME4084. La tabella riportata di seguito fornisce un confronto tra i componenti della soluzione NSS7.4-HA più recente e della precedente soluzione NSS7.3-HA

 

Nel resto del blog verranno presentati il banco di prova e le informazioni sulle prestazioni I/O di NSS7.4-HA. Per illustrare la differenza in termini di prestazioni tra NSS7.4-HA e la versione precedente, vengono presentate anche le cifre delle prestazioni corrispondenti di NSS7.3-HA.

 

---

Configurazione del banco di prova

Il banco di prova utilizzato per valutare le prestazioni e le funzionalità della soluzione NSS7.4-HA è descritto di seguito. Le CPU utilizzate per il test delle prestazioni sono diverse da quelle selezionate per la soluzione, in quanto le CPU Xeon Gold 6240 non sono state ricevute in tempo per questo lavoro. Il piano è quello di ripetere alcuni test una volta che saranno disponibili i processori 6240 e modificare il report in base alle esigenze.
    

Tabella 4: NSS la configurazione del client 7.4-HA   

---

Riepilogo delle prestazioni I/O di NSS7.4-HA

In questa sezione vengono presentati i risultati dei test sulle prestazioni I/O per l'attuale soluzione NSS7.4. Tutti i test sulle prestazioni sono stati condotti in uno scenario privo di errori per misurare la capacità massima della soluzione. I test sono incentrati su tre tipi di modelli di I/O: letture e scritture sequenziali di grandi dimensioni, letture e scritture casuali di piccole dimensioni e tre operazioni di metadati (creazioni di file, statistica e rimozione di file). Come la versione precedente NSS 7.3-HA, la soluzione utilizza il programma di pianificazione di I/O di scadenza e i demoni di 256 NFS.

La configurazione di 840TB (raw storage size) è stata valutata con la connettività di rete IPoIB su EDR. È stato utilizzato un cluster di elaborazione a 32 nodi per generare carichi di lavoro per i test di benchmarking. Ogni test è stato eseguito su un intervallo di client per testare la scalabilità della soluzione.

In questo studio sono stati utilizzati i benchmark IOzone e mdtest. IOzone è stato utilizzato per i test sequenziali e casuali. Per i test sequenziali è stata utilizzata una dimensione di richiesta di 1024 KiB. La quantità totale di dati trasferiti è pari a 2 TB per garantire la saturazione della cache del server NFS. I test casuali utilizzavano una richiesta da 4 KiB e ciascun client leggeva e scriveva un file da 4 GiB. I test sui metadati sono stati eseguiti utilizzando il benchmark mdtest con OpenMPi e includevano operazioni di creazione di file, statistica e rimozione di file. Per i comandi completi usati nei test, fare riferimento all'appendice A del white paper su NSS7.3-HA.

 

IPoIB - Scritture e letture sequenziali N-N

Per valutare le letture e scritture sequenziali, il benchmark IOzone, versione 3.487, è stato utilizzato nella modalità di lettura e scrittura sequenziale. Questi test sono stati condotti su un numero di thread a partire da 1 in potenza di 2, fino a 64 thread. In ciascun thread è stato generato un numero uguale di file, poiché questo test funziona su un file per thread o su un caso N-N. È stata selezionata una dimensione di file aggregata di 2 TB, che viene divisa equamente tra il numero di thread all'interno di un determinato test.

La figura 2 fornisce un confronto tra le prestazioni di I/O sequenziali della versione di NSS 7,4-HA con quella della versione NSS 7.3-HA. Dalla figura si osserva che la versione più recente (NSS7.4) e la versione precedente (NSS7.3) presentano prestazioni di lettura ottimali simili, a circa 7 GB/s, e prestazioni di scrittura ottimali a circa 5 GB/s. Tuttavia, in alcuni thread è stata riscontrata una riduzione del 15-20% delle prestazioni di scrittura rispetto alla soluzione NSS7.3-HA. L'analisi di questa differenza di prestazioni è in corso. Le prestazioni di lettura hanno registrato un aumento di quasi il 45% nei thread 1 e 2 e un aumento del 18% nel thread 8. Per i thread superiori a 8, le prestazioni di lettura sono simili a quelle della soluzione NSS7.3-HA. L'aumento delle prestazioni di lettura a un numero ridotto di thread è probabilmente dovuto alle mitigazioni hardware che si verificano nei processori Cascade Lake a fronte di attacchi side-channel. Prestazioni I/O sequenziali IPoIB di grandi dimensioni




 

IPoIB - Scritture e letture casuali N-N

Per valutare le prestazioni I/O casuali, la versione 3.487 di IOzone è stata utilizzata in modalità casuale. I test sono stati condotti su un numero di thread a partire da 1 fino a 64 in potenza di 2. Le dimensioni di record scelte sono da 4 KB. Ogni client ha letto o scritto un file da 4 GiB per simulare accessi ai dati casuali di piccole dimensioni.  Poiché il cluster aveva solo 32 nodi, il data point 64-thread è stato ottenuto con 32 client che eseguono 2 thread ciascuno.

La figura 3 Mostra il confronto tra le prestazioni di I/O di scrittura casuale e di lettura di NSS 7,4-HA con quello di NSS 7.3-HA. Dalla figura si osserva che NSS7.4 offre prestazioni ottimali di scrittura casuale simili a NSS7.3-HA: circa 7.300 IOPS.  Nella soluzione NSS7.4-HA, per il numero di thread 1 e 2, le prestazioni di scrittura sono inferiori di circa il 14% rispetto alla versione precedente della soluzione. L'analisi di questa condizione è in corso.  Le prestazioni di lettura casuale aumentano in modo costante nella soluzione NSS7.4 e raggiungono la situazione ottimale di 16607 IOPS a 64 thread. Nella versione precedente, NSS7.3-HA, le prestazioni massime di 28811 IOPS erano state raggiunte in 32 thread, ovvero un aumento del 42% rispetto alle prestazioni ottimali raggiunte per le letture casuali nella soluzione NSS7.4-HA. Prestazioni I/O casuali IPoIB



 

Operazioni sui metadati IPoIB

Per valutare le prestazioni dei metadati del sistema, è stata utilizzata la versione 1.9.3 dello strumento MDTest. La distribuzione MPI utilizzata è stata la versione 1.10.7 di OpenMPi.  I test dei metadati sono stati eseguiti mediante la creazione di 960000 file per un numero di thread inferiore a 32 e l'aumento del numero di file, per testare la scalabilità della soluzione come illustrato nella tabella 5. Test dei metadati: Distribuzione di file e directory tra thread 

Numero di thread	Numero di file per directory	Numero di directory per thread	Numero totale di file
1	3.000	320	960.000
2	3.000	160	960.000
4	3.000	80	960.000
8	3.000	40	960.000
16	3.000	20	960.000
32	3.000	10	960.000
64	3.000	8	1.536.000
128	3.000	4	1.436.000
256	3.000	4	3.072.000
512	3.000	4	6.144.000

Le figure 4, 5 e 6 mostrano rispettivamente i risultati delle operazioni di creazione di file, statistica e rimozione di file. Poiché il cluster di elaborazione HPC dispone di 32 nodi di calcolo, nei grafici riportati di seguito ciascun client ha eseguito un massimo di un thread per nodo fino a 32. Per i conteggi fino a 64, 128, 256 e 512, ciascun nodo ha eseguito 2, 4, 8 o 16 operazioni simultanee. Figura 4. IPoIB di creare


prestazioni
di file Figura 5: Prestazioni stat di IPoIB Fiel



Figura 6: IPoIB Fie rimozione delle prestazioni



 

---

Conclusione

Nella tabella riportata di seguito vengono riepilogate le differenze delle prestazioni riscontrate tra la soluzione NSS7.4 più recente e la soluzione NSS7.3 precedente.  Tabella 5: Confronto tra le prestazioni delle versioni NSS7.4 e NSS7.3-HA

Storage NFS di Dell EMC HPC	NSS7.4-HA	NSS7.4-HA NSS7.3-HA
Picco 1MB scrive il picco: riduzione del 1,4%	4.834 MB/s	4.906 MB/s
Picco 1MB di lettura massimo: riduzione del 0,7%	7.024 MB/s	7.073 MB/s
Random 4 KB scrive il picco: riduzione del 0,7%	7.290 IOPS	7.341 IOPS
4 KB casuale legge il picco: riduzione del 42%	16.607 IOPS	28.811 IOPS
Crea operazioni/secondo picco: riduzione del 1,1%	54.197 OPS	54.795 OPS
Operazioni stat/secondo picco: riduzione del 35%	522.231 OPS	808.317 OPS
Rimuovi operazioni/secondo picco: riduzione del 35%	47.345 OPS	73.320 OPS

Dai risultati di cui sopra, possiamo concludere che l'attuale soluzione NSS7.4-HA fornisce prestazioni paragonabili a quelle della soluzione precedente, NSS7.3-HA. Sono pianificati test di benchmark con CPU Xeon Gold 6240 con 18 core per processore, per capire se la riduzione delle prestazioni per le letture casuali e la riduzione delle prestazioni a un numero superiore di thread nelle operazioni di statistica e rimozione di file sono attribuibili al numero inferiore di core utilizzati nelle CPU Xeon Gold 6244 (8 core per processore) per il benchmarking delle prestazioni della soluzione NSS7.4-HA.

---

Riferimenti

Per informazioni dettagliate sulle soluzioni NSS-HA, consultare i white paper pubblicati

 

•  Dell HPC NFS Storage Solution - High Availability (NSS6.0-HA) Configuration with Dell PowerEdge 13th Generation Servers, versione NSS6.0-HA, pubblicato nel mese di novembre 2014.
•  Dell HPC NFS Storage Solution - High Availability (NSS7.0-HA) Configuration, versione NSS7.0-HA, pubblicato nel mese di maggio 2016.
•  Dell EMC Ready Solution for HPC NFS Storage, versione NSS7.3-HA, pubblicato nel mese di marzo 2019.