Scalabilità di Dell Ready Solutions for HPC BeeGFS Storage

Come dimensionare la soluzione di storage a prestazioni elevate Dell BeeGFS in termini di capacità, prestazioni o entrambe?

Consultare le informazioni nella sezione Risoluzione.

Sommario

1. Introduzione
2. Configurazioni di base
3. Calcolo dello spazio utilizzabile beeGFS
4. Configurazioni scalabili
5. Caratterizzazione delle prestazioni
6. Conclusioni e lavoro futuro
    

---

Introduzione

Questo blog illustra la scalabilità di Dell EMC Ready Solutions for HPC BeeGFS Storage , annunciata di recente.  L'architettura BeeGFS è costituita da quattro servizi principali, il servizio di gestione, il servizio di metadati, il servizio di storage e il servizio client. È possibile eseguire qualsiasi combinazione di questi quattro servizi principali, inclusi tutti, sullo stesso server, perché i ruoli e l'hardware non sono strettamente integrati nel caso di BeeGFS.  In una "soluzione iperconvergente", tutti e quattro i servizi vengono eseguiti sullo stesso server. Questa configurazione non è consigliata per gli ambienti critici a livello di prestazioni poiché le applicazioni client consumano solitamente risorse che potrebbero influire sulle prestazioni dei servizi di storage. La soluzione Dell EMC utilizza storage server dedicati e uno storage server e metadati a doppio scopo per fornire una soluzione di storage scalabile e a prestazioni elevate. È possibile dimensionare il sistema aggiungendo ulteriori storage server a un sistema esistente. In questo blog, presenteremo configurazioni con un numero diverso di storage server e le prestazioni che ci si può aspettare con queste configurazioni.

---

Configurazioni di base

La soluzione di storage BeeGFS, progettata per fornire un file system scratch a prestazioni elevate, utilizza i seguenti componenti hardware:

• Management Server
  • R640, doppia Intel Xeon Gold 5218 da 2,3 GHz, 16 core, 96 GB (12 RDIMM da 8 GB a 2.666 MT/s), 6 SAS da 300 GB a 15.000 rpm, H740P
• Storage server e metadati
  • R740xd, 2 CPU Intel Xeon Platinum 8268 da 2,90 GHz, 24 core, 384 GB (12 RDIMM da 32 GB a 2.933 MT/s)
  • Scheda BOSS con 2 SSD SATA M.2 da 240 GB in RAID 1 per il sistema operativo
  • 24x, Intel 1,6 TB, NVMe, Express Flash per utilizzo misto, unità SFF 2,5, SOFTWARE RAID

Il server di gestione esegue il servizio di monitoraggio BeeGFS. Il server di metadati utilizza le 12 unità sulla zona NUMA 0 per ospitare le destinazioni di metadati (MDT), mentre le restanti 12 unità sulla zona NUMA 1 ospitano le destinazioni di storage (ST). Un server di metadati dedicato non viene utilizzato perché i requisiti di capacità di storage per i metadati BeeGFS sono molto piccoli. I metadati e le destinazioni di storage e i servizi sono isolati su nodi NUMA separati in modo da stabilire una notevole separazione dei carichi di lavoro. Gli storage server utilizzati nella configurazione dispongono di tre servizi di storage in esecuzione per zona NUMA, sei in totale per server. Per ulteriori informazioni, consulta il blog sull'annuncio. La Figura 1 mostra le due configurazioni di base che sono state testate e convalidate presso il Dell EMC HPC and AI Innovation Lab.

Figura 1. Configurazioni di base

La configurazione di piccole dimensioni è costituita da tre server R740xd. Ha un totale di 15 destinazioni di storage. La configurazione di medie dimensioni dispone di 6 server R740xd e dispone di un totale di 33 destinazioni di storage. L'utente può iniziare con una configurazione "Small" o con la configurazione "Medium" e può aggiungere server di storage o metadati in base alle esigenze per aumentare lo spazio di storage e le prestazioni complessive, oppure il numero di file e le prestazioni dei metadati, rispettivamente. La tabella 1 mostra i dati sulle prestazioni delle configurazioni di base che sono state testate e convalidate ampiamente presso il Dell EMC HPC and AI Innovation Lab.

Tabella 1. Dettagli su capacità e prestazioni delle configurazioni di base

 

---

Calcolo dello spazio utilizzabile beeGFS

Lo spazio utilizzabile stimato viene calcolato in TiB (poiché la maggior parte degli strumenti mostra spazio utilizzabile in unità binarie) utilizzando la seguente formula:

Spazio utilizzabile BeeGFS in TiB= (dimensione 0,99* # unità* in TB * (10^12/2^40)

Nella formula precedente, 0,99 è il fattore a cui è arrivato supponendo in modo conservativo che vi sia un overhead dell'1% dal file system.  Per raggiungere il numero di unità per lo storage, sono incluse anche 12 unità dall'MDS. Ciò è dovuto al fatto che, nell'MDS, le 12 unità nella zona NUMA 0 vengono utilizzate per i metadati e le 12 unità nella zona 1 NUMA vengono utilizzate per lo storage. L'ultimo fattore nella formula 10^12/2^40 è quello di convertire lo spazio utilizzabile da TB a TiB.

---

Configurazioni scalabili

La soluzione di storage ad alte prestazioni BeeGFS è stata progettata per offrire flessibilità e scalare in modo semplice e trasparente le prestazioni e/o la capacità aggiungendo ulteriori server, come illustrato di seguito:

Tabella 2: dettagli su capacità e prestazioni delle configurazioni con scalabilità

 

---

Caratterizzazione delle prestazioni

Le prestazioni delle varie configurazioni sono state testate mediante la creazione di storage pool. La configurazione di piccole dimensioni ha 15 destinazioni di storage e ogni storage server aggiuntivo aggiunge altre sei destinazioni di storage. Pertanto, allo scopo di testare le prestazioni delle varie configurazioni, sono stati creati storage pool da 15 a 39 destinazioni di storage (incrementi di sei per piccole, piccole+1, piccole+2, medie, medie+1). Per ciascuno di questi pool, sono state eseguite tre iterazioni del benchmark iozone, ciascuna con uno a 1024 thread (in potenza di due incrementi). La metodologia di test adottata è identica a quella descritta nel blog dell'annuncio . Le figure 3 e 4 mostrano rispettivamente le prestazioni di scrittura e lettura delle configurazioni scalabili, con le massime prestazioni di ciascuna configurazione evidenziata come riferimento pronto:


 
Figura 3.  Prestazioni di scrittura delle configurazioni


scalabiliFigura 4:  Leggi le prestazioni delle configurazioni

scalabiliNota:

Lo storage pool a cui si fa riferimento è stato creato solo per lo scopo esplicito di caratterizzare le prestazioni di configurazioni diverse.  Durante la valutazione delle prestazioni della configurazione media descritta in dettaglio nel blog dell'annuncio, tutte le 33 destinazioni erano solo nel "pool predefinito". L'output del comando beegfs-ctl --liststoragepools riportato di seguito mostra l'assegnazione delle destinazioni di storage:

# beegfs-ctl --liststoragepools
Pool ID Pool Description Targets More Groups
======= ================== ============================ ============================
1 Default 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12,
                                                 13, 14, 15, 16, 17, 18, 19, 20, 21,
22, 23, 24, 25, 26, 27, 28, 29, 30,
31, 32, 33  

---

Conclusioni e lavoro futuro

Questo blog ha parlato della scalabilità di Dell EMC Ready Solutions for HPC BeeGFS Storage e ha evidenziato le prestazioni per il throughput di lettura e scrittura sequenziale, per varie configurazioni. Restate sintonizzati per la parte 3 di questa serie di blog che discuterà delle funzionalità aggiuntive di BeeGFS e illustrerà l'utilizzo di "StorageBench", il benchmark degli obiettivi di storage integrato di BeeGFS. Come parte dei passaggi successivi, pubblicheremo un white paper più tardi con le prestazioni dei metadati, la valutazione delle prestazioni di IOR N-1 e ulteriori dettagli su considerazioni di progettazione, ottimizzazione e configurazione. 

Riferimenti

[1] Dell EMC Ready Solutions for HPC BeeGFS Storage:  
https://www.dell.com/support/article/sln319381/[2] Documentazione di BeeGFS: 
https://www.beegfs.io/wiki/[3] Come connettere due interfacce sulla stessa subnet: 
https://access.redhat.com/solutions/30564[4] Progettazione di riferimento per l'accesso alla memoria PCI Express Direct con memoria esterna: https://www.intel.com/content/www/us/en/programmable/documentation/nik1412547570040.html#nik1412547565760