Évolutivité des solutions Dell Ready pour le stockage HPC BeeGFS

Comment faire évoluer la solution de stockage hautes performances Dell BeeGFS en termes de capacité ou de performances, ou les deux ?

Voir les informations dans la section Résolution.

Sommaire

1. Introduction
2. Base Configurations
3. Calcul de l’espace utile BeeGFS
4. Configurations évolutives
5. Caractérisation des performances
6. Conclusion et travaux futurs
    

---

Introduction

Ce blog traite de l’évolutivité des solutions Dell EMC Ready solutions for HPC BeeGFS Storage qui ont été annoncées récemment.  L’architecture BeeGFS se compose de quatre services principaux : le service de gestion, le service de métadonnées, le service de stockage et le service client. Il est possible d’exécuter n’importe quelle combinaison de ces quatre services principaux, y compris tous, sur le même serveur, car les rôles et le matériel ne sont pas étroitement intégrés dans le cas de BeeGFS.  Dans une « solution hyperconvergée », les quatre services s’exécutent sur le même serveur. Cette configuration n’est pas recommandée pour les environnements stratégiques, car les applications client consomment généralement des ressources qui peuvent avoir un impact sur les performances des services de stockage. La solution Dell EMC utilise des serveurs de stockage dédiés et un serveur de métadonnées et de stockage à double objectif pour fournir une solution de stockage hautes performances et évolutive. Il est possible de faire évoluer le système en ajoutant des serveurs de stockage supplémentaires à un système existant. Dans ce blog, nous présenterons les configurations avec différents nombres de serveurs de stockage et les performances qui peuvent être attendues avec ces configurations.

---

Base Configurations

La solution de stockage BeeGFS, conçue pour fournir un système de fichiers de travail hautes performances, utilise les composants matériels suivants :

• Management Server
  • R640, double intel Xeon Gold 5218 2,3 GHz, 16 cœurs, 96 Go (12 modules RDIMM 8 Go 2 666 MT/s), 6 x 15 000 tr/min SAS 300 Go, H740P
• Serveurs de métadonnées et de stockage
  • R740xd, 2 processeurs Intel Xeon Platinum 8268 à 2,90 GHz, 24 cœurs, 384 Go (12 modules RDIMM 32 Go 2 933 MT/s)
  • Carte BOSS avec 2 disques SSD SATA M.2 de 240 Go dans RAID 1 pour le système d’exploitation
  • 24 disques Intel 1,6 To, NVMe, Mixed Use Express Flash, disques SFF 2,5 pouces, RAID logiciel

Le serveur de gestion exécute le service de surveillance BeeGFS. Le serveur de métadonnées utilise les 12 disques de la zone NUMA 0 pour héberger les cibles de métadonnées (MDT), tandis que les 12 disques restants sur la zone NUMA 1 hébergent les cibles de stockage (ST). Un serveur de métadonnées dédié n’est pas utilisé, car les exigences de capacité de stockage pour les métadonnées BeeGFS sont très petites. Les métadonnées et les services et cibles de stockage sont isolés sur des nœuds NUMA distincts afin d’établir une séparation considérable des charges applicatives. Les serveurs de stockage utilisés dans la configuration disposent de trois services de stockage s’exécutant par zone NUMA, six au total par serveur. Pour plus d’informations, reportez-vous au blog d’annonce. La Figure 1 présente les deux configurations de base qui ont été testées et validées dans le laboratoire d’innovation en matière d’IA et HPC de Dell EMC.

Figure 1 : Base Configurations

La petite configuration se compose de trois serveurs R740xd. Il a un total de 15 cibles de stockage. La configuration moyenne comporte 6 serveurs R740xd et dispose d’un total de 33 cibles de stockage. L’utilisateur peut commencer par une configuration « petite » ou « moyenne » et peut ajouter des serveurs de stockage ou de métadonnées en fonction des besoins pour augmenter l’espace de stockage et les performances globales, ou le nombre de performances de fichiers et de métadonnées, respectivement. Le Tableau 1 présente les données de performances des configurations de base qui ont été testées et validées de manière approfondie dans le laboratoire d’innovation en matière d’IA et HPC de Dell EMC.

Tableau 1 : Détails sur la capacité et les performances des configurations de base

 

---

Calcul de l’espace utile BeeGFS

L’espace utile estimé est calculé en Tio (puisque la plupart des outils affichent l’espace utile en unités binaires) à l’aide de la formule suivante :

Espace utile BeeGFS en Tio= (0,99* nombre de disques* taille en To * (10^12/2^40)

Dans la formule ci-dessus, 0,99 est le facteur pris en compte en supposant de manière prudente qu’il y a un temps système supplémentaire de 1 % à partir du système de fichiers.  Pour obtenir le nombre de disques pour le stockage, 12 disques du MDS sont également inclus. Cela est dû au fait que, dans le MDS, les 12 disques de la zone NUMA 0 sont utilisés pour les métadonnées et les 12 disques de la zone NUMA 1 sont utilisés pour le stockage. Le dernier facteur de la formule 10^12/2^40 consiste à convertir l’espace utile de To en Tio.

---

Configurations évolutives

La solution de stockage hautes performances BeeGFS a été conçue pour être flexible et permet d’adapter facilement et de manière transparente les performances et/ou la capacité en ajoutant des serveurs supplémentaires, comme indiqué ci-dessous :

Tableau 2 : Détails de la capacité et des performances des configurations à l’échelle

 

---

Caractérisation des performances

Les performances des différentes configurations ont été testées en créant des pools de stockage. La petite configuration comporte 15 cibles de stockage et chaque serveur de stockage supplémentaire ajoute six cibles de stockage supplémentaires. Par conséquent, dans le but de tester les performances des différentes configurations, des pools de stockage ont été créés de 15 à 39 cibles de stockage (incréments de six pour les petites, petites+1, petites+2, moyennes, moyennes+1). Pour chacun de ces pools, trois itérations de benchmark iozone ont été exécutées, chacune avec un à 1 024 threads (par deux incréments). La méthodologie de test adoptée est la même que celle décrite dans le blog d’annonce . Les figures 3 et 4 montrent les performances d’écriture et de lecture des configurations évolutives respectivement, avec les performances maximales de chacune des configurations mises en surbrillance pour référence prête :


 
Figure 3 :  Performances d’écriture des configurations évolutives


Figure 4 :  Lire les performances des configurations évolutives

Remarque :

Le pool de stockage désigné a été créé uniquement dans le but explicite de caractériser les performances des différentes configurations.  Lors de l’évaluation des performances de la configuration moyenne détaillée dans le blog d’annonce, toutes les 33 cibles se trouvaient dans le « pool par défaut » uniquement. La sortie de la commande beegfs-ctl --liststoragepools indiquée ci-dessous montre l’attribution des cibles de stockage :

# beegfs-ctl --liststoragepools
Pool ID Pool Description Targets Buddy Groups
======= ================== ============================ ============================
1 Default 1,2,3,4,5,6,7,8,9,10,11,12,
                                                 13,14,15,16,17,18,19,20,21,
22,23,24,25,26,27,28,29,30,
31,32,33  

---

Conclusion et travaux futurs

Ce blog a abordé l’évolutivité des solutions Dell EMC Ready solutions for HPC BeeGFS Storage et a mis en évidence les performances du débit de lecture et d’écriture séquentielles, pour différentes configurations. Restez à l’écoute de la 3e partie de cette série de blog qui abordera les fonctionnalités supplémentaires de BeeGFS et mettra en évidence l’utilisation de « StorageBench », l’analyse comparative des cibles de stockage intégrée de BeeGFS. Dans le cadre des étapes suivantes, nous publierons un livre blanc plus tard avec les performances des métadonnées, l’évaluation des performances IOR N-1 et des détails supplémentaires sur les considérations de conception, le réglage et la configuration. 

Références

[1] Solutions Dell EMC Ready pour le stockage HPC BeeGFS :  
https://www.dell.com/support/article/sln319381/[2] Documentation BeeGFS : 
https://www.beegfs.io/wiki/[3] Comment connecter deux interfaces sur le même sous-réseau : 
https://access.redhat.com/solutions/30564[4] Conception de référence de l’accès à la mémoire directe PCI Express à l’aide de la mémoire externe : https://www.intel.com/content/www/us/en/programmable/documentation/nik1412547570040.html#nik1412547565760