Solution de stockage NFS avec la dernière solution de stockage Dell EMC : résultats des performances
Resumen: HPC High Performance Computing, laboratoire d’innovation HPC et IA, stockage HPC, solution de stockage HPC, solution de stockage NFS, stockage XFS, stockage NFS, solution de stockage, RHEL7, RHEL7.5, stockage IB EDR, NSS, NSS-HA, NSS7.3, NSS7.3-HA, IOZone, MDTest ...
Síntomas
Rédigé par Mario Gallegos et Xin Chen, laboratoire d’innovation HPC et IA, octobre 2018
Resolución
Présentation
La dernière version de la solution Dell EMC Ready for HPC NFS Storage (NSS) avec haute disponibilité (solution NSS-HA) est NSS7.3-HA ; sa sortie est prévue plus tard ce mois-ci.Cette version de NSS intègre les nouvelles baies de stockage Dell EMC PowerVault ME4084 et Red Hat Enterprise Linux 7.5, et continue d’utiliser les processeurs de la famille de processeurs Intel Xeon Scalable (architecture nom de code Skylake) pour offrir des performances système globales supérieures à celles des solutions NSS-HA précédentes. Ce blog présente les résultats des tests de performances d’E/S pour cette dernière version de la solution NSS.
La figure 1 illustre la conception de la configuration NSS7.3-HA. Les principales différences entre NSS7.3-HA et son prédécesseur immédiat, NSS7.2-HA sont les suivantes :
- Baie de stockage back-end :
- NSS7.2-HA : PowerVault MD3460 + MD3060e en option (60 ou 120 disques durs)
- NSS7.3-HA : PowerVault ME4084 (84 disques durs)
- Système d'exploitation :
- NSS7.2-HA : RHEL 7,4
- NSS7.3-HA : Red Hat® Enterprise Linux® 7.5
Une autre amélioration majeure par rapport à NSS7.2-HA et NSS7.3-HA est la forte augmentation de la capacité maximale. Bien que NSS7.2-HA soit limité par la limite de prise en charge actuelle de Red Hat XFS de 500 To, après des tests et une validation approfondis dans nos laboratoires, Dell EMC et Red Hat ont conclu un accord de coopération prenant en charge les configurations NSS7.3-HA avec jusqu’à 768 To d’espace utile. Il s’agit d’un Dell EMC PowerVault ME4084 entièrement équipé de disques durs de 12 To, soit 1 008 To d’espace de stockage brut.
Architecture NSS-HA
La figure 1 illustre l’architecture NSS 7.3 à l’intérieur du rectangle en pointillés, intégrée dans le banc d’essai classique qui inclut les clients et le commutateur réseau public.Figure 1. Architecture et banc d’essai de 1 008 To d’espace brut (768 To utiles) NSS7.3-HA
Le tableau suivant récapitule les différents composants de la nouvelle solution NSS HA 7.3.
| Version NSS7.2-HA (avril 2018) |
Version NSS7.3-HA (octobre 2018) |
|
| Logiciel |
Red Hat Enterprise Linux 7.4, Red Hat Scalable File System (XFS) v4.5.0-12 |
Red Hat Enterprise Linux 7.5, Red Hat Scalable File System (XFS) v4.5.0-15 |
| Serveurs NFS |
Deux serveurs Dell PowerEdge R740. |
|
| Connectivité réseau externe |
EDR InfiniBand, 10 GbE ou Intel Omni-Path. |
|
| Connectivité Internet |
Gigabit Ethernet, commutateur Dell Networking S3048-ON |
|
| Version de l’OFED |
Mellanox OFED 4.3-1.0.1.0 |
Mellanox OFED 4.4-1.0.0 |
| Connexion directe au stockage |
Connexions SAS 12 Gbit/s. |
|
| Sous-système de stockage |
Dell EMC MD3460 + MD3060e en option. 60 à 120 disques 3,5 » NL SAS 4 To. |
Dell EMC PowerVault ME4084. 84 disques SAS NL 3,5 », jusqu’à 12To |
Le nouveau stockage PowerVault ME4084 continue d’utiliser le RAID 6 8+2 linéaire comme unité de construction de base, avec une nouvelle taille de bloc (taille de segment) de 128 Kio et une valeur de lecture anticipée de « taille de bande » sélectionnée pour des performances optimales. De plus, puisque nous avons maintenant 84 disques, nous avons 8 LUN basés sur les RAID 6 et 4 disques durs de secours globaux configurés pour remplacer immédiatement tout disque défaillant. Cela signifie que cette solution peut avoir jusqu’à 768 To d’espace utile.
Performances d’E/S NS7.3-HA
Ce blog présente les résultats des tests de performances d’E/S pour la solution NSS-HA actuelle, à savoir NSS7.3. Tous les tests de performances ont été réalisés dans un scénario de haute disponibilité sans défaillance afin de mesurer la capacité maximale de la solution. Les tests se sont concentrés sur trois types de modèles d’E/S : les lectures et écritures séquentielles volumineuses, les petites lectures et écritures aléatoires et trois opérations de métadonnées (création de fichiers, statistiques et suppressions).
Un cluster de calcul de 32 nœuds a été utilisé pour générer une charge applicative pour les tests d’analyse comparative. Les clients et la configuration NSS de 1 008 To (taille de stockage brute) ont été connectés à l’aide d’InfiniBand EDR et du système de fichiers monté via IPoIB. Chaque test d’évaluation des E/S a été exécuté sur une gamme de clients pour tester l’évolutivité de la solution. Des détails sur les clients utilisés sont répertoriés dans le tableau suivant.
| Modèle de serveur | PowerEdge C6420 |
| Nombre de serveurs | Cluster de 32 serveurs |
| Processeur | Processeur Intel(R) Xeon(R) Gold 6148 @ 2,40 GHz |
| RAM | 192 Gio |
| Système d’exploitation | Red Hat Enterprise Linux Server version 7.4 |
| Noyau | 3.10.0-693.17.1.el7.x86_64 |
| Carte réseau | Mellanox ConnectX-4 VPI IB EDR/100 GbE port unique QSFP28 |
| Version de l’OFED | MLNX_OFED-4.3.1.0.1.0 |
Les benchmarks IOzone et MDtest ont été utilisés dans cette étude. IOzone a été utilisé pour les tests séquentiels et aléatoires. Pour les tests séquentiels, une taille de demande de 1 024 Kio a été utilisée. La quantité totale de données transférées était de 256 Gio pour s’assurer que le cache du serveur NFS était saturé. Les tests aléatoires ont utilisé une taille de demande de 4 Kio et chaque client a lu et écrit un fichier de 4 Gio. Les tests de métadonnées ont été effectués à l’aide du point de référence MDtest avec OpenMPI et comprenaient des opérations de création, de statistiques et de suppression de fichiers. (Reportez-vous à l’annexe A du livre blanc NSS7.0-HA pour connaître les commandes complètes utilisées dans les tests.)
Écritures et lectures séquentielles IPoIB
Les figures 2 et 3 montrent les performances d’écriture et de lecture séquentielles. Étant donné que le cluster de test disposait de 32 nœuds, le point de données à 64 threads a été obtenu à l’aide de 32 clients exécutant chacun 2 threads.Pour le NSS 7.3-HA, les performances de lecture optimales sont de 7 Go/s et les performances d’écriture optimales sont de près de 5 Go/s. D’après les deux figures, il est évident que la solution NSS7.3-HA actuelle a des chiffres de performances séquentielles plus élevés que la version précédente. Les lectures sont jusqu’à 18,7 % meilleures, mais les performances d’écriture sont particulièrement meilleures avec des performances jusqu’à 2,65 fois supérieures (à 16 threads) à celles de la solution précédente. Si l’on compare les valeurs de performances optimales, les écritures sur NSS7.3-HA sont 2,13 fois plus rapides et les lectures sont 12,5 % meilleures.
Cela est dû en partie à la vitesse interne SAS plus élevée de 12 Gbit/s pour tous les composants internes du PowerVault ME4084, y compris les disques durs (le modèle PowerVault MD3460 était de 6 Gbit/s), permettant un débit plus élevé par LUN, mais également au fait que les nouveaux contrôleurs de stockage peuvent traiter les informations plus rapidement que le PowerVault MD3 de génération précédente.
Figure 2. Performances d’écriture séquentielle volumineuse de l’IPoIB
Figure 3. Performances de lecture séquentielle de grande taille IPoIB
Écritures et lectures aléatoires IPoIB
Les figures 4 et 5 montrent les performances d’écriture et de lecture aléatoires.D’après la figure, l’écriture aléatoire atteint des performances optimales à 32 threads, alors que la version précédente de la solution culminait à 64 threads. Les performances de lecture aléatoire augmentent régulièrement sur le NSS7.3 jusqu’à 32 clients et pour la solution précédente, le pic se situait à 16 clients. Là encore, le nouveau stockage affiche des performances supérieures à celles de son prédécesseur avec une amélioration jusqu’à 3,44 fois des écritures (à 2 threads) et des performances de lecture 85 % supérieures (à 32 threads) par rapport à son prédécesseur. Si l’on compare les performances optimales, la différence est d’environ 13 % pour les écritures aléatoires et de 85 % pour les lectures aléatoires. Ces améliorations sont principalement dues aux nouveaux contrôleurs PowerVault ME4084 qui offrent des capacités de traitement plus rapides que les contrôleurs PowerVault MD3460.
Figure 4. Performances d’écriture aléatoire IPoIB
Figure 5. Performances de lecture aléatoire IPoIB
Opérations de métadonnées IPoIB
La Figure 6, la Figure 7 et la Figure 8 montrent les résultats des opérations de création, de statistiques et de suppression de fichiers, respectivement. Étant donné que le cluster de calcul HPC ne dispose que de 32 nœuds de calcul, dans les graphiques ci-dessous, chaque client a exécuté un maximum d’un thread pour un nombre de clients allant jusqu’à 32, et pour un nombre de threads de 64, 128, 256 et 512, chaque client a exécuté 2, 4, 8 ou 16 opérations simultanées (threads).Pour la création de fichiers, par rapport à la solution précédente, la nouvelle solution affiche une amélioration soutenue d’environ deux fois les performances avec une différence maximale (208 %) à 32 clients, puis diminue légèrement, mais même en comparant les performances optimales pour les deux solutions à 256 threads, la nouvelle solution est 30 % plus rapide.
Les opérations statistiques sont les plus améliorées par le nouveau stockage, où les améliorations sont jusqu’à 7,7 fois supérieures à celles de son prédécesseur à 256 threads et si l’on compare les performances optimales, NSS 7.3 affiche près de 6 fois le nombre d’opérations statistiques par seconde que la version précédente de NSS.
Enfin, les opérations de suppression présentent une amélioration relativement marginale, la plupart des points de données affichant des performances supérieures ou égales à 33 % par rapport à la solution précédente. sauf pour 128 threads où les performances sont 2,21 fois meilleures. À des performances optimales, le nouveau stockage atteint des performances près de 55 % supérieures à celles du système NSS précédent.
Toutes ces améliorations sont dues aux disques durs plus rapides utilisant des vitesses SAS3 (12 Gbit/s) tout autour, ainsi qu’aux nouveaux contrôleurs PowerVault ME4084, capables d’augmenter les IOPS et la bande passante.
Figure 6. Performances de création de fichiers IPoIB
Figure 8. Performances de suppression de fichiers IPoIB
Conclusions et travaux futurs
Au fil des différentes générations de la solution, la solution NSS-HA a subi de nombreuses mises à jour matérielles et logicielles afin d’offrir en permanence une haute disponibilité, des performances plus élevées et une plus grande capacité de stockage. Dans toutes ces versions, la conception architecturale de base de la famille de solutions NSS-HA est restée inchangée. Afin de montrer la différence de performances entre NSS7.3-HA et la version précédente (NSS7.2-HA), les chiffres de performance des deux solutions ont été comparés, montrant les performances supérieures de la dernière version de la solution basée sur PowerVault ME4084 :
- Écriture séquentielle jusqu’à 2,65 fois supérieure et performances de lecture jusqu’à 18,7 % plus rapides.
- Jusqu’à 3,44 fois plus d’écriture aléatoire et performances de lecture aléatoire jusqu’à 85 % plus rapides.
- Jusqu’à 2,1 fois le taux de création, 7,7 fois le taux de statistiques et 2,2 fois le taux de suppression.
La phase suivante consistera à caractériser la solution NSS7.3-HA connectée aux adaptateurs Intel Omni-Path. Pour obtenir des informations détaillées sur les solutions NSS-HA, reportez-vous à nos livres blancs publiés :
- Dell HPC NFS Storage Solution High Availability Configurations, version NSS2-HA, publiée en avril 2011.
- Dell HPC NFS Storage Solution High Availability Configurations with Large Capacities, version NSS3-HA, publiée en février 2012.
- Configurations de la solution de stockage NFS Dell HPC (NSS-HA) avec les serveurs Dell PowerEdge de 12e génération, version NSS4-HA, publiée en juillet 2012.
- Solution de stockage NFS Dell HPC : configuration haute disponibilité (NSS-HA) avec les baies de stockage Dell PowerVault MD3260/MD3060e, version NSS4.5-HA mise à jour, publiée en mai 2013.
- Solution de stockage NFS Dell HPC - configurations NSS5-HA haute disponibilité, version NSS5.0-HA, publiée en septembre 2013.
- Solution de stockage NFS Dell HPC : configuration haute disponibilité (NSS5.5-HA) avec les baies de stockage Dell PowerVault MD3460 et MD3060e, version NSS5.5-HA, publiée en septembre 2013.
- Dell HPC NFS Storage Solution - High Availability (NSS6.0-HA) Configuration with Dell PowerEdge 13th Generation Servers, version NSS6.0-HA, publié en novembre 2014.
- Dell HPC NFS Storage Solution - High Availability (NSS7.0-HA) Configuration, version NSS7.0-HA, publiée en mai 2016.
Remarque : pour toute configuration/déploiement personnalisé, veuillez contacter votre représentant Dell EMC pour obtenir des instructions spécifiques.