Solution Dell EMC Ready pour les sciences de la vie HPC : Tests de débit du pipeline BWA-GATK avec actualisation du processeur Cascade Lake et lustre ME4

Solution Dell EMC Ready pour le stockage Lustre
Nombre de nœuds	1 serveur Dell EMC PowerEdge R640 en tant que Gestionnaire intégré pour Lustre (IML) 2 serveurs Dell EMC PowerEdge R740 en tant que serveur de métadonnées (MDS) 2 serveurs Dell EMC PowerEdge R740 en tant que serveur de stockage en mode objet (OSS)
Processeurs	Serveur IML : Deux serveurs MDS et OSS Intel Xeon Gold 5118 à 2,3 GHz  : Deux processeurs Intel Xeon Gold 6136 à 3 GHz
Mémoire	Serveur IML : 12 x 8 Go 2 666 MT/s Serveurs RDIMM DDR4 MDS et OSS : 24 barrettes RDIMM DDR4 de 16 Gio à 2 666 MT/s
Contrôleurs de stockage externes	2 adaptateurs HBA SAS Dell 12 Gbit/s (sur chaque MDS) 4 adaptateurs HBA SAS Dell 12 Gbit/s (sur chaque OSS)
Boîtiers de stockage en mode objet	4 ME4084 avec un total de 336 disques durs SAS NL de 8 To à 7 200 tr/min
Boîtier de stockage de métadonnées	1 me4024 avec 24 disques SSD SAS de 960 Go. Prend en charge jusqu’à 4,68 inodes B
Contrôleurs RAID	Contrôleurs RAID SAS duplex dans les boîtiers ME4084 et ME4024
Système d’exploitation	CentOS 7.5 x86_64 Red Hat Enterprise Linux (RHEL) 7.5 x86_64
Version du BIOS	1.4.5
Version INTEL Omni-Path IFS	10.8.0.0
Version du système de fichiers Lustre	2.10.4
Version IML	4.0.7.0

Les données de test ont été choisies à partir de l’un des génomes Platinum d’Illumina. ERR194161 a été traité avec Illumina HiSeq 2000 soumis par Illumina et peut être obtenu auprès d’EMBL-EBI. L’identifiant DE L’ADN de cette personne est NA12878. La description des données du site Web lié montre que cet exemple a une >profondeur de couverture de 30 fois.

Évaluation des performances

Performances d’un seul échantillon de plusieurs nœuds

Dans la Figure 1, le runtime dans différents nombres d’échantillons et de nœuds de calcul avec 50 données de séquençage du génome entier (WGS) est résumé. Les tests effectués ici sont conçus pour démontrer les performances au niveau du serveur, et non pour des comparaisons sur des composants individuels. Les points de données de la Figure 1 sont calculés en fonction du nombre total d’échantillons, un échantillon par nœud de calcul (axe X dans la figure) qui sont traités simultanément. Les détails des informations sur le pipeline BWA-GATK peuvent être obtenus à partir du site Web du Broad Institute (3). Le nombre maximal de nœuds de calcul utilisés pour les tests est de 64 C6420s. Les modèles C6420 avec Lustre ME4 présentent un comportement de mise à l’échelle plus efficace que lustre MD3.

 
Figure 1 Comparaison des performances entre Lustre MD3 et Lustre ME4

Plusieurs exemples de performances de plusieurs nœuds

Une méthode classique d’exécution du pipeline NGS consiste à exécuter plusieurs échantillons sur un nœud de calcul et à utiliser plusieurs nœuds de calcul pour optimiser le débit du processus de données NGS. Le nombre de nœuds de calcul utilisés pour les tests est de 64 nœuds de calcul C6420 et le nombre d’échantillons par nœud est de cinq échantillons. Jusqu’à 320 échantillons sont traités simultanément pour estimer le nombre maximal de génomes par jour sans échec de tâche.
Comme le montre la Figure 2, un seul nœud de calcul C6420 peut traiter 3,24 génomes humains entiers sur 50 par jour lorsque 5 échantillons sont traités simultanément. Pour chaque échantillon, 7 cœurs et 30 Go de mémoire sont alloués. 

 
Figure 2 Tests de débit avec jusqu’à 64 C6420s et lustre ME4

320 génomes humains entiers sur 50 peuvent être traités avec 64 nœuds de calcul C6420 en 40 heures.  En d’autres termes, les performances de la configuration de test se résument à 194 génomes par jour pour l’ensemble du génome humain avec une profondeur de couverture de 50 fois.

Conclusion

La taille des données de WGS ne cesse de croître. La taille moyenne actuelle de WGS est de 50 fois. C’est 5 fois plus qu’un WGS standard il y a 4 ans lorsque nous avons commencé à comparer le pipeline BWA-GATK. L’augmentation des données n’affecte pas la capacité du côté stockage, car la plupart des applications du pipeline sont également limitées par la vitesse d’horloge du processeur. Par conséquent, avec la taille croissante des données, le pipeline s’exécute plus longtemps plutôt que de générer plus d’écritures.
Toutefois, il existe un plus grand nombre de fichiers temporaires générés au cours du processus, car plus les données doivent être parallélisées, et ce nombre accru de fichiers temporaires ouverts en même temps épuise la limite de fichiers ouverts dans un système d’exploitation Linux. L’une des applications ne parvient pas à se terminer en mode silencieux en atteignant la limite du nombre de fichiers ouverts. Une solution simple consiste à augmenter la limite à >150 000. 
Néanmoins, la ready solution avec Lustre ME4 en tant qu’espace de travail offre une meilleure capacité de débit que la version précédente. Désormais, 64 nœuds Ready Solution marque 194 génomes par jour de puissance de traitement pour 50 x WGS.

Ressources 

1. Enquête sur les outils d’analyse des variantes des données de séquençage du génome de nouvelle génération. Pabinger S, Dander A, Fischer M, Snajder R, Sperk M, Efremova M, Krabicvb B, Speicher MR, Zschovb J, Traajoski Z. 2, s.l. : Brief Bioinform, 2014 Mar, Vol. 15 (2). 10,1093/bbs086.
2. Dell EMC Ready Solution for HPC Lustre Storage.  (L’article n’est plus disponible pour référence, extrait par l’équipe HPC)
3. Kit d’outils d’analyse du génome. https://software.broadinstitute.org/gatk/