Řešení Dell EMC Ready pro superpočíta zařízení v přírodních vědách: Testy propustnosti kanálu BWA-GATK s procesorem Cascade Lake a Lustre ME4 Refresh

Řešení Dell EMC Ready pro úložiště Lustre
Počet uzlů	1x Dell EMC PowerEdge R640 jako integrated manager pro Lustre (IML) 2x Dell EMC PowerEdge R740 jako server metadat (MDS) 2x Dell EMC PowerEdge R740 jako object storage Server (OSS)
Procesory	Server IML: Dva procesory Intel Xeon Gold 5118 s frekvencí 2,3 GHz pro servery MDS a OSS: Dva procesory Intel Xeon Gold 6136 s frekvencí 3,00 GHz
Paměť	Server IML: 12 × 8 GB serverů DDR4 2 666 MT/s RDIMMs MDS a OSS: 24 x 16 GB paměti 2 666 MT/s DDR4 RDIMM
Řadiče externího úložiště	2 adaptéry Dell 12 Gb/s SAS HBA (na každém zařízení MDS) 4x Adaptéry Dell 12 Gb/s SAS HBA (na každém operačním systému)
Skříně úložiště objektů	4x ME4084 s celkem 336 × 8TB pevnými disky NL, 7 200 ot./min. SAS
Skříň úložiště metadat	1x ME4024 s 24 960GB disky SSD SAS Podporuje až 4,68 B inodes
Řadiče RAID	Duplexní řadiče SAS RAID ve skříních ME4084 a ME4024
Operační systém	CentOS 7.5 x86_64 Red Hat Enterprise Linux (RHEL) 7.5 x86_64
Verze systému BIOS	1.4.5
Verze Intel Omni-Path IFS	10.8.0.0
Verze systému souborů Lustre	2.10.4
Verze IML	4.0.7.0

Testovací data byla vybrána z jednoho ze zařízení Platinum Genomes společnosti Platinum. společnost ERR194161 byla zpracována spolu se společnostíQuumina HiSeq 2000, kterou odeslala společnost Sadumu, a lze ji získat od společnosti EMBL-EBI. Identifikátor DNA tohoto jednotlivce je NA12878. Popis dat z propojených webových stránek ukazuje, že tato ukázka má 30násobnou >hloubku pokrytí.

Vyhodnocení výkonu

Jeden vzorový výkon více uzlů

Na obrázku 1 je shrnuta doba provozu v různých množstvích vzorových a výpočetních uzlů s 50násobným sekvenčním datem celého genomu (WGS). Zde provedené testy jsou navrženy tak, aby předváděly výkon na úrovni serveru, nikoli pro porovnání jednotlivých komponent. Datové body na obrázku 1 se vypočítávají na základě celkového počtu ukázek, jedné ukázce na každý výpočetní uzel (osa X na obrázku), které jsou zpracovávány souběžně. Podrobnosti o kanálu BWA-GATK naleznete na webové stránce Broad Institute (3). Maximální počet výpočetních uzlů použitých pro testy je 64 x C6420s. Modely C6420s se systémem Lustre ME4 vykazují lepší chování škálování než řešení Lustre MD3.

 
Obrázek 1 Porovnání výkonu mezi Lustre MD3 a Lustre ME4

Vícenásobný výkon více uzlů

Typickým způsobem spuštění kanálu NGS je spustit na výpočetním uzlu více vzorových položek a využít více výpočetních uzlů k maximalizaci propustnosti datového procesu NGS. Počet výpočetních uzlů použitých pro testy je 64 výpočetních uzlů C6420 a počet ukázek na uzel je pět vzorových položek. Současně je zpracováno až 320 ukázek, aby se odhadl maximální počet genomů za den bez selhání úlohy.
Jak je znázorněno na obrázku 2, jeden výpočetní uzel C6420 dokáže zpracovat 3,24 z 50x celých genomů denně, když je současně zpracováno 5 ukázek. Pro každou ukázku je přiděleno 7 jader a 30 GB paměti. 

 
Obrázek 2 Testy propustnosti až u modelu 64 C6420s a Lustre ME4

320 celých 50 celých genomů lze zpracovat s 64 výpočetními uzly C6420 za 40 hodin.  Jinými slovy, výkon testovací konfigurace shrnuje 194 genomů denně pro celý genom s 50násobnou hloubkou pokrytí.

Závěr

S rostoucí velikostí dat sítě WGS se neustále zvyšuje. Aktuální průměrná velikost WGS je 50x. Je to pětkrát větší než před 4 lety, když jsme vytvořili srovnávací test kanálu BWA-GATK. Rostoucí data nenamáhá kapacitu bočního úložiště, protože většina aplikací v kanálu je také omezována taktovací rychlostí procesoru. Díky rostoucí velikosti dat tedy kanál běží déle, než generuje více zápisů.
V průběhu procesu se však generuje větší počet dočasných souborů, protože je potřeba paralelizovat více dat, a tento zvýšený počet dočasných souborů současně vyčerpá limit otevření souborů v operačním systému Linux. Jedna z aplikací se nedokončí tiše tím, že dosáhne limitu počtu otevřených souborů. Jednoduchým řešením je zvýšit limit na >150 000 ot./min. 
Řešení Ready Solution s procesorem Lustre ME4 má však vyšší propustnost než předchozí verze. Nyní 64 uzlů Ready Solution označuje výpočetní výkon 194 genomů denně pro 50x WGS.

Zdroje 

1. Průzkum nástrojů pro variantní analýzu sekvenčních dat nové generace. Pabinger S, Dpalcová A, Fischer M, Snajder R, Sperk M, Efremova M, Krabichler B, Speicher MR, Zschocke J, Trapalcová Z. 2, s.l. : Brief Bioinform, 2014, březen, svazek 15 (2). 10.1093/bbs086/bbs093/bbs086.
2. Řešení Dell EMC Ready pro úložiště HPC Lustre.  (Článek již není k dispozici pro referenci, stažen týmem HPC)
3. Sada nástrojů pro analýzu genomu. https://software.broadinstitute.org/gatk/