Overzicht

De nieuwste versie van de Dell EMC Ready Solution voor HPC NFS Storage (NSS) met hoge beschikbaarheid (NSS-HA-oplossing) is NSS7.3-HA, met release gepland voor later deze maand.
Deze release van NSS bevat de nieuwe Dell EMC PowerVault ME4084 storage-arrays en Red Hat Enterprise Linux 7.5, en blijft de CPU's uit de Intel Xeon schaalbare processorreeks (architectuur met codenaam Skylake) gebruiken om hogere algehele systeemprestaties te bieden dan eerdere NSS-HA-oplossingen. In deze blog presenteren we de resultaten van de I/O-prestatietests voor deze nieuwste versie van de NSS-oplossing.
Afbeelding 1 toont het ontwerp van de NSS7.3-HA-configuratie. De belangrijkste verschillen tussen NSS7.3-HA en zijn directe voorganger, NSS7.2-HA zijn:

• Back-end storagearray:
  • NSS7.2-HA: PowerVault MD3460 + optionele MD3060e (60 of 120 HDD's)
  • NSS7.3-HA: PowerVault ME4084 (84 HDD's)
• Besturingssysteem::
  • NSS7.2-HA: RHEL 7.4
  • NSS7.3-HA: Red Hat® Enterprise Linux® 7.5

Met uitzondering van items zoals noodzakelijke software- en firmware-updates, delen NSS7.2-HA en NSS7.3-HA hetzelfde HA-clusterontwerp en dezelfde basisstorageconfiguratie. (Raadpleeg de whitepaper NSS7.0-HA voor meer gedetailleerde informatie over de configuratie.)
Een andere grote verbetering ten opzichte van NSS7.2-HA en NSS7.3-HA is de grote toename van de maximale capaciteit. Hoewel NSS7.2-HA wordt beperkt door de huidige supportlimiet van Red Hat XFS van 500 TB, hebben Dell EMC en Red Hat na uitgebreide tests en validatie in onze laboratoria een samenwerkingsovereenkomst bereikt ter ondersteuning van NSS7.3-HA-configuraties met maximaal 768 TB bruikbare ruimte. Dat is een Dell EMC PowerVault ME4084 die volledig is gevuld met HDD's van 12 TB, oftewel 1008 TB aan onbewerkte storageruimte.

NSS-HA-architectuur

Afbeelding 1 toont de NSS 7.3-architectuur in de gestippelde rechthoek, ingebed in de typische testopstelling met clients en de openbare netwerkswitch.

Afbeelding 1. NSS7.3-HA, 1008 TB onbewerkte ruimte (768 TB bruikbaar) Architectuur en testbed

De volgende tabel geeft een overzicht van de verschillende componenten van de nieuwe NSS HA 7.3-oplossing.
  

Tabel 1. Componenten voor NSS7.2-HA en NSS7.3-HA

	NSS7.2-HA-release (april 2018) "PowerEdge 14e generatie servers en MD3460 + MD3060e"	NSS7.3-HA-release (oktober 2018) "PowerEdge 14e generatie server en op ME4084 gebaseerde oplossing"
Software	Red Hat Enterprise Linux 7.4, Kernel 3.10.0-693.el7.x86_64 Red Hat Scalable File System (XFS) v4.5.0-12	Red Hat Enterprise Linux 7.5, Kernel 3.10.0-862.el7.x86_64 Red Hat Scalable File System (XFS) v4.5.0-15
NFS-servers	Twee Dell PowerEdge R740 servers. CPU: Dual Intel Xeon Gold 6136 @ 3,0 GHz, 12 cores per processor. Geheugen: 12 x 16 GiB 2666 MT/s RDIMM's.
Externe netwerkconnectiviteit	EDR InfiniBand, 10 GbE of Intel Omni-Path. Voor deze blog, Mellanox ConnectX-4 IB EDR/100 GbE. Voor bestellingen, CX-5 IB EDR/100 GbE.
Interne connectiviteit	Gigabit Ethernet, switch Dell Networking S3048-ON
OFED-versie	Mellanox OFED 4.3-1.0.1.0	Mellanox OFED 4.4-1.0.0
Directe storageverbinding	12 Gbps SAS-verbindingen.
Subsysteem opslag	Dell EMC MD3460 + optioneel MD3060e. 60 – 120 – 3,5" NL SAS 4 TB schijven. Twee configuraties, 240 of 480 TB (ruwe ruimte). 6 of 12 LUN's, 8+2 RAID 6, segmentgrootte 512KiB Geen reserveonderdelen	Dell EMC PowerVault ME4084. 84 - 3,5" NL SAS-schijven, tot 12 TB. Eén configuratie: tot 1008 TB (onbewerkte ruimte). 8 LUN's, lineair 8 + 2 RAID 6, chunkgrootte 128KiB. 4 Global HDD-reserverschijven.

 

De nieuwe PowerVault ME4084 storage blijft lineaire 8+2 RAID 6 gebruiken als de basisgebouweenheid met een nieuwe chunkgrootte (segmentgrootte) van 128 KiB en een read ahead-waarde van "stripe size" geselecteerd voor optimale prestaties. Aangezien we nu 84 schijven hebben, hebben we ook 8 LUN's op basis van de RAID 6's en 4 algemene reserve-HDD's geconfigureerd om elke defecte schijf onmiddellijk te vervangen. Dat betekent dat deze oplossing tot 768 TB bruikbare ruimte kan hebben.

NSS7.3-HA I/O-prestaties

In deze blog presenteren we de resultaten van de I/O-prestatietesten voor de huidige NSS-HA-oplossing, namelijk NSS7.3. Alle prestatietests werden uitgevoerd in een HA-storingsvrij scenario om de maximale capaciteit van de oplossing te meten. De tests waren gericht op drie typen I/O-patronen: grote opeenvolgende lees- en schrijfbewerkingen, kleine willekeurige lees- en schrijfbewerkingen en drie metadatabewerkingen (bestanden maken, stateren en verwijderen).
Een rekencluster met 32 knooppunten werd gebruikt om workload te genereren voor de benchmarktests. De clients en de NSS-configuratie van 1008 TB (ruwe storagegrootte) werden verbonden met behulp van InfiniBand EDR en het bestandssysteem werd via IPoIB gekoppeld. Om de schaalbaarheid van de oplossing te testen, werd elke I/O-benchmarktest uitgevoerd op verschillende clients. Details over de gebruikte clients staan in de volgende tabel.

Tabel 2. Clientconfiguratie (prestatietesten)

Servermodel	PowerEdge C6420
Aantal servers	32 servercluster
CPU	Intel(R) Xeon(R) Gold 6148 CPU @ 2,40 GHz
RAM	192 GiB
Besturingssysteem	Red Hat Enterprise Linux Server release 7.4
Kern	3.10.0-693.17.1.el7.x86_64
Netwerkadapter	Mellanox ConnectX-4 VPI IB EDR/100 GbE QSFP28 met één poort
OFED-versie	MLNX_OFED-4.3.1.0.1.0

 

In dit onderzoek zijn de IOzone- en MDtest-benchmarks gebruikt. IOzone werd gebruikt voor de sequentiële en willekeurige tests. Voor sequentiële tests werd een aanvraaggrootte van 1024 KiB gebruikt. De totale hoeveelheid overgedragen data was 256 GiB om ervoor te zorgen dat de NFS-servercache verzadigd was. Willekeurige tests gebruikten een aanvraaggrootte van 4 KiB en elke client las en schreef een bestand van 4 GiB. Metadatatests werden uitgevoerd met behulp van de MDtest-benchmark met OpenMPI en omvatten bewerkingen voor het maken, stateren en verwijderen van bestanden. (Raadpleeg Bijlage A van de NSS7.0-HA-whitepaper voor de volledige opdrachten die in de tests worden gebruikt.)

Sequentiële schrijf- en leesbewerkingen op basis van IPoIB

De afbeeldingen 2 en 3 tonen de sequentiële schrijf- en leesprestaties. Aangezien het testcluster 32 knooppunten had, werd het datapunt van 64 threads verkregen met behulp van 32 clients die elk 2 threads uitvoerden.
Voor de NSS7.3-HA zijn de maximale leesprestaties 7 GB/sec en de maximale schrijfprestaties bijna 5 GB/sec. Uit de twee figuren blijkt duidelijk dat de huidige NSS7.3-HA-oplossing hogere sequentiële prestatiecijfers heeft dan de vorige versie. Leesbewerkingen zijn tot 18,7% beter, maar de schrijfprestaties zijn vooral beter met tot 2,65 keer (bij 16 threads) de prestaties van de vorige oplossing. Als we de piekprestatiewaarden vergelijken, zijn schrijfbewerkingen op NSS7.3-HA 2,13 keer sneller en leesbewerkingen 12,5% beter.
Dit is deels te wijten aan de hogere interne SAS-snelheid van 12 Gbps voor alle interne PowerVault ME4084-componenten, inclusief HDD's (PowerVault MD3460 was 6 Gbps), waardoor een hogere doorvoer per LUN mogelijk is, maar ook aan de nieuwe storagecontrollers die informatie sneller kunnen verwerken dan de vorige generatie PowerVault MD3.

Afbeelding 2. Grote sequentiële schrijfprestaties van IPoIB

 

Afbeelding 3. Grote sequentiële leesprestaties van IPoIB

Willekeurige schrijf- en leesbewerkingen via IPoIB

Afbeelding 4 en afbeelding 5 tonen de willekeurige schrijf- en leesprestaties.
Uit de afbeelding blijkt dat de willekeurige schrijfbewerking piekprestaties levert bij 32 threads, terwijl de vorige versie van de oplossing piekte bij 64 threads. De random read prestaties nemen gestaag toe op de NSS7.3 tot 32 clients en voor de vorige oplossing lag de piek op 16 clients. Nogmaals, de nieuwe storage toont zijn superieure prestaties ten opzichte van de voorganger met tot 3,44 keer betere schrijfbewerkingen (bij 2 threads) en 85% hogere leesprestaties (bij 32 threads) dan de voorganger. Als we de piekprestaties vergelijken, is het verschil ongeveer 13% bij willekeurige schrijfacties en 85% bij willekeurige leesbewerkingen. Deze verbeteringen zijn voornamelijk te danken aan de nieuwe PowerVault ME4084 controllers die snellere verwerkingsmogelijkheden hebben in vergelijking met de PowerVault MD3460 controllers.

Afbeelding 4. Willekeurige schrijfprestaties van IPoIB

Afbeelding 5. Willekeurige leesprestaties van IPoIB

 

IPoIB metadatabewerkingen

Afbeelding 6, Afbeelding 7 en Afbeelding 8 tonen de resultaten van respectievelijk bewerkingen voor het maken, stateren en verwijderen van bestanden. Aangezien het HPC-rekencluster slechts 32 rekenknooppunten heeft, heeft elke client in de onderstaande grafieken maximaal één thread uitgevoerd voor clienttellingen tot 32, en voor threadaantallen van 64, 128, 256 en 512 heeft elke client 2, 4, 8 of 16 gelijktijdige bewerkingen (threads) uitgevoerd.
Voor het maken van bestanden laat de nieuwe oplossing in vergelijking met de vorige oplossing een aanhoudende verbetering zien van ongeveer twee keer de prestaties met een piekverschil (208%) bij 32 clients, en neemt vervolgens iets af, maar zelfs als u de piekprestaties voor beide oplossingen vergelijkt met 256 threads, is de nieuwe oplossing 30% sneller.
Stat-bewerkingen zijn het meest verbeterd door de nieuwe opslag, waar verbeteringen zo hoog zijn als 7,7 keer van de voorganger met 256 threads en als u de piekprestaties vergelijkt, toont NSS7.3 bijna 6 keer het aantal stat-bewerkingen per seconde dan de vorige versie van NSS.
Ten slotte hebben verwijderingsbewerkingen een relatief marginale verbetering, waarbij de meeste datapunten op 33% of betere prestaties staan dan de vorige oplossing; Met uitzondering van 128 threads waar de prestaties 2,21 keer beter zijn. Bij piekprestaties behaalt de nieuwe storage bijna 55% hogere prestaties in vergelijking met het vorige NSS-systeem.
Al deze verbeteringen zijn te danken aan de snellere HDD's die overal SAS3-snelheden (12 Gbps) gebruiken, evenals de nieuwe PowerVault ME4084-controllers, die hogere IOP's en bandbreedte kunnen bieden.

Afbeelding 6. IPoIB-bestanden maken prestaties

 

 

 

Afbeelding 8. IPoIB-bestanden verwijderen-prestaties

Conclusies en toekomstig werk

In de loop van de verschillende generaties van de oplossing heeft de NSS-HA-oplossing vele hardware- en software-updates ondergaan om voortdurend hoge beschikbaarheid, hogere prestaties en een grotere opslagcapaciteit te bieden. In al deze versies is het kernarchitectuurontwerp van de NSS-HA-oplossingsfamilie ongewijzigd gebleven. Om het prestatieverschil tussen NSS7.3-HA en de vorige release (NSS7.2-HA) weer te geven, werden de prestatiecijfers van beide oplossingen gecontrasteerd, wat de superieure prestaties van de nieuwste versie van de oplossing op basis van PowerVault ME4084 aantoont: 

•  Tot 2,65 keer de sequentiële schrijfbewerking en tot 18,7% snellere leesprestaties.
  
•  Tot 3,44 keer de willekeurige schrijfbewerking en tot 85% snellere willekeurige leesprestaties.
  
•  Tot 2,1 keer de maaksnelheid, 7,7 keer de stat-snelheid en 2,2 keer de verwijderingssnelheid.

  In de volgende fase wordt de NSS7.3-HA-oplossing gekarakteriseerd die is verbonden met Intel Omni-Path-adapters. Gedetailleerde informatie over NSS-HA-oplossingen vindt u in onze gepubliceerde whitepapers:

•  Dell HPC NFS Storage Solution High Availability Configurations, releaseversie NSS2-HA, gepubliceerd in april 2011.
  
•  Dell HPC NFS storageoplossing met hoge beschikbaarheid en grote capaciteiten, releaseversie NSS3-HA, gepubliceerd in februari 2012.
  
•  Dell HPC NFS Storage Solution High Availability (NSS-HA) configuraties met Dell PowerEdge 12e generatie servers, releaseversie NSS4-HA, gepubliceerd in juli 2012.
  
•  Dell HPC NFS storageoplossing - hoge beschikbaarheid (NSS-HA) configuratie met Dell PowerVault MD3260/MD3060e storagearrays, releaseversie NSS4.5-HA bijgewerkt, gepubliceerd in mei 2013.
  
•  Dell HPC NFS storageoplossing - NSS5-HA-configuraties met hoge beschikbaarheid, releaseversie NSS5.0-HA, gepubliceerd in september 2013.
  
•  Dell HPC NFS storageoplossing - hoge beschikbaarheid (NSS5.5-HA) configuratie met Dell PowerVault MD3460 en MD3060e storagearrays, releaseversie NSS5.5-HA, gepubliceerd in september 2013.
  
•  Dell HPC NFS Storage Solution - Configuratie met hoge beschikbaarheid (NSS6.0-HA) met Dell PowerEdge 13e generatie-servers, releaseversie NSS6.0-HA, gepubliceerd in november 2014.
  
•  Dell HPC NFS Storage Solution - Configuratie met hoge beschikbaarheid (NSS7.0-HA), releaseversie NSS7.0-HA, gepubliceerd in mei 2016.

   

  Opmerking: neem voor elke aangepaste configuratie/implementatie contact op met uw Dell EMC-vertegenwoordiger voor specifieke richtlijnen.