Skip to main content
  • Place orders quickly and easily
  • View orders and track your shipping status
  • Create and access a list of your products

NFS-storageoplossing met de nieuwste Dell EMC storage -- prestatieresultaten (in het Engels)

Summary: HPC High Performance Computing, HPC en AI Innovation Lab, HPC Storage, HPC Storage Solution, NFS Storage Solution, XFS Storage, NFS Storage, Storage Solution, RHEL7, RHEL7.5, IB EDR Storage, NSS, NSS-HA, NSS7.3, NSS7.3-HA, IOZone, MDTest ...

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.

Symptoms

Geschreven door Mario Gallegos en Xin Chen, HPC en AI Innovation Lab, oktober 2018

Resolution

Overzicht

De nieuwste versie van de Dell EMC Ready Solution voor HPC NFS Storage (NSS) met hoge beschikbaarheid (NSS-HA-oplossing) is NSS7.3-HA, met release gepland voor later deze maand.
Deze release van NSS bevat de nieuwe Dell EMC PowerVault ME4084 storage-arrays en Red Hat Enterprise Linux 7.5, en blijft de CPU's uit de Intel Xeon schaalbare processorreeks (architectuur met codenaam Skylake) gebruiken om hogere algehele systeemprestaties te bieden dan eerdere NSS-HA-oplossingen. In deze blog presenteren we de resultaten van de I/O-prestatietests voor deze nieuwste versie van de NSS-oplossing.
Afbeelding 1 toont het ontwerp van de NSS7.3-HA-configuratie. De belangrijkste verschillen tussen NSS7.3-HA en zijn directe voorganger, NSS7.2-HA zijn:
  • Back-end storagearray:
    • NSS7.2-HA: PowerVault MD3460 + optionele MD3060e (60 of 120 HDD's)
    • NSS7.3-HA: PowerVault ME4084 (84 HDD's)
  • Besturingssysteem::
    • NSS7.2-HA: RHEL 7.4
    • NSS7.3-HA: Red Hat® Enterprise Linux® 7.5
Met uitzondering van items zoals noodzakelijke software- en firmware-updates, delen NSS7.2-HA en NSS7.3-HA hetzelfde HA-clusterontwerp en dezelfde basisstorageconfiguratie. (Raadpleeg de whitepaper NSS7.0-HA voor meer gedetailleerde informatie over de configuratie.)
Een andere grote verbetering ten opzichte van NSS7.2-HA en NSS7.3-HA is de grote toename van de maximale capaciteit. Hoewel NSS7.2-HA wordt beperkt door de huidige supportlimiet van Red Hat XFS van 500 TB, hebben Dell EMC en Red Hat na uitgebreide tests en validatie in onze laboratoria een samenwerkingsovereenkomst bereikt ter ondersteuning van NSS7.3-HA-configuraties met maximaal 768 TB bruikbare ruimte. Dat is een Dell EMC PowerVault ME4084 die volledig is gevuld met HDD's van 12 TB, oftewel 1008 TB aan onbewerkte storageruimte.

NSS-HA-architectuur

Afbeelding 1 toont de NSS 7.3-architectuur in de gestippelde rechthoek, ingebed in de typische testopstelling met clients en de openbare netwerkswitch.

Afbeelding 1. NSS7.3-HA, 1008 TB onbewerkte ruimte (768 TB bruikbaar) Architectuur en testbed

SLN314595_en_US__1image(6997)


De volgende tabel geeft een overzicht van de verschillende componenten van de nieuwe NSS HA 7.3-oplossing.
  

Tabel 1. Componenten voor NSS7.2-HA en NSS7.3-HA
 

NSS7.2-HA-release (april 2018)
"PowerEdge 14e generatie servers en MD3460 + MD3060e"

NSS7.3-HA-release (oktober 2018)
"PowerEdge 14e generatie server en op ME4084 gebaseerde oplossing"

Software

Red Hat Enterprise Linux 7.4,
Kernel 3.10.0-693.el7.x86_64

Red Hat Scalable File System (XFS) v4.5.0-12

Red Hat Enterprise Linux 7.5,
Kernel 3.10.0-862.el7.x86_64

Red Hat Scalable File System (XFS) v4.5.0-15

NFS-servers

Twee Dell PowerEdge R740 servers.
CPU: Dual Intel Xeon Gold 6136 @ 3,0 GHz, 12 cores per processor.
Geheugen: 12 x 16 GiB 2666 MT/s RDIMM's.

Externe netwerkconnectiviteit

EDR InfiniBand, 10 GbE of Intel Omni-Path.

Voor deze blog, Mellanox ConnectX-4 IB EDR/100 GbE.
Voor bestellingen, CX-5 IB EDR/100 GbE.

Interne connectiviteit

Gigabit Ethernet, switch Dell Networking S3048-ON

OFED-versie

Mellanox OFED 4.3-1.0.1.0

Mellanox OFED 4.4-1.0.0

Directe storageverbinding

12 Gbps SAS-verbindingen.

Subsysteem opslag

Dell EMC MD3460 + optioneel MD3060e.

60 – 120 – 3,5" NL SAS 4 TB schijven.
Twee configuraties, 240 of 480 TB (ruwe ruimte).
6 of 12 LUN's, 8+2 RAID 6, segmentgrootte 512KiB
Geen reserveonderdelen

Dell EMC PowerVault ME4084.

84 - 3,5" NL SAS-schijven, tot 12 TB.
Eén configuratie: tot 1008 TB (onbewerkte ruimte).
8 LUN's, lineair 8 + 2 RAID 6, chunkgrootte 128KiB.
4 Global HDD-reserverschijven.

 


De nieuwe PowerVault ME4084 storage blijft lineaire 8+2 RAID 6 gebruiken als de basisgebouweenheid met een nieuwe chunkgrootte (segmentgrootte) van 128 KiB en een read ahead-waarde van "stripe size" geselecteerd voor optimale prestaties. Aangezien we nu 84 schijven hebben, hebben we ook 8 LUN's op basis van de RAID 6's en 4 algemene reserve-HDD's geconfigureerd om elke defecte schijf onmiddellijk te vervangen. Dat betekent dat deze oplossing tot 768 TB bruikbare ruimte kan hebben.

NSS7.3-HA I/O-prestaties

In deze blog presenteren we de resultaten van de I/O-prestatietesten voor de huidige NSS-HA-oplossing, namelijk NSS7.3. Alle prestatietests werden uitgevoerd in een HA-storingsvrij scenario om de maximale capaciteit van de oplossing te meten. De tests waren gericht op drie typen I/O-patronen: grote opeenvolgende lees- en schrijfbewerkingen, kleine willekeurige lees- en schrijfbewerkingen en drie metadatabewerkingen (bestanden maken, stateren en verwijderen).
Een rekencluster met 32 knooppunten werd gebruikt om workload te genereren voor de benchmarktests. De clients en de NSS-configuratie van 1008 TB (ruwe storagegrootte) werden verbonden met behulp van InfiniBand EDR en het bestandssysteem werd via IPoIB gekoppeld. Om de schaalbaarheid van de oplossing te testen, werd elke I/O-benchmarktest uitgevoerd op verschillende clients. Details over de gebruikte clients staan in de volgende tabel.

Tabel 2. Clientconfiguratie (prestatietesten)
Servermodel PowerEdge C6420
Aantal servers 32 servercluster
CPU Intel(R) Xeon(R) Gold 6148 CPU @ 2,40 GHz
RAM 192 GiB
Besturingssysteem Red Hat Enterprise Linux Server release 7.4
Kern 3.10.0-693.17.1.el7.x86_64
Netwerkadapter Mellanox ConnectX-4 VPI IB EDR/100 GbE QSFP28 met één poort
OFED-versie MLNX_OFED-4.3.1.0.1.0

 


In dit onderzoek zijn de IOzone- en MDtest-benchmarks gebruikt. IOzone werd gebruikt voor de sequentiële en willekeurige tests. Voor sequentiële tests werd een aanvraaggrootte van 1024 KiB gebruikt. De totale hoeveelheid overgedragen data was 256 GiB om ervoor te zorgen dat de NFS-servercache verzadigd was. Willekeurige tests gebruikten een aanvraaggrootte van 4 KiB en elke client las en schreef een bestand van 4 GiB. Metadatatests werden uitgevoerd met behulp van de MDtest-benchmark met OpenMPI en omvatten bewerkingen voor het maken, stateren en verwijderen van bestanden. (Raadpleeg Bijlage A van de NSS7.0-HA-whitepaper voor de volledige opdrachten die in de tests worden gebruikt.)

Sequentiële schrijf- en leesbewerkingen op basis van IPoIB

De afbeeldingen 2 en 3 tonen de sequentiële schrijf- en leesprestaties. Aangezien het testcluster 32 knooppunten had, werd het datapunt van 64 threads verkregen met behulp van 32 clients die elk 2 threads uitvoerden.
Voor de NSS7.3-HA zijn de maximale leesprestaties 7 GB/sec en de maximale schrijfprestaties bijna 5 GB/sec. Uit de twee figuren blijkt duidelijk dat de huidige NSS7.3-HA-oplossing hogere sequentiële prestatiecijfers heeft dan de vorige versie. Leesbewerkingen zijn tot 18,7% beter, maar de schrijfprestaties zijn vooral beter met tot 2,65 keer (bij 16 threads) de prestaties van de vorige oplossing. Als we de piekprestatiewaarden vergelijken, zijn schrijfbewerkingen op NSS7.3-HA 2,13 keer sneller en leesbewerkingen 12,5% beter.
Dit is deels te wijten aan de hogere interne SAS-snelheid van 12 Gbps voor alle interne PowerVault ME4084-componenten, inclusief HDD's (PowerVault MD3460 was 6 Gbps), waardoor een hogere doorvoer per LUN mogelijk is, maar ook aan de nieuwe storagecontrollers die informatie sneller kunnen verwerken dan de vorige generatie PowerVault MD3.

Afbeelding 2. Grote sequentiële schrijfprestaties van IPoIB

SLN314595_en_US__2image(6989)

 

Afbeelding 3. Grote sequentiële leesprestaties van IPoIB

SLN314595_en_US__3image(6990)

Willekeurige schrijf- en leesbewerkingen via IPoIB

Afbeelding 4 en afbeelding 5 tonen de willekeurige schrijf- en leesprestaties.
Uit de afbeelding blijkt dat de willekeurige schrijfbewerking piekprestaties levert bij 32 threads, terwijl de vorige versie van de oplossing piekte bij 64 threads. De random read prestaties nemen gestaag toe op de NSS7.3 tot 32 clients en voor de vorige oplossing lag de piek op 16 clients. Nogmaals, de nieuwe storage toont zijn superieure prestaties ten opzichte van de voorganger met tot 3,44 keer betere schrijfbewerkingen (bij 2 threads) en 85% hogere leesprestaties (bij 32 threads) dan de voorganger. Als we de piekprestaties vergelijken, is het verschil ongeveer 13% bij willekeurige schrijfacties en 85% bij willekeurige leesbewerkingen. Deze verbeteringen zijn voornamelijk te danken aan de nieuwe PowerVault ME4084 controllers die snellere verwerkingsmogelijkheden hebben in vergelijking met de PowerVault MD3460 controllers.

Afbeelding 4. Willekeurige schrijfprestaties van IPoIB

SLN314595_en_US__4image(6991)

Afbeelding 5. Willekeurige leesprestaties van IPoIB

SLN314595_en_US__5image(6992)
 

IPoIB metadatabewerkingen

Afbeelding 6, Afbeelding 7 en Afbeelding 8 tonen de resultaten van respectievelijk bewerkingen voor het maken, stateren en verwijderen van bestanden. Aangezien het HPC-rekencluster slechts 32 rekenknooppunten heeft, heeft elke client in de onderstaande grafieken maximaal één thread uitgevoerd voor clienttellingen tot 32, en voor threadaantallen van 64, 128, 256 en 512 heeft elke client 2, 4, 8 of 16 gelijktijdige bewerkingen (threads) uitgevoerd.
Voor het maken van bestanden laat de nieuwe oplossing in vergelijking met de vorige oplossing een aanhoudende verbetering zien van ongeveer twee keer de prestaties met een piekverschil (208%) bij 32 clients, en neemt vervolgens iets af, maar zelfs als u de piekprestaties voor beide oplossingen vergelijkt met 256 threads, is de nieuwe oplossing 30% sneller.
Stat-bewerkingen zijn het meest verbeterd door de nieuwe opslag, waar verbeteringen zo hoog zijn als 7,7 keer van de voorganger met 256 threads en als u de piekprestaties vergelijkt, toont NSS7.3 bijna 6 keer het aantal stat-bewerkingen per seconde dan de vorige versie van NSS.
Ten slotte hebben verwijderingsbewerkingen een relatief marginale verbetering, waarbij de meeste datapunten op 33% of betere prestaties staan dan de vorige oplossing; Met uitzondering van 128 threads waar de prestaties 2,21 keer beter zijn. Bij piekprestaties behaalt de nieuwe storage bijna 55% hogere prestaties in vergelijking met het vorige NSS-systeem.
Al deze verbeteringen zijn te danken aan de snellere HDD's die overal SAS3-snelheden (12 Gbps) gebruiken, evenals de nieuwe PowerVault ME4084-controllers, die hogere IOP's en bandbreedte kunnen bieden.

Afbeelding 6. IPoIB-bestanden maken prestaties


SLN314595_en_US__6image(6993)

 

Afbeelding 7. IPoIB-bestanden stat-prestaties

 SLN314595_en_US__7image(6994)

 

Afbeelding 8. IPoIB-bestanden verwijderen-prestaties

 SLN314595_en_US__8image(6995)

Conclusies en toekomstig werk

In de loop van de verschillende generaties van de oplossing heeft de NSS-HA-oplossing vele hardware- en software-updates ondergaan om voortdurend hoge beschikbaarheid, hogere prestaties en een grotere opslagcapaciteit te bieden. In al deze versies is het kernarchitectuurontwerp van de NSS-HA-oplossingsfamilie ongewijzigd gebleven. Om het prestatieverschil tussen NSS7.3-HA en de vorige release (NSS7.2-HA) weer te geven, werden de prestatiecijfers van beide oplossingen gecontrasteerd, wat de superieure prestaties van de nieuwste versie van de oplossing op basis van PowerVault ME4084 aantoont: 

Affected Products

High Performance Computing Solution Resources, Dell EMC PowerVault ME4084
Article Properties
Article Number: 000133483
Article Type: Solution
Last Modified: 21 Feb 2021
Version:  3
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.