Übersicht

Die neueste Version von Dell EMC Ready Solution for HPC NFS Storage (NSS) with High Availability (NSS-HA-Lösung) ist NSS 7.3-HA, die Veröffentlichung ist für Ende dieses Monats geplant.
Diese Version von NSS umfasst die neuen Dell EMC PowerVault ME4084-Storage-Arrays und Red Hat Enterprise Linux 7.5 und verwendet weiterhin die CPUs der skalierbaren Intel Xeon Prozessorreihe (Codename Skylake), um eine höhere Gesamtsystemleistung als frühere NSS-HA-Lösungen zu bieten. In diesem Blog werden die Ergebnisse der I/O-Leistungstests für diese neueste Version der NSS-Lösung vorgestellt.
Abbildung 1 zeigt das Design der NSS7.3-HA-Konfiguration. Die wichtigsten Unterschiede zwischen NSS7.3-HA und seinem direkten Vorgänger NSS7.2-HA sind:

• Back-end-Storage-Array:
  • NSS7.2-HA: PowerVault MD3460 + optional MD3060e (60 oder 120 HDDs)
  • NSS7.3-HA: PowerVault ME4084 (84 Festplattenlaufwerke)
• Betriebssystem:
  • NSS7.2-HA: RHEL 7.4
  • NSS7.3-HA: Red Hat® Enterprise Linux® 7.5

Abgesehen von den erforderlichen Software- und Firmwareupdates weisen NSS7.2-HA und NSS7.3-HA dasselbe HA-Clusterdesign und dieselbe grundlegende Storage-Konfiguration auf. (Ausführlichere Informationen zur Konfiguration
finden Sie im Whitepaper NSS 7.0-HA.) Eine weitere wichtige Verbesserung gegenüber NSS7.2-HA und NSS7.3-HA ist die deutliche Steigerung der maximalen Kapazität. Obwohl NSS 7.2-HA durch das aktuelle Red Hat XFS-Supportlimit von 500 TB eingeschränkt ist, haben Dell EMC und Red Hat nach umfangreichen Tests und Validierungen in unseren Labors eine Kooperationsvereinbarung getroffen, die NSS 7.3-HA-Konfigurationen mit bis zu 768 TB nutzbarem Speicherplatz unterstützt. Dabei handelt es sich um einen Dell EMC PowerVault ME4084, der vollständig mit 12-TB-HDDs oder 1.008 TB Rohspeicherplatz bestückt ist.

NSS-HA-Architektur

Abbildung 1 zeigt die NSS 7.3-Architektur innerhalb des gepunkteten Rechtecks, eingebettet in die typische Testumgebung, die Clients und den Switch für öffentliche Netzwerke umfasst.

Abbildung 1. NSS 7.3-HA 1.008 TB Rohspeicherplatz (768 TB nutzbar) Architektur und Testumgebung

In der nächsten Tabelle sind die verschiedenen Komponenten der neuen Lösung NSS HA 7.3 zusammengefasst.
  

Tabelle 1: Komponenten für NSS7.2-HA und NSS7.3-HA

	NSS 7.2-HA-Version (April 2018) "PowerEdge-Server der 14. Generation und MD3460 + MD3060e"	NSS 7.3-HA-Version (Oktober 2018) "PowerEdge-Server der 14. Generation und ME4084-basierte Lösung"
Software	Red Hat Enterprise Linux 7.4, Kernel 3.10.0-693.el7.x86_64 Red Hat Scalable File System (XFS) Version 4.5.0-12	Red Hat Enterprise Linux 7.5, Kernel 3.10.0-862.el7.x86_64 Red Hat Scalable File System (XFS) Version 4.5.0-15
NFS-Server	Zwei Dell PowerEdge R740-Server. CPU: Dual Intel Xeon Gold 6136 @ 3,0 GHz, 12 Cores pro Prozessor. Arbeitsspeicher: 12 x 16-GiB-RDIMMs mit 2.666 MT/s.
Externe Netzwerkkonnektivität	EDR InfiniBand, 10 GbE oder Intel Omni-Path. In diesem Blog: Mellanox ConnectX-4 IB EDR/100 GbE. Für Bestellungen: CX-5 IB EDR/100 GbE.
Interne Konnektivität	Gigabit-Ethernet, Switch Dell Networking S3048-ON
OFED-Version	Mellanox OFED 4.3 – 1.0.1.0	Mellanox OFED 4.4-1.0.0
Direct Storage-Verbindung	SAS-Verbindungen mit 12 Gbit/s
Speichersubsystem	Dell EMC MD3460 + optionales MD3060e. 60 – 120 – 3,5"-NL-SAS-4-TB-Laufwerke. Zwei Konfigurationen, 240 oder 480 TB (Rohspeicher) 6 oder 12 LUNs, 8+2 RAID 6, Segmentgröße 512 KB Keine Ersatzlaufwerke	Dell EMC PowerVault ME4084. 84 – 3,5"-NL-SAS-Laufwerke, bis zu 12 TB Eine Konfiguration: bis zu 1.008 TB (Rohspeicherplatz). 8 LUNs, lineares 8+2 RAID 6, Blockgröße 128 KiB 4 globale Ersatz-HDDs

 

Der neue PowerVault ME4084-Storage verwendet weiterhin lineares 8+2-RAID 6 als grundlegende Baueinheit mit einer neuen Blockgröße (Segmentgröße) von 128 KiB und einem Read-Ahead-Wert von "Stripe Size", der für optimale Performance ausgewählt wurde. Da wir jetzt 84 Laufwerke haben, haben wir außerdem 8 LUNs basierend auf RAID 6s und 4 globale Ersatzfestplatten, die so konfiguriert sind, dass ausgefallene Festplatten sofort ersetzt werden. Das bedeutet, dass diese Lösung bis zu 768 TB nutzbaren Speicherplatz haben kann.

NSS7.3-HA-I/O-Performance

In diesem Blog werden die Ergebnisse der I/O-Leistungstests für die aktuelle NSS-HA-Lösung, nämlich NSS 7.3, vorgestellt. Alle Leistungstests wurden in einem HA-Szenario ohne Ausfall durchgeführt, um die maximale Leistungsfähigkeit der Lösung zu messen. Die Tests konzentrierten sich auf drei Arten von I/O-Mustern: große sequenzielle Lese- und Schreibvorgänge, kleine zufällige Lese- und Schreibvorgänge sowie drei Metadatenvorgänge (Dateierstellung, -statistik und -entfernung).
Ein Compute-Cluster mit 32 Nodes wurde verwendet, um Workloads für die Benchmarkingtests zu erzeugen. Die Clients und die NSS-Konfiguration mit 1.008 TB (Roh-Storage-Größe) wurden über InfiniBand EDR verbunden und das Dateisystem über IPoIB gemountet. Jeder I/O-Benchmarktest wurde für eine Reihe von Clients ausgeführt, um die Skalierbarkeit der Lösung zu testen. Details zu den verwendeten Clients sind in der nächsten Tabelle aufgeführt.

Tabelle 2. Clientkonfiguration (Performancetests)

Servermodell	PowerEdge C6420
Anzahl der Server	32 Servercluster
CPU	Intel(R) Xeon(R) Gold 6148 CPU @ 2,40 GHz
RAM	192 GiB
Betriebssystem	Red Hat Enterprise Linux Server, Version 7.4
Kernel	3.10.0-693.17.1.el7.x86_64
Netzwerkadapter	Mellanox ConnectX-4 VPI IB EDR/100 GbE 1 Port QSFP28
OFED-Version	MLNX_OFED-4.3.1.0.1.0

 

In dieser Studie wurden die IOzone - und MDtest-Benchmarks verwendet. IOzone wurde für die sequentiellen und stichprobenartigen Tests verwendet. Für sequenzielle Tests wurde eine Anforderungsgröße von 1024 KiB verwendet. Die Gesamtmenge der übertragenen Daten betrug 256 GiB, um sicherzustellen, dass der Cache des NFS-Servers gesättigt war. Bei zufälligen Tests wurde eine Anforderungsgröße von 4 KiB verwendet und jeder Client hat eine Datei von 4 GiB gelesen und geschrieben. Metadatentests wurden mithilfe der MDtest-Benchmark mit OpenMPI durchgeführt und umfassten Dateierstellungs-, Statistik- und Entfernungsvorgänge. (Die vollständigen Befehle, die in den Tests verwendet werden, finden Sie in Anhang A des Whitepapers NSS 7.0-HA.)

Sequenzielle IPoIB-Schreib- und Lesevorgänge

Die Abbildungen 2 und 3 zeigen die Performance sequenzieller Schreib- und Lesevorgänge. Da der Testcluster 32 Knoten hatte, wurde der Datenpunkt mit 64 Threads mithilfe von 32 Clients abgerufen, die jeweils 2 Threads ausführten.
Für NSS 7.3-HA beträgt die Spitzenleseleistung 7 GB/s und die Spitzenschreibleistung fast 5 GB/s. Aus den beiden Abbildungen geht hervor, dass die aktuelle NSS7.3-HA-Lösung höhere sequenzielle Leistungszahlen aufweist als die vorherige Version. Lesevorgänge sind um bis zu 18,7 % besser, aber die Schreibleistung ist mit bis zu 2,65-mal mehr (bei 16 Threads) als bei der vorherigen Lösung besonders gut. Beim Vergleich der Spitzenleistungswerte sind Schreibvorgänge auf NSS7.3-HA 2,13-mal schneller und Lesevorgänge um 12,5 % besser.
Dies ist zum Teil auf die höhere interne SAS-Geschwindigkeit von 12 Gbit/s für alle internen PowerVault ME4084-Komponenten einschließlich HDDs zurückzuführen (PowerVault MD3460 hatte 6 Gbit/s), die einen höheren Durchsatz pro LUN ermöglicht, aber auch auf die neuen Speicher-Controller, die Informationen schneller verarbeiten können als PowerVault MD3 der vorherigen Generation.

Abbildung 2. IPoIB hohe sequenzielle Schreibleistung

 

Abbildung 3 IPoIB hohe sequenzielle Leseleistung

Zufällige IPoIB-Schreib- und Lesevorgänge

Abbildung 4 und Abbildung 5 zeigen die Performance bei zufälligen Schreib- und Lesevorgängen.
Aus der Abbildung geht hervor, dass der zufällige Schreibvorgang eine Spitzenleistung von 32 Threads erreicht, während die vorherige Version der Lösung einen Spitzenwert von 64 Threads erreicht hat. Die zufällige Leseperformance steigt auf der NSS 7.3 stetig auf bis zu 32 Clients und bei der vorherigen Lösung lag der Spitzenwert bei 16 Clients. Auch hier zeigt der neue Storage seine überlegene Performance gegenüber dem Vorgänger mit einer bis zu 3,44-fachen Verbesserung bei Schreibvorgängen (bei 2 Threads) und einer um 85 % höheren Leseleistung (bei 32 Threads) als beim Vorgänger. Beim Vergleich der Spitzenleistung beträgt der Unterschied etwa 13 % bei zufälligen Schreibvorgängen und 85 % bei zufälligen Lesevorgängen. Diese Verbesserungen sind hauptsächlich auf die neuen PowerVault ME4084-Controller zurückzuführen, die im Vergleich zu den PowerVault MD3460-Controllern schnellere Verarbeitungsfunktionen bieten.

Abbildung 4. Performance zufälliger IPoIB-Schreibvorgänge

Abbildung 5. IPoIB-Performance bei zufälligen Lesevorgängen

 

IPoIB – Metadaten-Operationen

In Abbildung 6, Abbildung 7 und Abbildung 8 werden die Ergebnisse von Vorgängen zum Erstellen, Statistik bzw. Entfernen von Dateien dargestellt. Da der HPC-Compute-Cluster nur über 32 Compute-Nodes verfügt, hat in den folgenden Diagrammen jeder Client maximal einen Thread für eine Clientanzahl von bis zu 32 ausgeführt. Bei einer Thread-Anzahl von 64, 128, 256 und 512 hat jeder Client 2, 4, 8 oder 16 gleichzeitige Vorgänge (Threads) ausgeführt.
Bei Dateierstellungen zeigt die neue Lösung im Vergleich zur vorherigen Lösung eine nachhaltige Verbesserung der Leistung um etwa das Doppelte mit einem Spitzenunterschied (208 %) bei 32 Clients und nimmt dann leicht ab, aber selbst wenn man die Spitzenleistung für beide Lösungen mit 256 Threads vergleicht, ist die neue Lösung 30 % schneller.
Die Statistikvorgänge werden durch den neuen Speicher am meisten verbessert, wo die Verbesserungen mit 256 Threads bis zu 7,7-mal so hoch sind wie beim Vorgänger. Vergleicht man die Spitzenleistungen, zeigt NSS7.3 fast 6-mal so viele Statistikvorgänge pro Sekunde an wie die vorherige Version von NSS.
Schließlich weisen Remove-Vorgänge eine vergleichsweise geringfügige Verbesserung auf, wobei die meisten Datenpunkte bei 33 % oder einer besseren Leistung als bei der vorherigen Lösung liegen. Mit Ausnahme von 128 Threads, bei denen die Leistung 2,21-mal besser ist. Bei Spitzenleistung erreicht der neue Storage eine um fast 55 % höhere Leistung im Vergleich zum vorherigen NSS-System.
All diese Verbesserungen sind auf die rundum schnelleren HDDs mit SAS3-Geschwindigkeiten (12 Gbit/s) sowie auf die neuen PowerVault ME4084-Controller zurückzuführen, die höhere IOPS und höhere Bandbreite unterstützen.

Abbildung 6. IPoIB – Leistung für file create

 

 

 

Abbildung 8. IPoIB – Leistung für remove

Schlussfolgerungen und zukünftige Arbeiten

Im Laufe der verschiedenen Generationen der Lösung hat die NSS-HA-Lösung viele Hardware- und Software-Updates erfahren, um kontinuierlich hohe Verfügbarkeit, höhere Leistung und größere Speicherkapazität zu bieten. Bei all diesen Versionen ist das architektonische Kerndesign der NSS-HA-Lösungsfamilie unverändert geblieben. Um den Leistungsunterschied zwischen NSS 7.3-HA und der vorherigen Version (NSS 7.2-HA) zu veranschaulichen, wurden die Leistungszahlen beider Lösungen gegenübergestellt, um die überlegene Leistung der neuesten Version der Lösung auf Basis von PowerVault ME4084 zu verdeutlichen: 

•  Bis zu 2,65-mal mehr sequenzielle Schreibvorgänge und bis zu 18,7 % schnellere Leseleistung.
  
•  Bis zu 3,44-mal mehr zufällige Schreibvorgänge und bis zu 85 % schnellere zufällige Leseleistung.
  
•  Bis zu 2,1-fache Erstellungsrate, 7,7-fache Statistikrate und 2,2-fache Entfernungsrate.

  In der nächsten Phase wird die NSS7.3-HA-Lösung in Verbindung mit Intel Omni-Path-Adaptern charakterisiert. Detaillierte Informationen zu NSS-HA-Lösungen finden Sie in unseren veröffentlichten Whitepapers:

•  Dell HPC NFS Storage Solution High Availability Configurations, Version NSS2-HA, veröffentlicht im April 2011.
  
•  Dell HPC NFS Storage Solution High Availability Configurations with Large Capacities, Version NSS3-HA, veröffentlicht im Februar 2012.
  
•  Dell HPC NFS Storage Solution High Availability (NSS-HA)-Konfigurationen mit Dell PowerEdge-Servern der 12. Generation, Version NSS4-HA, veröffentlicht im Juli 2012.
  
•  Dell HPC NFS-Storage-Lösung – Konfiguration mit hoher Verfügbarkeit (NSS-HA) mit Dell PowerVault MD3260/MD3060e-Storage-Arrays, aktualisierte Version NSS4.5-HA, veröffentlicht im Mai 2013.
  
•  Dell HPC NFS-Storage-Lösung – Hochverfügbarkeit NSS5-HA-Konfigurationen, Version NSS5.0-HA, veröffentlicht im September 2013.
  
•  Dell HPC NFS-Storage-Lösung – Konfiguration mit hoher Verfügbarkeit (NSS5.5-HA) mit Dell PowerVault MD3460- und MD3060e-Storage-Arrays, Version NSS5.5-HA, veröffentlicht im September 2013.
  
•  Dell HPC NFS Storage Solution - High Availability (NSS6.0-HA) Configuration with Dell PowerEdge 13th Generation Servers (Dell HPC NFS-Speicherlösung – Hochverfügbarkeitskonfiguration (NSS6.0-HA) mit Dell PowerEdge Servern der 13. Generation), Version NSS6.0-HA, veröffentlicht im November 2014.
  
•  Dell HPC NFS Storage Solution - High Availability (NSS7.0-HA) Configuration (Dell HPC NFS-Speicherlösung – Hochverfügbarkeitskonfiguration (NSS7.0-HA)), Version NSS7.0-HA, veröffentlicht im Mai 2016.

   

  Hinweis: Wenden Sie sich für jede kundenspezifische Konfiguration/Bereitstellung an Ihren Dell EMC Vertriebsmitarbeiter, um spezifische Richtlinien zu erhalten.