Skalierbarkeit von Dell Ready Solutions für HPC BeeGFS-Speicher

Wie skaliert man die Dell BeeGFS High Performance Storage Solution in Bezug auf Kapazität oder Leistung oder beides?

Siehe Informationen im Abschnitt "Lösung".

Inhaltsverzeichnis

1. Einführung
2. Basiskonfigurationen
3. Berechnung des nutzbaren BeeGFS-Speicherplatzes
4. Skalierbare Konfigurationen
5. Performance-Charakterisierung
6. Schlussfolgerungen und zukünftige Arbeiten
    

---

Einführung

In diesem Blog wird die Skalierbarkeit von Dell EMC Ready Solutions for HPC BeeGFS Storage erläutert, die kürzlich angekündigt wurde.  Die BeeGFS-Architektur besteht aus vier Hauptservices: Managementservice, Metadatenservice, Speicherservice und Clientservice. Es ist möglich, eine beliebige Kombination dieser vier Hauptservices, einschließlich aller, auf demselben Server auszuführen, da die Rollen und die Hardware im Fall von BeeGFS nicht eng integriert sind.  In einer "hyperkonvergenten Lösung" werden alle vier Services auf demselben Server ausgeführt. Diese Konfiguration wird für leistungskritische Umgebungen nicht empfohlen, da Clientanwendungen in der Regel Ressourcen verbrauchen, die sich auf die Performance der Speicherservices auswirken können. Die Dell EMC Lösung verwendet dedizierte Speicherserver und einen Dual-Purpose-Metadaten- und -Speicherserver, um eine leistungsfähige, skalierbare Speicherlösung bereitzustellen. Es ist möglich, das System durch Hinzufügen zusätzlicher Speicherserver zu einem vorhandenen System zu skalieren. In diesem Blog stellen wir Konfigurationen mit einer unterschiedlichen Anzahl von Speicherservern und die Leistung vor, die mit diesen Konfigurationen zu erwarten ist.

---

Basiskonfigurationen

Die BeeGFS-Speicherlösung, die für die Bereitstellung eines leistungsfähigen Scratch-Dateisystems entwickelt wurde, verwendet die folgenden Hardwarekomponenten:

• Management Server
  • R640, 2 Intel Xeon Gold 5218 2,3 GHz, 16 Cores, 96 GB (12 RDIMMs mit 8 GB und 2.666 MT/s), 6 x 15.000 U/min, 300 GB SAS, H740P
• Metadaten und Speicherserver
  • R740xd, 2 x Intel Xeon Platinum 8268 CPU bei 2,90 GHz, 24 Cores, 384 GB (12 x 32 GB 2933 MT/s RDIMMs)
  • BOSS-Karte mit 2 x 240-GB-M.2-SATA-SSDs in RAID 1 für Betriebssystem
  • 24x, Intel 1,6 TB, NVMe, Mixed Use Express Flash, 2,5 SFF-Laufwerke, Software-RAID

Der Managementserver führt den BeeGFS-Überwachungsservice aus. Der Metadatenserver verwendet die 12 Laufwerke in der NUMA 0-Zone, um die MetaData Targets (MDTs) zu hosten, während die verbleibenden 12 Laufwerke in der NUMA 1-Zone die Speicherziele (STs) hosten. Ein dedizierter Metadatenserver wird nicht verwendet, da die Speicherkapazitätsanforderungen für BeeGFS-Metadaten sehr gering sind. Die Metadaten- und Speicherziele und -services werden auf separaten NUMA-Nodes isoliert, sodass eine erhebliche Trennung von Workloads hergestellt wird. Die in der Konfiguration verwendeten Speicherserver verfügen über drei Speicherservices, die pro NUMA-Zone ausgeführt werden, insgesamt sechs pro Server. Weitere Informationen finden Sie im Ankündigungsblog. Abbildung 1 zeigt die beiden Basiskonfigurationen, die im Dell EMC HPC and AI Innovation Lab getestet und validiert wurden.

Abbildung 1: Basiskonfigurationen

Die kleine Konfiguration besteht aus drei R740xd-Servern. Es verfügt insgesamt über 15 Speicherziele. Die mittlere Konfiguration verfügt über 6XR740xd-Server und insgesamt 33 Speicherziele. Der Benutzer kann mit einer "kleinen" Konfiguration oder mit der Konfiguration "Mittel" beginnen und Speicher- oder Metadatenserver nach Bedarf hinzufügen, um den Speicherplatz und die Gesamtleistung oder die Anzahl der Dateien und Metadatenperformance zu erhöhen. Tabelle 1 zeigt die Leistungsdaten für die Basiskonfigurationen, die im Dell EMC HPC and AI Innovation Lab umfassend getestet und validiert wurden.

Tabelle 1: Details zu Kapazität und Performance der Basiskonfigurationen

 

---

Berechnung des nutzbaren BeeGFS-Speicherplatzes

Der geschätzte nutzbare Speicherplatz wird in TiB berechnet (da die meisten Tools nutzbaren Speicherplatz in binären Einheiten anzeigen) mithilfe der folgenden Formel:

Nutzbarer BeeGFS-Speicherplatz in TiB = (0,99* Laufwerke* Größe* in TB * (10^12/2^40)

In der obigen Formel ist 0,99 der Faktor, der durch die konservative Annahme erreicht wurde, dass es einen Overhead von 1 % durch das Dateisystem gibt.  Für die Ankunft bei der Anzahl der Laufwerke für den Speicher sind 12 Laufwerke aus dem MDS ebenfalls enthalten. Dies liegt daran, dass im MDS die 12 Laufwerke in NUMA-Zone 0 für Metadaten und die 12 Laufwerke in der NUMA-Zone 1 für den Speicher verwendet werden. Der letzte Faktor in der Formel 10^12/2^40 besteht darin, den nutzbaren Speicherplatz von TB in TiB zu konvertieren.

---

Skalierbare Konfigurationen

Die leistungsfähige BeeGFS-Speicherlösung ist flexibel und lässt sich einfach und nahtlos skalieren, indem zusätzliche Server hinzugefügt werden, wie unten dargestellt:

Tabelle 2: Details zu Kapazität und Performance der skalierten Konfigurationen

 

---

Performance-Charakterisierung

Die Performance der verschiedenen Konfigurationen wurde durch die Erstellung von Speicherpools getestet. Die kleine Konfiguration verfügt über 15 Speicherziele und jeder zusätzliche Speicherserver fügt weitere sechs Speicherziele hinzu. Um die Performance der verschiedenen Konfigurationen zu testen, wurden Speicherpools von 15 bis 39 Speicherzielen erstellt (Inkremente von sechs für klein, klein+1, klein+2, mittel, mittel+1). Für jeden dieser Pools wurden drei Iterationen des IoZone-Benchmarks mit jeweils einem bis 1.024 Threads (in Zweierschritten) ausgeführt. Die eingeführte Testmethodik ist identisch mit der im Ankündigungsblog beschriebenen. Die Abbildungen 3 und 4 zeigen die Schreib- und Leseleistung der skalierbaren Konfigurationen, wobei die Spitzenleistung jeder Konfiguration als Bereitreferenz hervorgehoben ist:


 
Abbildung 3:  Schreibleistung skalierbarer Konfigurationen


Abbildung 4:  Lesen Der Performance skalierbarer Konfigurationen

Hinweis:

Der speicherpool, auf den bezug genommen wird, wurde nur für den expliziten Zweck der Charakterisierung der Performance verschiedener Konfigurationen erstellt.  Bei der Performancebewertung der im Ankündigungsblog beschriebenen mittleren Konfiguration befanden sich alle 33 Ziele nur im "Standardpool". Die Ausgabe des unten angegebenen Befehls beegfs-ctl --liststoragepools zeigt die Zuweisung der Speicherziele:

# beegfs-ctl --liststoragepools
Pool ID Pool Description Targets Buddy Groups
======= ================== ============================ ============================
1 Standard 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12,
                                                 13, 14, 15, 16, 17, 18, 19, 20, 21,
22, 23, 24, 25, 26, 27, 28, 29, 30,
31, 32, 33  

---

Schlussfolgerungen und zukünftige Arbeiten

In diesem Blog wurde die Skalierbarkeit von Dell EMC Ready Solutions für HPC BeeGFS-Speicher erläutert und die Performance für sequenzielle Lese- und Schreibdurchsätze für verschiedene Konfigurationen hervorgehoben. Bleiben Sie auf dem Laufenden für Teil 3 dieser Blogserie, in der zusätzliche Funktionen von BeeGFS besprochen und die Verwendung von "StorageBench", dem Benchmark für integrierte Speicherziele von BeeGFS, hervorgehoben werden. Im Rahmen der nächsten Schritte veröffentlichen wir später ein Whitepaper mit der Metadatenperformance, der IOR N-1-Performancebewertung und zusätzlichen Details zu Designüberlegungen, Tuning und Konfiguration. 

Referenzen

[1] Dell EMC Ready Solutions für HPC BeeGFS-Speicher:  
https://www.dell.com/support/article/sln319381/[2] BeeGFS-Dokumentation: 
https://www.beegfs.io/wiki/[3] So verbinden Sie zwei Schnittstellen im selben Subnetz: 
https://access.redhat.com/solutions/30564[4] Referenzdesign für direkten PCI Express-Speicherzugriff mit externem Speicher: https://www.intel.com/content/www/us/en/programmable/documentation/nik1412547570040.html#nik1412547565760