Skalowalność rozwiązań Dell Ready dla pamięci masowej HPC BeeGFS

Jak skalować rozwiązanie Dell BeeGFS High Performance Storage Solution pod względem pojemności, wydajności lub obu?

Zapoznaj się z informacjami w sekcji Rozwiązanie.

Spis treści

1. Wprowadzenie
2. Konfiguracje podstawowe
3. Obliczanie miejsca użytecznego BeeGFS
4. Skalowalne konfiguracje
5. Charakterystyka wydajności
6. Wnioski i przyszłe prace
    

---

Wprowadzenie

W tym blogu omówiono skalowalność rozwiązań Dell EMC Ready Solutions dla pamięci masowej HPC BeeGFS, które zostały niedawno opublikowane.  Architektura BeeGFS składa się z czterech głównych usług, usługi zarządzania, usługi metadanych, usługi pamięci masowej i usługi klienckiej. Istnieje możliwość uruchomienia dowolnej kombinacji tych czterech głównych usług, w tym wszystkich z nich, na tym samym serwerze, ponieważ role i sprzęt nie są ściśle zintegrowane w przypadku BeeGFS.  W "rozwiązaniu hiperkonwergentnym" wszystkie cztery usługi są uruchomione na tym samym serwerze. Ta konfiguracja nie jest zalecana w środowiskach o krytycznym znaczeniu dla wydajności, ponieważ aplikacje klienckie zwykle wykorzystują zasoby, które mogą mieć wpływ na wydajność usług pamięci masowej. Rozwiązanie Dell EMC wykorzystuje dedykowane serwery pamięci masowej oraz podwójny serwer metadanych i pamięci masowej, aby zapewnić wydajne, skalowalne rozwiązanie pamięci masowej. Możliwe jest skalowanie systemu poprzez dodanie dodatkowych serwerów pamięci masowej do istniejącego systemu. W tym blogu przedstawimy konfiguracje z różną liczbą serwerów pamięci masowej i wydajność, która może być oczekiwana w przypadku tych konfiguracji.

---

Konfiguracje podstawowe

Rozwiązanie pamięci masowej BeeGFS, zaprojektowane z myślą o wydajnym systemie plików z zarysowaniem, wykorzystuje następujące komponenty sprzętowe:

• Serwer zarządzania
  • R640, dwa procesory Intel Xeon Gold 5218 2,3 GHz, 16 rdzeni, 96 GB (12 modułów RDIMM 8 GB 2666 MT/s), 6 x 15 tys. obr./min 300 GB SAS, H740P
• Metadane i serwery pamięci masowej
  • R740xd, 2 procesory Intel Xeon Platinum 8268 przy 2,90 GHz, 24 rdzenie, 384 GB (12 modułów RDIMM 32 GB 2933 MT/s)
  • Karta BOSS z 2 dyskami SSD SATA M.2 240 GB w macierzy RAID 1 dla systemu operacyjnego
  • 24x, Intel 1,6 TB, NVMe, Mixed Use Express Flash, dyski 2,5 SFF, programowa macierz RAID

Serwer zarządzający uruchamia usługę monitorowania BeeGFS. Serwer metadanych używa 12 dysków w strefie NUMA 0 do hostowania obiektów docelowych metadanych (MDTs), podczas gdy pozostałe 12 dysków w strefie NUMA 1 hostuje wartości docelowe pamięci masowej (STs). Dedykowany serwer metadanych nie jest używany, ponieważ wymagania dotyczące pojemności pamięci masowej metadanych BeeGFS są bardzo małe. Metadane i cele i usługi pamięci masowej są izolowane w oddzielnych węzłach NUMA, co zapewnia znaczne rozdzielenie obciążeń roboczych. Serwery pamięci masowej używane w konfiguracji mają trzy usługi pamięci masowej uruchomione w strefie NUMA, sześć łącznie na serwer. Aby uzyskać więcej informacji, zapoznaj się z blogiem ogłoszeń. Rysunek 1 przedstawia dwie podstawowe konfiguracje, które zostały przetestowane i sprawdzone w laboratorium innowacji Dell EMC HPC i AI.

Rysunek 1. Konfiguracje podstawowe

Mała konfiguracja składa się z trzech serwerów R740xd. Ma łącznie 15 celów dotyczących pamięci masowej. Średnia konfiguracja ma serwery 6xR740xd i ma łącznie 33 cele pamięci masowej. Użytkownik może rozpocząć od "małej" konfiguracji lub konfiguracji "średniej" i w razie potrzeby może dodać serwery pamięci masowej lub metadanych w celu zwiększenia miejsca i ogólnej wydajności lub odpowiednio liczby plików i metadanych. Tabela 1 przedstawia dane dotyczące wydajności podstawowych konfiguracji, które zostały przetestowane i zweryfikowane w laboratorium innowacji Dell EMC HPC i AI.

Tabela 1: Szczegóły dotyczące pojemności i wydajności podstawowych konfiguracji

 

---

Obliczanie miejsca użytecznego BeeGFS

Szacowane miejsce użyteczne jest obliczane w TiB (ponieważ większość narzędzi pokazuje przestrzeń użyteczną w jednostkach binarnych) przy użyciu następującej wzory:

Przestrzeń użyteczna BeeGFS w TiB = (0,99* liczba dysków* rozmiar w TB * (10^12/2^40)

W powyższej formule 0,99 jest czynnikiem, do który dotarł przy założeniu, że system plików ma obciążenie 1%.  Aby uzyskać liczbę dysków do przechowywania, dołączono również 12 dysków z MDS. Dzieje się tak dlatego, że w MDS 12 dysków w strefie NUMA 0 jest używanych do metadanych, a 12 dysków w strefie NUMA 1 jest używanych do przechowywania. Ostatnim czynnikiem w formule 10^12/2^40 jest konwersja przestrzeni użytecznej z TB na TiB.

---

Skalowalne konfiguracje

Rozwiązanie BeeGFS High Performance Storage zostało zaprojektowane z myślą o elastyczności i umożliwia łatwe i bezproblemowe skalowanie wydajności i/lub pojemności poprzez dodanie dodatkowych serwerów, jak pokazano poniżej:

Tabela 2: Szczegółowe informacje o pojemności i wydajności konfiguracji skalowanych

 

---

Charakterystyka wydajności

Wydajność różnych konfiguracji została przetestowana przez utworzenie pul pamięci masowej. Mała konfiguracja ma 15 celów pamięci masowej, a każdy dodatkowy serwer pamięci masowej dodaje dodatkowe sześć celów w zakresie pamięci masowej. W celu przetestowania wydajności różnych konfiguracji utworzono pule pamięci masowej od 15 do 39 celów pamięci masowej (przyrosty od sześciu do małych+ 1, małe + 2, średnie, średnie + 1). Dla każdej z tych pul uruchomiono trzy iteracje testu porównawczego iozone, każdy z jednym do 1024 wątków (w dwóch przyrostach). Zastosowana metodologia testowania jest taka sama jak opisana na blogu ogłoszeń . Na rysunkach 3 i 4 przedstawiono wydajność zapisu i odczytu odpowiednio skalowalnych konfiguracji, przy czym najwyższa wydajność każdej konfiguracji została wyróżniona jako gotowa do użytku:


 
Rysunek 3:  Wydajność zapisu skalowalnych konfiguracji


( Rysunek 4:  Odczyt wydajności skalowalnych konfiguracji

Uwaga:

Wspomniana pula pamięci masowej została utworzona tylko w celu jawnego określania wydajności różnych konfiguracji.  Podczas przeprowadzania oceny wydajności konfiguracji nośnika opisanej w blogu ogłoszeń wszystkie 33 cele znajdowały się tylko w "puli domyślnej". Dane wyjściowe polecenia beegfs-ctl --liststoragepools podane poniżej pokazują przypisanie celów pamięci masowej:

# beegfs-ctl --liststoragepools
Pool ID Pool Description TargetsAmba Groups
======= ================== ============================ ============================
1 Domyślne 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12,
                                                 13, 14, 15, 16, 17, 18, 19, 20, 21,
22, 23, 24, 25, 26, 27, 28, 29, 30,
31, 32, 33  

---

Wnioski i przyszłe prace

W tym blogu opisano skalowalność rozwiązań Dell EMC Ready Solutions dla pamięci masowej HPC BeeGFS i podkreślono wydajność dla sekwencyjnej przepustowości odczytu i zapisu w różnych konfiguracjach. Bądź na bieżąco z częścią 3 tego bloga, która omawia dodatkowe funkcje BeeGFS i podkreśli wykorzystanie "StorageBench", wbudowanego testu porównawczego celów pamięci masowej BeeGFS. W ramach kolejnych kroków opublikujemy późniejsze opracowanie z wydajnością metadanych, oceną wydajności IOR N-1 oraz dodatkowymi szczegółami dotyczącymi kwestii projektowania, dostrajania i konfiguracji. 

Odniesienia

[1] Rozwiązania Dell EMC Ready dla pamięci masowej HPC BeeGFS:  
https://www.dell.com/support/article/sln319381/[2] Dokumentacja BeeGFS: 
https://www.beegfs.io/wiki/[3] Jak podłączyć dwa interfejsy w tej samej podsieci: 
https://access.redhat.com/solutions/30564[4] Projekt referencyjny PCI Express Direct Memory Access przy użyciu pamięci zewnętrznej: https://www.intel.com/content/www/us/en/programmable/documentation/nik1412547570040.html#nik1412547565760