Omówienie

Najnowsza wersja Dell EMC Ready Solution dla pamięci masowej HPC NFS (NSS) o wysokiej dostępności (rozwiązanie NSS-HA) będzie NSS7.3-HA, a jej wydanie zaplanowano na koniec tego miesiąca.
Ta wersja NSS zawiera nowe macierze pamięci masowej Dell EMC PowerVault ME4084 oraz system Red Hat Enterprise Linux 7.5 i nadal korzysta z procesorów z rodziny skalowalnych procesorów Intel Xeon (architektura Skylake), aby zapewnić wyższą ogólną wydajność systemu niż poprzednie rozwiązania NSS-HA. W tym blogu przedstawiono wyniki testów wydajności we/wy dla najnowszej wersji rozwiązania NSS.
Rysunek 1 przedstawia konstrukcję konfiguracji NSS7.3-HA. Główne różnice między NSS7.3-HA a jego bezpośrednim poprzednikiem, NSS7.2-HA, to:

• Macierz pamięci masowej back-end:
  • NSS 7.2-HA: PowerVault MD3460 + opcjonalnie MD3060e (60 lub 120 dysków twardych)
  • NSS 7.3-HA: PowerVault ME4084 (84 dyski twarde)
• Systemu operacyjnego:
  • NSS 7.2-HA: RHEL 7.4
  • NSS 7.3-HA: Redhat® Enterprise Linux® 7.5

Z wyjątkiem takich elementów, jak niezbędne aktualizacje oprogramowania i oprogramowania wewnętrznego, NSS7.2-HA i NSS7.3-HA mają ten sam projekt klastra HA i podstawową konfigurację pamięci masowej. (Szczegółowe informacje na temat konfiguracji można znaleźć w opracowaniu technicznym NSS7.0-HA ).
Kolejnym znaczącym ulepszeniem w stosunku do NSS7.2-HA i NSS7.3-HA jest duży wzrost maksymalnej pojemności. Chociaż serwer NSS7.2-HA jest ograniczony przez obecny limit obsługi systemu Red Hat XFS wynoszący 500 TB, po szeroko zakrojonych testach i weryfikacjach w naszych laboratoriach firmy Dell EMC i Red Hat osiągnęły porozumienie o współpracy dotyczące konfiguracji NSS7.3-HA o pojemności użytkowej do 768 TB. Oznacza to urządzenie Dell EMC PowerVault ME4084 w pełni wyposażone w dyski twarde o pojemności 12 TB, czyli 1008 TB pierwotnej przestrzeni dyskowej.

Architektura NSS-HA

Rysunek 1 przedstawia architekturę NSS 7.3 wewnątrz kropkowanego prostokąta, osadzoną w typowym stanowisku testowym obejmującym klientów i przełącznik sieci publicznej.

Rysunek 1. Architektura i stanowisko testowe NSS7.3-HA: 1008 TB przestrzeni fizycznej (768 TB przestrzeni użytkowej)

Poniższa tabela zawiera podsumowanie różnych elementów nowego rozwiązania NSS HA 7.3.
  

Tabela 1. Elementy dla NSS7.2-HA i NSS7.3-HA

	Wydanie NSS7.2-HA (kwiecień 2018 r.) Serwery PowerEdge 14. generacji i MD3460 + MD3060e.	Wydanie NSS7.3-HA (październik 2018 r.) "Serwer PowerEdge 14. generacji i rozwiązanie oparte na ME4084"
Oprogramowanie	Red Hat Enterprise Linux 7.4, jądro 3.10.0-693.el7.x86_64 Red Hat Scalable File System (XFS), wersja 4.5.0-12	Red Hat Enterprise Linux 7.5, jądro 3.10.0-862.el7.x86_64 Red Hat Scalable File System (XFS), wersja 4.5.0-15
Serwery NFS	Dwa serwery Dell PowerEdge R740. Procesor (CPU): Dwa procesory Intel Xeon Gold 6136 @ 3.0 GHz, 12 rdzeni na procesor. Pamięć: 12 modułów RDIMM 16 GiB 2666 MT/s.
Łączność z siecią zewnętrzną	EDR InfiniBand, 10 GbE lub Intel Omni-Path. Na potrzeby tego bloga Mellanox ConnectX-4 IB EDR/100 GbE. Dla zamówień, CX-5 IB EDR/100 GbE.
Połączenia wewnętrzne	Przełącznik Gigabit Ethernet Dell Networking S3048-ON
Wersja OFED	Mellanox OFED 4.3-1.0.1.0	Mellanox OFED 4.4-1.0.0
Bezpośrednie połączenie z pamięcią masową	Połączenia SAS 12 Gb/s.
Podsystem pamięci masowej	Dell EMC MD3460 + opcjonalnie MD3060e. 60 – 120 – 3,5" NL SAS 4 TB. Dwie konfiguracje, 240 lub 480 TB (przestrzeń fizyczna). 6 lub 12 jednostek LUN, 8+2 RAID 6, rozmiar segmentu 512 KiB Brak części zamiennych	Dell EMC PowerVault ME4084 84–3,5" NL SAS, do 12 TB. Jedna konfiguracja: do 1008 TB (przestrzeń fizyczna). 8 jednostek LUN, liniowe 8+2 RAID 6, rozmiar segmentu 128 kB. 4 zapasowe globalne dyski twarde

 

Nowa pamięć masowa PowerVault ME4084 nadal używa liniowej macierzy RAID 6 8+2 jako podstawowej jednostki konstrukcyjnej z nowym rozmiarem fragmentu (rozmiarem segmentu) wynoszącym 128 KiB i wartością odczytu z wyprzedzeniem "rozmiaru przeplotu" wybranym w celu uzyskania optymalnej wydajności. Ponieważ obecnie dysponujemy 84 dyskami, mamy 8 jednostek LUN opartych na macierzy RAID 6s oraz 4 globalne zapasowe dyski twarde skonfigurowane do natychmiastowego zastąpienia uszkodzonych dysków. Oznacza to, że rozwiązanie to może mieć do 768 TB przestrzeni użytkowej.

Wydajność we/wy NSS7.3-HA

Na blogu przedstawiono wyniki testów wydajności I/O dla obecnego rozwiązania NSS-HA, czyli NSS7.3. Wszystkie testy wydajności zostały przeprowadzone w scenariuszu bezawaryjnym HA, aby zmierzyć maksymalne możliwości rozwiązania. Testy koncentrowały się na trzech typach wzorców I/O: dużych sekwencyjnych odczytach i zapisach, małych losowych odczytach i zapisach oraz trzech operacjach na metadanych (tworzenie plików, statystyki i usuwanie).
Do wygenerowania obciążenia na potrzeby testów porównawczych użyto 32-węzłowego klastra obliczeniowego. Klienty i konfiguracja NSS 1008 TB (surowy rozmiar pamięci masowej) zostały połączone przy użyciu InfiniBand EDR i systemu plików zamontowanego za pośrednictwem IPoIB. Każdy test porównawczy we/wy został przeprowadzony na różnych klientach w celu przetestowania skalowalności rozwiązania. Szczegółowe informacje na temat używanych klientów znajdują się w poniższej tabeli.

Tabela 2. Konfiguracja klientów (testowanie wydajności)

Model serwera	PowerEdge C6420
Liczba serwerów	Klaster serwerów 32
Procesor	Procesor Intel(R) Xeon(R) Gold 6148 @ 2,40 GHz
RAM	192 GiB
System operacyjny	Red Hat Enterprise Linux Server w wersji 7.4
Jądro	3.10.0-693.17.1.el7.x86_64
Karta sieciowa	Mellanox ConnectX-4 VPI IB EDR/100 GbE jednoportowy QSFP28
Wersja OFED	MLNX_OFED-4.3.1.0.1.0

 

W badaniu wykorzystano testy porównawcze IOzone i MDtest . Do testów sekwencyjnych i losowych wykorzystano IOzone. W przypadku testów sekwencyjnych użyto żądania o rozmiarze 1024 KiB. Łączna ilość przesłanych danych wynosiła 256 GiB, aby zapewnić całkowite zapełnienie pamięci podręcznej serwera NFS. W testach losowych użyto żądania o rozmiarze 4 KiB, a każdy klient odczytał i zapisał plik 4 GiB. Testy metadanych zostały przeprowadzone przy użyciu testu porównawczego MDtest z OpenMPI i obejmowały operacje tworzenia, statystykowania i usuwania plików. (Pełne polecenia używane w testach można znaleźć w załączniku A do opracowania NSS7.0-HA ).

Sekwencyjne zapisy i odczyty IPoIB

Rysunki 2 i 3 przedstawiają wydajność zapisu i odczytu sekwencyjnego. Ponieważ klaster testowy miał 32 węzły, 64-wątkowy punkt danych został uzyskany przy użyciu 32 klientów z 2 wątkami każdy.
W przypadku NSS7.3-HA najwyższa wydajność odczytu wynosi 7 GB/s, a maksymalna wydajność zapisu to prawie 5 GB/s. Z tych dwóch liczb jasno wynika, że obecne rozwiązanie NSS7.3-HA ma wyższe sekwencyjne wartości wydajności niż poprzednia wersja. Odczyty są do 18,7% lepsze, ale wydajność zapisu jest szczególnie lepsza dzięki nawet 2,65-krotnemu (przy 16 wątkach) wzrostowi wydajności w porównaniu z poprzednim rozwiązaniem. Porównując wartości szczytowej wydajności, zapis na NSS7.3-HA jest 2,13 razy szybszy, a odczyt o 12,5% lepszy.
Jest to częściowo spowodowane wyższą prędkością wewnętrzną SAS wynoszącą 12 Gb/s dla wszystkich elementów wewnętrznych PowerVault ME4084, w tym dysków twardych (PowerVault MD3460 miało 6 Gb/s), co pozwala na większą przepustowość na jednostkę LUN, ale także ze względu na nowe kontrolery pamięci masowej, które mogą przetwarzać informacje szybciej niż PowerVault MD3 poprzedniej generacji.

Rysunek 2. Duża wydajność zapisu sekwencyjnego IPoIB

 

Rysunek 3. Duża wydajność odczytu sekwencyjnego IPoIB

Losowe zapisy i odczyty IPoIB

Rysunki 4 i 5 przedstawiają wydajność zapisu i odczytu losowego.
Z rysunku wynika, że zapis losowy osiąga maksymalną wydajność przy 32 wątkach, podczas gdy poprzednia wersja rozwiązania osiągnęła szczytową wydajność przy 64 wątkach. Wydajność odczytu losowego stale wzrasta w NSS7.3 do 32 klientów, a w przypadku poprzedniego rozwiązania szczyt wynosił 16 klientów. Po raz kolejny nowa pamięć masowa wykazuje wyższą wydajność niż poprzednik — nawet 3,44-krotnie lepsza wydajność zapisu (przy 2 wątkach) i o 85% wyższa wydajność odczytu (przy 32 wątkach) niż poprzednik. Porównując szczytowe wyniki, różnica wynosi około 13% dla losowych zapisów i 85% dla losowych odczytów. Ulepszenia te wynikają głównie z nowych kontrolerów PowerVault ME4084, które mają większe możliwości przetwarzania w porównaniu z kontrolerami PowerVault MD3460.

Rysunek 4. Wydajność zapisu losowego IPoIB

Rysunek 5. Wydajność odczytu losowego IPoIB

 

Operacje metadanych IPoIB

Rysunek 6, Rysunek 7 i Rysunek 8 przedstawiają wyniki operacji tworzenia, statystyki i usuwania plików. Ponieważ klaster obliczeniowy HPC ma tylko 32 węzły obliczeniowe, na poniższych wykresach każdy klient wykonał maksymalnie jeden wątek dla liczby klientów do 32, a dla liczby wątków 64, 128, 256 i 512 każdy klient wykonał 2, 4, 8 lub 16 jednoczesnych operacji (wątków).
W przypadku tworzenia plików, w porównaniu z poprzednim rozwiązaniem, nowe rozwiązanie wykazuje trwałą poprawę około dwukrotnie większej wydajności ze szczytową różnicą (208%) przy 32 klientach, a następnie nieznacznie spada, ale nawet porównując szczytową wydajność dla obu rozwiązań przy 256 wątkach, nowe rozwiązanie jest o 30% szybsze.
Operacje na statystykach są najbardziej ulepszone przez nową pamięć masową, w której ulepszenia są aż 7,7 razy większe niż w poprzedniej wersji przy 256 wątkach, a porównując szczytowe wyniki, NSS7.3 pokazuje prawie 6 razy większą liczbę operacji na stat na sekundę niż poprzednia wersja NSS.
Wreszcie, operacje usuwania mają stosunkowo marginalną poprawę, a większość punktów danych ma 33% lub lepszą wydajność niż poprzednie rozwiązanie; z wyjątkiem 128 wątków, w których wydajność jest 2,21 razy lepsza. W szczytowym momencie nowa pamięć masowa osiąga prawie 55% wyższą wydajność w porównaniu z poprzednim systemem NSS.
Wszystkie te ulepszenia są zasługą szybszych dysków twardych SAS3 (12 Gb/s), a także nowych kontrolerów PowerVault ME4084, zapewniających wyższą wydajność IOPs i większą przepustowość.

Rysunek 6. Wydajność operacji file create IPoIB

 

 

 

Rysunek 8. Wydajność operacji file remove IPoIB

Wnioski i przyszłe prace

Na przestrzeni różnych generacji rozwiązania rozwiązanie NSS-HA przeszło wiele aktualizacji sprzętu i oprogramowania, aby stale oferować wysoką dostępność, wyższą wydajność i większą pojemność pamięci masowej. We wszystkich tych wersjach podstawowy projekt architektoniczny rodziny rozwiązań NSS-HA pozostał niezmieniony. Aby pokazać różnicę w wydajności między NSS7.3-HA a poprzednią wersją (NSS7.2-HA), porównano wartości wydajności obu rozwiązań, pokazując wyższą wydajność najnowszej wersji rozwiązania opartego na PowerVault ME4084: 

•  Nawet 2,65-krotnie szybszy zapis sekwencyjny i nawet o 18,7% wyższa wydajność odczytu.
  
•  Nawet 3,44-krotnie szybszy zapis losowy i nawet o 85% wyższa wydajność odczytu losowego.
  
•  Do 2,1 raza większa szybkość tworzenia, 7,7 razy większa szybkość statystyk i 2,2 razy większa szybkość usuwania.

  Kolejnym etapem będzie scharakteryzowanie rozwiązania NSS7.3-HA połączonego z kartami Intel Omni-Path. Szczegółowe informacje na temat rozwiązań NSS-HA można znaleźć w naszych opublikowanych opracowaniach:

•  Dell HPC NFS Storage Solution High Availability Configurations, wersja NSS2-HA, opublikowana w kwietniu 2011 r.
  
•  Dell HPC NFS Storage Solution High Availability Configurations with Large Capacitys, wersja NSS3-HA, publikacja w lutym 2012 r.
  
•  Konfiguracje rozwiązania pamięci masowej Dell HPC NFS o wysokiej dostępności (NSS-HA) z serwerami Dell PowerEdge 12. generacji, wersja NSS4-HA, opublikowana w lipcu 2012 r.
  
•  Dell HPC NFS Storage Solution — konfiguracja o wysokiej dostępności (NSS-HA) z macierzami pamięci masowej Dell PowerVault MD3260/MD3060e, wersja zaktualizowana NSS4.5-HA, maj 2013 r.
  
•  Dell HPC NFS Storage Solution — konfiguracje NSS5-HA o wysokiej dostępności, wersja NSS5.0-HA, opublikowana we wrześniu 2013 r.
  
•  Rozwiązanie pamięci masowej Dell HPC NFS — konfiguracja o wysokiej dostępności (NSS5.5-HA) z macierzami pamięci masowej Dell PowerVault MD3460 i MD3060e, wersja NSS5.5-HA, opublikowana we wrześniu 2013 r.
  
•  Rozwiązanie pamięci masowej Dell HPC NFS — konfiguracja o wysokiej dostępności (NSS6.0-HA) z serwerami Dell PowerEdge trzynastej generacji, wersja NSS6.0-HA opublikowana w listopadzie 2014.
  
•  Rozwiązanie pamięci masowej Dell HPC NFS — konfiguracja o wysokiej dostępności (NSS7.0-HA), wersja NSS7.0-HA opublikowana w maju 2016.

   

  Uwaga: w przypadku niestandardowej konfiguracji/wdrożenia należy skontaktować się z przedstawicielem firmy Dell EMC, aby uzyskać szczegółowe wytyczne.