Огляд

Останньою версією Dell EMC Ready Solution для HPC NFS Storage (NSS) з високою доступністю (рішення NSS-HA) буде NSS7.3-HA, випуск якої заплановано на кінець цього місяця.
Цей випуск NSS включає в себе нові масиви зберігання даних Dell EMC PowerVault ME4084 і Red Hat Enterprise Linux 7.5, а також продовжує використовувати процесори сімейства Intel Xeon Scalable Processor Family (архітектура під кодовою назвою Skylake), щоб забезпечити більш високу загальну продуктивність системи, ніж попередні рішення NSS-HA. У цьому блозі представлені результати тестів продуктивності вводу/виводу для цієї останньої версії рішення NSS.
На рисунку 1 представлена конструкція конфігурації NSS7.3-HA. Основними відмінностями NSS7.3-HA від його безпосереднього попередника NSS7.2-HA є:

• Масив Back End Storage:
  • NSS7,2-HA: PowerVault MD3460 + додатковий MD3060e (60 або 120 жорстких дисків)
  • NSS7,3-HA: PowerVault ME4084 (84 жорстких диска)
• Операційна система:
  • NSS7,2-HA: ХЕЛ 7.4
  • NSS7,3-HA: Red Hat® Enterprise Linux® 7.5

За винятком таких елементів, як необхідні оновлення програмного забезпечення та мікропрограми, NSS7.2-HA та NSS7.3-HA мають однакову конструкцію кластера HA та базову конфігурацію сховища. (Див. офіційний документ NSS7.0-HA для отримання більш детальної інформації про конфігурацію.)
Ще одним важливим удосконаленням у порівнянні з NSS7,2-HA та NSS7,3-HA є значне збільшення максимальної потужності. Незважаючи на те, що NSS7.2-HA обмежений поточним лімітом підтримки Red Hat XFS у 500 ТБ, після ретельного тестування та перевірки в наших лабораторіях Dell EMC та Red Hat досягли угоди про співпрацю з конфігураціями NSS7.3-HA з корисним простором до 768 ТБ. Це Dell EMC PowerVault ME4084, повністю заповнений жорсткими дисками ємністю 12 ТБ, або 1008 ТБ місця для зберігання даних.

Архітектура NSS-HA

На малюнку 1 показана архітектура NSS 7.3 всередині пунктирного прямокутника, вбудованого в типовий тестовий стенд, що включає клієнтів і комутатор мережі загального користування.

Малюнок 1. NSS7,3-HA 1008 ТБ необробленого простору (768 ТБ корисного) архітектура та випробувальний стенд

У наступній таблиці узагальнено різні компоненти нового рішення NSS HA 7.3.
  

Таблиця 1. Компоненти для NSS7.2-HA та NSS7.3-HA

	Випуск NSS7.2-HA (квітень 2018 р.) "Сервери PowerEdge 14-го покоління та MD3460 + MD3060e"	Випуск NSS7.3-HA (жовтень 2018 р.) «Сервер PowerEdge 14-го покоління та рішення на базі ME4084»
ПЗ	Red Hat Enterprise Linux 7.4, ядро 3.10.0-693.el7.x86_64 Масштабована файлова система Red Hat (XFS) v4.5.0-12	Red Hat Enterprise Linux 7.5, ядро 3.10.0-862.el7.x86_64 Масштабована файлова система Red Hat (XFS) v4.5.0-15
Сервери NFS	Два сервери Dell PowerEdge R740. ЦП: Подвійний Intel Xeon Gold 6136 @ 3.0 ГГц, 12 ядер на процесор. Пам'ять: 12 x 16 ГБ, 2666 МТ/с RDIMM.
Підключення до зовнішньої мережі	EDR InfiniBand, 10 GbE або Intel Omni-Path. Для цього блогу Mellanox ConnectX-4 IB EDR/100 GbE. Для замовлень підійде CX-5 IB EDR/100 GbE.
Внутрішнє підключення	Gigabit Ethernet, комутатор Dell Networking S3048-ON
Версія OFED	Мелланокс ОФСЕД 4.3-1.0.1.0	Мелланокс ОФЕД 4.4-1.0.0
Пряме підключення до сховища	З'єднання SAS 12 Гбіт/с.
Підсистема зберігання	Dell EMC MD3460 + опціонально MD3060e. 60 – 120 – 3,5-дюймові диски NL SAS на 4 ТБ. Дві конфігурації, 240 або 480 ТБ (необроблений простір). 6 або 12 LUN, 8+2 RAID 6, розмір сегмента 512KiB Без запасних	Dell EMC PowerVault ME4084. 84 - 3,5-дюймові накопичувачі NL SAS, до 12 ТБ. Одна конфігурація: до 1008 ТБ (необроблений простір). 8 ЛУНІВ, лінійний 8+2 RAID 6, розмір фрагмента 128 КіБ. 4 Глобальні запчастини для жорстких дисків.

 

Нове сховище PowerVault ME4084 продовжує використовувати лінійний 8+2 RAID 6 як базову збірку з новим розміром фрагмента (розміром сегмента) 128 КіБ і випереджаючим значенням «розміру страйпу», обраним для оптимальної продуктивності. Крім того, оскільки зараз у нас є 84 диски, у нас є 8 LUN на базі RAID 6s і 4 глобальних запасних жорстких диска, налаштованих на негайну заміну будь-якого диска, що вийшов з ладу. Це означає, що це рішення може мати до 768 ТБ корисного простору.

Продуктивність вводу/виводу NSS7.3-HA

У цьому блозі представлені результати тестів продуктивності вводу/виводу для поточного рішення NSS-HA, а саме NSS7.3. Усі випробування продуктивності проводилися за безвідмовним сценарієм ГК, щоб виміряти максимальну потужність рішення. Тести були зосереджені на трьох типах шаблонів введення-виведення: великі послідовні читання та запис, невеликі випадкові читання та записи, а також три операції метаданих (створення файлу, статистика та видалення).
Обчислювальний кластер з 32 вузлами був використаний для створення робочого навантаження для порівняльних тестів. Клієнти та конфігурація NSS об'ємом 1008 ТБ (розмір необробленого сховища) були з'єднані за допомогою InfiniBand EDR та файлової системи, змонтованої через IPoIB. Кожен бенчмарк-тест вводу/виводу проводився на різних клієнтах, щоб перевірити масштабованість рішення. Детальна інформація про використовуваних клієнтів вказана в наступній таблиці.

Таблиця 2. Конфігурація клієнтів (тестування продуктивності)

Серверна модель	PowerEdge C6420
Кількість серверів	32 кластер серверів
ЦП	Процесор Intel(R) Xeon(R) Gold 6148 @ 2.40 ГГц
БАРАН	192 ГіБ
Операційна система	Red Hat Enterprise Linux Server реліз 7.4
Ядра	3.10.0-693.17.1.el7.x86_64
Мережний адаптер	Mellanox ConnectX-4 VPI IB EDR/100 GbE з одним портом QSFP28
Версія OFED	MLNX_OFED-4.3.1.0.1.0

 

У цьому дослідженні використовувалися бенчмарки IOzone та MDtest . IOzone використовувався для послідовних і випадкових тестів. Для послідовних тестів використовувався розмір запиту 1024 КіБ. Загальний обсяг переданих даних склав 256 Гб, щоб забезпечити насичення кеш-пам'яті сервера NFS. У випадкових тестах використовувався розмір запиту 4 КіБ, і кожен клієнт читав і записував файл розміром 4 Гб. Тести метаданих проводилися за допомогою бенчмарку MDtest з OpenMPI і включали операції створення, статистики та видалення файлів. (Див. Додаток A офіційного документа NSS7.0-HA , щоб дізнатися про повні команди, які використовуються в тестах.)

IPoIB послідовний запис і читання

На малюнках 2 і 3 показані послідовні показники запису і читання. Оскільки тестовий кластер мав 32 вузли, то 64-потокова точка даних була отримана за допомогою 32 клієнтів, що виконували по 2 потоки кожен.
Для NSS7.3-HA пікова продуктивність читання становить 7 ГБ/с, а пікова продуктивність запису – майже 5 ГБ/сек. З двох цифр очевидно, що поточне рішення NSS7.3-HA має вищі послідовні показники продуктивності, ніж попередня версія. Читання на 18,7% краще, але продуктивність запису особливо краща з продуктивністю до 2,65 разів (при 16 потоках) продуктивністю попереднього рішення. Порівнюючи пікові значення продуктивності, запис на NSS7,3-HA відбувається в 2,13 рази швидше, а зчитування - на 12,5% краще.
Частково це пов'язано з більш високою внутрішньою швидкістю SAS 12 Гбіт/с для всіх внутрішніх компонентів PowerVault ME4084, включаючи жорсткі диски (PowerVault MD3460 мав 6 Гбіт/с), що забезпечує більш високу пропускну здатність на LUN, а також з новими контролерами зберігання, які можуть обробляти інформацію швидше, ніж попереднє покоління PowerVault MD3.

Малюнок 2. Висока продуктивність послідовного запису IPoIB

 

Малюнок 3. Висока продуктивність послідовного зчитування IPoIB

IPoIB випадковий запис і читання

На малюнку 4 і малюнку 5 показана продуктивність випадкового запису і читання.
Судячи з малюнка, випадковий запис досягає пікової продуктивності при 32 потоках, тоді як попередня версія рішення досягла піку в 64 потоки. Продуктивність випадкового зчитування неухильно зростає на NSS7.3 до 32 клієнтів, а для попереднього рішення пік був на рівні 16 клієнтів. Знову ж таки, нове сховище демонструє свою чудову продуктивність у порівнянні з попередником із покращенням запису до 3,44 раза (при 2 потоках) і на 85% вищою продуктивністю читання (при 32 потоках), ніж у попередника. Порівнюючи пікові показники, різниця становить близько 13% на випадкових записах і 85% на випадкових читаннях. Ці вдосконалення в основному пов'язані з новими контролерами PowerVault ME4084, які мають більш швидкі можливості обробки в порівнянні з контролерами PowerVault MD3460.

Малюнок 4. Продуктивність випадкового запису IPoIB

Малюнок 5. Продуктивність випадкового зчитування IPoIB

 

Операції з метаданими IPoIB

На рисунку 6, рисунку 7 та рисунку 8 показані результати операцій створення, статистики та видалення файлів відповідно. Оскільки обчислювальний кластер HPC має лише 32 обчислювальні вузли, на графіках нижче кожен клієнт виконував максимум один потік для кількості клієнтів до 32, а для кількості потоків 64, 128, 256 і 512 кожен клієнт виконував 2, 4, 8 або 16 одночасних операцій (потоків).
Для створення файлів, у порівнянні з попереднім рішенням, нове рішення демонструє стійке підвищення продуктивності приблизно вдвічі з піковою різницею (208%) у 32 клієнтів, потім трохи знижується, але навіть порівнюючи пікову продуктивність для обох рішень при 256 потоках, нове рішення працює на 30% швидше.
Операції статистики є найбільш покращеними в новому сховищі, де покращення в 7,7 разів вищі за попередника при 256 потоках, а порівнюючи пікові продуктивності, NSS7.3 показує майже в 6 разів більшу кількість операцій статистики в секунду, ніж попередня версія NSS.
Нарешті, операції з видалення мають порівняно незначне покращення з продуктивністю більшості точок даних на 33% або краще, ніж попереднє рішення; за винятком 128 потоків, де продуктивність у 2,21 рази краща. При максимальній продуктивності нове сховище досягає майже на 55% вищої продуктивності в порівнянні з попередньою системою NSS.
Всі ці поліпшення пов'язані з більш високими жорсткими дисками, що використовують швидкість SAS3 (12 Гбіт/с), а також новими контролерами PowerVault ME4084, здатними підвищувати IOP і пропускну здатність.

Малюнок 6. Продуктивність створення файлу IPoIB

 

 

 

Малюнок 8. Продуктивність видалення файлів IPoIB

Висновки і подальша робота

Протягом різних поколінь рішення NSS-HA зазнало багато оновлень апаратного та програмного забезпечення, щоб постійно пропонувати високу доступність, вищу продуктивність та більшу ємність сховища. У всіх цих версіях основний архітектурний проект сімейства рішень NSS-HA залишився незмінним. Для того, щоб показати різницю в продуктивності між NSS7.3-HA і попереднім випуском (NSS7.2-HA), показники продуктивності обох рішень були порівняні, що показує чудову продуктивність останньої версії рішення на базі PowerVault ME4084: 

•  До 2,65 разів швидкість послідовного запису та до 18,7% швидша швидкість читання.
  
•  До 3,44 раза випадкове зчитування та до 85% швидше випадкового зчитування.
  
•  До 2,1 разів вищий показник створення, 7,7-кратний показник статистики та 2,2-кратний показник видалення.

  Наступним етапом буде характеристика рішення NSS7.3-HA, підключеного до адаптерів Intel Omni-Path. Для отримання детальної інформації про рішення NSS-HA, будь ласка, ознайомтеся з нашими опублікованими технічними документами:

•  Dell HPC NFS Storage Solution High Availability Configurations, випускна версія NSS2-HA, опублікована в квітні 2011 року.
  
•  Dell HPC NFS Storage Solution High Availability Configurations with Large Capacitys, випускна версія NSS3-HA, опублікована в лютому 2012 року.
  
•  Конфігурації Dell HPC NFS Storage Solution High Availability (NSS-HA) із серверами Dell PowerEdge 12-го покоління, випускна версія NSS4-HA, опублікована в липні 2012 року.
  
•  Dell HPC NFS Storage Solution - Конфігурація високої доступності (NSS-HA) з масивами зберігання даних Dell PowerVault MD3260/MD3060e, версія випуску NSS4.5-HA оновлена, опублікована в травні 2013 року.
  
•  Dell HPC NFS Storage Solution - конфігурації NSS5-HA високої доступності, випускна версія NSS5.0-HA, опублікована у вересні 2013 року.
  
•  Dell HPC NFS Storage Solution - конфігурація високої доступності (NSS5.5-HA) з масивами зберігання даних Dell PowerVault MD3460 і MD3060e, випускна версія NSS5.5-HA, опублікована у вересні 2013 року.
  
•  Dell HPC NFS Storage Solution - Конфігурація високої доступності (NSS6.0-HA) з серверами Dell PowerEdge 13-го покоління, випускна версія NSS6.0-HA, опублікована в листопаді 2014 року.
  
•  Dell HPC NFS Storage Solution - High Availability (NSS7.0-HA) Configuration, випускна версія NSS7.0-HA, опублікована в травні 2016 року.

   

  Примітка: для будь-якої індивідуальної конфігурації/розгортання, будь ласка, зв'яжіться зі своїм представником Dell EMC, щоб отримати конкретні вказівки.