Н/Д

Огляд

Останнім готовим рішенням Dell EMC для зберігання HPC NFS Storage (NSS) з версією High Availability буде NSS7.3-HA, випуск якого заплановано на кінець цього місяця.
Цей випуск NSS включає нові масиви зберігання Dell EMC PowerVault ME4084 і Red Hat Enterprise Linux 7.5, а також продовжує використовувати процесори сімейства Intel Xeon Scalable Processor (архітектура під кодовою назвою Skylake), щоб забезпечити більш високу загальну продуктивність системи, ніж попередні рішення NSS-HA. У цьому блозі представлені результати тестів продуктивності вводу/виводу для цієї останньої версії рішення NSS.
На малюнку 1 показана конструкція конфігурації NSS7.3-HA. Основними відмінностями NSS7.3-HA від його безпосереднього попередника, NSS7.2-HA:

• Масив Back End Storage:
  • NSS7.2-HA: PowerVault MD3460 + опціональний MD3060e (60 або 120 HDD)
  • NSS7.3-HA: PowerVault ME4084 (84 жорстких диска)
• Операційна система:
  • NSS7.2-HA: ХЕЛ 7.4
  • NSS7.3-HA: Red Hat® Enterprise Linux® 7.5

За винятком таких елементів, як необхідні оновлення програмного забезпечення та мікропрограми, NSS7.2-HA та NSS7.3-HA мають однаковий дизайн кластера HA та базову конфігурацію сховища. (Зверніться до офіційного документа NSS7.0-HA для отримання більш детальної інформації про конфігурацію.)
Ще одним важливим удосконаленням у порівнянні з NSS7.2-HA та NSS7.3-HA є значне збільшення максимальної потужності. Незважаючи на те, що NSS7.2-HA обмежений поточним лімітом підтримки Red Hat XFS у 500 ТБ, після ретельного тестування та перевірки в наших лабораторіях Dell EMC та Red Hat досягли угоди про співпрацю на підтримку конфігурацій NSS7.3-HA з корисним простором до 768 ТБ. Це Dell EMC PowerVault ME4084, повністю заповнений жорсткими дисками ємністю 12 ТБ, або 1008 ТБ дискового простору.

Архітектура NSS-HA

На малюнку 1 показана архітектура NSS 7.3 всередині пунктирного прямокутника, вбудованого в типову тестову платформу, яка включає клієнти і комутатор мережі загального користування.

Малюнок 1. NSS7.3-HA 1008 ТБ Raw Space (768 ТБ Usable) і тестовий стенд

У наступній таблиці узагальнено різні компоненти нового рішення NSS HA 7.3.
  

Таблиця 1. Компоненти для NSS7.2-HA та NSS7.3-HA

	Випуск NSS7.2-HA (квітень 2018 р.) "Сервери PowerEdge 14-го покоління та MD3460 + MD3060e"	Випуск NSS7.3-HA (жовтень 2018 р.) "Сервер PowerEdge 14-го покоління та рішення на базі ME4084"
ПЗ	Red Hat Enterprise Linux 7.4, ядро 3.10.0-693.el7.x86_64 Масштабована файлова система Red Hat (XFS) v4.5.0-12	Red Hat Enterprise Linux 7.5, ядро 3.10.0-862.el7.x86_64 Масштабована файлова система Red Hat (XFS) v4.5.0-15
Сервери NFS	Два сервери Dell PowerEdge R740. ЦП: Два Intel Xeon Gold 6136 @ 3.0 ГГц, 12 ядер на процесор. Пам'ять: 12 x 16 ГБ, 2666 МТ/с RDIMM.
Підключення до зовнішньої мережі	EDR InfiniBand, 10 GbE або Intel Omni-Path. Для цього блогу використано Mellanox ConnectX-4 IB EDR/100 GbE. Для замовлень підійде CX-5 IB EDR/100 GbE.
Внутрішнє підключення	Gigabit Ethernet, комутатор Dell Networking S3048-ON
Версія OFED	Мелланокс ОФЕД 4.3-1.0.1.0	Мелланокс ОФЕД 4,4-1,0,0
Пряме підключення до сховища	З'єднання SAS 12 Гбіт/с.
Підсистема зберігання	Dell EMC MD3460 + опціональний MD3060e. 60 – 120 – 3,5" диски NL SAS 4 ТБ. Дві конфігурації, 240 або 480 ТБ (необроблений простір). 6 або 12 ЛУНів, 8+2 RAID 6, розмір сегмента 512KiB Без запасних	Dell EMC PowerVault ME4084. 84 - 3,5-дюймові накопичувачі NL SAS, до 12 ТБ. Одна конфігурація: до 1008 ТБ (необроблений простір). 8 ЛУНів, лінійний 8+2 RAID 6, розмір шматка 128КіБ. 4 Глобальні запчастини для жорстких дисків.

 

Нове сховище PowerVault ME4084 продовжує використовувати лінійний 8+2 RAID 6 як базову збірку з новим розміром фрагмента (розміром сегмента) 128 КіБ і випереджаючим значенням «розміру страйпу», обраним для оптимальної продуктивності. Крім того, оскільки зараз у нас є 84 диски, у нас є 8 LUN на базі RAID 6s і 4 глобальних запасних HDD, налаштованих на негайну заміну будь-якого диска, що вийшов з ладу. Це означає, що це рішення може мати до 768 ТБ корисного простору.

Продуктивність вводу/виводу NSS7.3-HA

У цьому блозі представлені результати тестів продуктивності вводу/виводу для поточного рішення NSS-HA, а саме NSS7.3. Усі тести продуктивності проводилися за безвідмовним сценарієм HA для вимірювання максимальної можливості рішення. Тести були зосереджені на трьох типах шаблонів введення-виведення: великі послідовні читання та запис, невеликі випадкові читання та записи, а також три операції метаданих (створення файлу, статистика та видалення).
Обчислювальний кластер з 32 вузлами використовувався для створення робочого навантаження для порівняльних тестів. Клієнти та конфігурація NSS ємністю 1008 ТБ (розмір RAW-сховища) були підключені за допомогою InfiniBand EDR та файлової системи змонтованої через IPoIB. Кожен бенчмарк-тест вводу/виводу проводився на різних клієнтах, щоб перевірити масштабованість рішення. Детальна інформація про використовуваних клієнтів вказана в наступній таблиці.

Таблиця 2. Конфігурація клієнтів (тестування продуктивності)

Модель сервера	PowerEdge C6420
Кількість серверів	32 кластери серверів
ЦП	Процесор Intel(R) Xeon(R) Gold 6148 @ 2.40 ГГц
БАРАН	192 ГіБ
Операційна система	Red Hat Enterprise Linux Server реліз 7.4
Ядра	3.10.0-693.17.1.el7.x86_64
Мережний адаптер	Mellanox ConnectX-4 VPI IB EDR/100 GbE однопортовий QSFP28
Версія OFED	MLNX_OFED-4.3.1.0.1.0

 

У цьому дослідженні використовувалися бенчмарки IOzone і MDtest . IOzone використовувався для послідовних і випадкових тестів. Для послідовних тестів використовувався розмір запиту 1024 КіБ. Загальний обсяг переданих даних склав 256 ГіБ, щоб забезпечити насичення кешу NFS сервера. У випадкових тестах використовувався розмір запиту 4 КіБ, і кожен клієнт читав і записував файл розміром 4 ГіБ. Тести метаданих проводилися за допомогою бенчмарку MDtest з OpenMPI і включали операції створення, статистики та видалення файлів. (Див. Додаток А офіційного документа NSS7.0-HA для отримання повних команд, що використовуються в тестах.)

IPoIB послідовний запис і зчитування

На малюнках 2 і 3 показана продуктивність послідовного запису і читання. Оскільки тестовий кластер мав 32 вузли, то точка даних з 64 потоками була отримана за допомогою 32 клієнтів, які виконували по 2 потоки кожен.
Для NSS7.3-HA пікова продуктивність зчитування становить 7 ГБ/сек, а пікова продуктивність запису – майже 5 ГБ/сек. З двох цифр очевидно, що поточне рішення NSS7.3-HA має вищі послідовні показники продуктивності, ніж попередня версія. Читання на 18,7% краще, але продуктивність запису особливо краща з продуктивністю до 2,65 разів (при 16 потоках) продуктивністю попереднього рішення. Порівнюючи пікові значення продуктивності, запис на NSS7.3-HA відбувається в 2,13 рази швидше, а зчитування на 12,5% краще.
Частково це пов'язано з більш високою внутрішньою швидкістю SAS 12 Гбіт / с для всіх внутрішніх компонентів PowerVault ME4084, включаючи жорсткі диски (PowerVault MD3460 був 6 Гбіт/с), що забезпечує більш високу пропускну здатність на LUN, а також з новими контролерами зберігання даних, які можуть обробляти інформацію швидше, ніж попереднє покоління PowerVault MD3.

Малюнок 2. Висока продуктивність послідовного запису IPoIB

 

Малюнок 3. Висока продуктивність послідовного зчитування IPoIB

IPoIB випадковий запис і зчитування

На малюнку 4 і малюнку 5 показана продуктивність випадкового запису і зчитування.
Судячи з малюнка, випадковий запис досягає пікової продуктивності при 32 потоках, тоді як попередня версія рішення досягала піку в 64 потоки. Продуктивність випадкового зчитування стабільно зростає на NSS7.3 до 32 клієнтів, а для попереднього рішення пік становив 16 клієнтів. Знову ж таки, нове сховище демонструє свою чудову продуктивність у порівнянні з попередником із покращенням запису до 3,44 разів (при 2 потоках) і на 85% вищою продуктивністю читання (при 32 потоках), ніж попередник. Порівнюючи пікові показники, різниця становить близько 13% на випадкових записах і 85% на випадкових зчитуваннях. Ці вдосконалення в основному пов'язані з новими контролерами PowerVault ME4084, які мають більш швидкі можливості обробки в порівнянні з контролерами PowerVault MD3460.

Малюнок 4. Продуктивність випадкового запису IPoIB

Малюнок 5. Продуктивність випадкового зчитування IPoIB

 

Операції з метаданими IPoIB

На рисунку 6, рисунку 7 та рисунку 8 показані результати операцій створення, статистики та видалення файлів відповідно. Оскільки обчислювальний кластер HPC має лише 32 обчислювальні вузли, на графіках нижче кожен клієнт виконував максимум один потік для кількості клієнтів до 32, а для кількості потоків 64, 128, 256 і 512 кожен клієнт виконував 2, 4, 8 або 16 одночасних операцій (потоків).
Для створення файлів, порівняно з попереднім рішенням, нове рішення демонструє стійке покращення приблизно вдвічі продуктивності з піковою різницею (208%) у 32 клієнтів, потім трохи знижується, але навіть якщо порівнювати пікову продуктивність для обох рішень у 256 потоків, нове рішення працює на 30% швидше.
Операції статистики є найбільш покращеними новим сховищем, де покращення досягають у 7,7 разів порівняно з попередником при 256 потоках, а порівнюючи пікові продуктивності, NSS7.3 показує майже в 6 разів більше операцій статистики за секунду, ніж попередня версія NSS.
Нарешті, операції з видалення мають порівняно незначне покращення з продуктивністю більшості точок даних на 33% або краще, ніж попереднє рішення; За винятком 128 потоків, де продуктивність у 2,21 раза краща. При максимальній продуктивності нове сховище досягає майже на 55% вищої продуктивності в порівнянні з попередньою системою NSS.
Всі ці поліпшення обумовлені більш швидкими жорсткими дисками, що використовують швидкість SAS3 (12 Гбіт/с), а також новими контролерами PowerVault ME4084, здатними підвищувати IOP і пропускну здатність.

Малюнок 6. Продуктивність створення IPoIB-файлу

 

 

 

Малюнок 8. Продуктивність видалення IPoIB-файлу

Висновки і подальша робота

Протягом різних поколінь рішення NSS-HA зазнало багато оновлень апаратного та програмного забезпечення, щоб постійно забезпечувати високу доступність, вищу продуктивність та більшу ємність сховища. У всіх цих версіях основний архітектурний дизайн сімейства рішень NSS-HA залишився незмінним. Для того, щоб показати різницю в продуктивності між NSS7.3-HA і попереднім випуском (NSS7.2-HA), були проведені порівняння показників продуктивності обох рішень, що показують чудову продуктивність останньої версії рішення на базі PowerVault ME4084: 

 

•  До 2,65 разів швидкість послідовного запису та до 18,7% швидша продуктивність зчитування.
•  До 3,44 раза швидкість випадкового запису та до 85% швидша продуктивність випадкового зчитування.
•  У 2,1 рази вищий показник створення, у 7,7 разів вищий показник статистики та у 2,2 рази вищий показник видалення.

  Наступним етапом стане характеристика рішення NSS7.3-HA, що підключається до адаптерів Intel Omni-Path. Для отримання детальної інформації про рішення NSS-HA, будь ласка, зверніться до наших опублікованих офіційних документів:

   

•  Dell HPC NFS Storage Solution High Availability Configurations, релізна версія NSS2-HA, опублікована в квітні 2011 року.
•  Dell HPC NFS Storage Solution High Availability Configurations with Large Capacitys, релізна версія NSS3-HA, опублікована в лютому 2012 року.
•  Конфігурації Dell HPC NFS Storage Solution High Availability (NSS-HA) із серверами Dell PowerEdge 12-го покоління, версія випуску NSS4-HA, опублікована в липні 2012 року.
•  Dell HPC NFS Storage Solution - конфігурація високої доступності (NSS-HA) з масивами зберігання Dell PowerVault MD3260/MD3060e, версія випуску NSS4.5-HA оновлена, опублікована в травні 2013 року.
•  Dell HPC NFS Storage Solution - конфігурації високої доступності NSS5-HA, версія випуску NSS5.0-HA, опублікована у вересні 2013 року.
•  Dell HPC NFS Storage Solution - конфігурація високої доступності (NSS5.5-HA) з масивами зберігання Dell PowerVault MD3460 і MD3060e, релізна версія NSS5.5-HA, опублікована у вересні 2013 року.
•  Dell HPC NFS Storage Solution - конфігурація високої доступності (NSS6.0-HA) з серверами Dell PowerEdge 13-го покоління, релізна версія NSS6.0-HA, опублікована в листопаді 2014 року.
•  Dell HPC NFS Storage Solution - конфігурація високої доступності (NSS7.0-HA), версія випуску NSS7.0-HA, опублікована в травні 2016 року.

   

  Примітка: для будь-якої індивідуальної конфігурації/розгортання, будь ласка, зверніться до представника Dell EMC для отримання конкретних вказівок.