Обзор

Новейшей версией решения Dell EMC Ready Solution для высокопроизводительных вычислений NFS Storage (NSS) с высокой доступностью (решение NSS-HA) будет NSS 7.3-HA, выпуск запланирован на конец этого месяца.
Этот выпуск NSS включает в себя новые массивы хранения данных Dell EMC PowerVault ME4084 и Red Hat Enterprise Linux 7.5. В нем по-прежнему используются процессоры семейства Intel Xeon Scalable (архитектура под кодовым названием Skylake), что обеспечивает более высокую общую производительность системы по сравнению с предыдущими решениями NSS-HA. В этом блоге представлены результаты тестов производительности ввода-вывода для этой последней версии решения NSS.
На рис. 1 показана архитектура конфигурации NSS 7.3-HA. Основные различия между NSS7.3-HA и его непосредственным предшественником NSS7.2-HA:

• Внутренний массив хранения данных:
  • NSS7.2-HA. PowerVault MD3460 + опциональный MD3060e (60 или 120 жестких дисков)
  • NSS 7.3-HA. PowerVault ME4084 (84 жестких диска)
• Операционная система:
  • NSS7.2-HA. RHEL 7.4
  • NSS 7.3-HA. Red Hat® Enterprise Linux® 7.5

За исключением таких элементов, как необходимые обновления программного обеспечения и микропрограммы, NSS7.2-HA и NSS7.3-HA используют ту же архитектуру кластера высокой доступности и базовую конфигурацию хранилища. (Дополнительные сведения о конфигурации см. в техническом документе NSS 7.0-HA .)
Еще одним значительным улучшением NSS7.2-HA и NSS7.3-HA является значительное увеличение максимальной емкости. Хотя NSS7.2-HA ограничен текущим лимитом поддержки Red Hat XFS в 500 Тбайт, после всестороннего тестирования и проверки в наших лабораториях Dell EMC и Red Hat достигли соглашения о сотрудничестве, поддерживающего конфигурации NSS 7.3-HA с полезным пространством до 768 Тбайт. Это полностью заполненный массив Dell EMC PowerVault ME4084 с жесткими дисками емкостью 12 Тбайт, или 1008 Тбайт неформатированного дискового пространства.

Архитектура NSS-HA

На рисунке 1 показана архитектура NSS 7.3 внутри пунктирного прямоугольника, встроенного в типичный тестовый стенд, включающий клиенты и коммутатор сети общего пользования.

Рис. 1 Архитектура и тестовый стенд NSS 7.3-HA, 1008 Тбайт неформатированного пространства (768 Тбайт полезного пространства)

В следующей таблице приведено краткое описание различных компонентов нового решения NSS HA 7.3.
  

Таблица 1. Компоненты для NSS7.2-HA и NSS7.3-HA

	Выпуск NSS 7.2-HA (апрель 2018 г.) «Серверы PowerEdge 14-го поколения и MD3460 + MD3060e»	Выпуск NSS 7.3-HA (октябрь 2018 г.) «Сервер PowerEdge 14-го поколения и решение на базе ME4084»
Программное обеспечение	Red Hat Enterprise Linux 7.4, ядро 3.10.0-693.el7.x86_64 Масштабируемая файловая система Red Hat (XFS) версии 4.5.0-12	Red Hat Enterprise Linux 7.5, ядро 3.10.0-862.el7.x86_64 Масштабируемая файловая система Red Hat (XFS) версии 4.5.0-15
NFS-серверы	Два сервера Dell PowerEdge R740. ЦП: Два процессора Intel Xeon Gold 6136 @ 3.0 ГГц, 12 ядер на процессор. Память: 12 модулей RDIMM по 16 ГиБ, 2666 млн транзакций в секунду.
Возможности подключения к внешней сети	EDR InfiniBand, 10 GbE или Intel Omni-Path. Для этого блога Mellanox ConnectX-4 IB EDR/100 GbE. Для заказов: CX-5 IB EDR/100 GbE.
Возможность внутреннего подключения	Коммутатор Gigabit Ethernet Dell Networking S3048-ON
Версия OFED	Mellanox OFED 4.3-1.0.1.0	Mellanox OFED 4.4-1.0.0
Прямое подключение к системе хранения	Соединения SAS 12 Гбит/с.
Подсистема хранения	Dell EMC MD3460 + опционально MD3060e. 60–120 – 3,5-дюймовых накопителей NL SAS 4 Тбайт. Две конфигурации: 240 или 480 Тбайт (неформатированное пространство). 6 или 12 LUN, 8+2, RAID 6, размер сегмента 512 КиБ Без резервов	Dell EMC PowerVault ME4084. 84 — 3,5-дюймовые накопители NL SAS, до 12 Тбайт. Одна конфигурация: до 1008 Тбайт (неформатированное пространство). 8 LUN, линейная схема 8+2 RAID 6, размер блока 128 КБ. 4 глобальных запасных жестких диска.

 

Новая система хранения PowerVault ME4084 по-прежнему использует линейный RAID 6 8+2 в качестве базовой строительной единицы с новым размером блока (размером сегмента) 128 КиБ и значением упреждающего чтения «stripe size», выбранным для оптимальной производительности. Кроме того, поскольку теперь у нас 84 диска, у нас есть 8 LUN на базе RAID 6s и 4 глобальных резервных жестких диска, настроенных для немедленной замены любого неисправного диска. Это означает, что это решение может иметь до 768 Тбайт полезного пространства.

Производительность ввода-вывода NSS 7.3-HA

В этом блоге представлены результаты тестов производительности ввода-вывода для текущего решения NSS-HA, а именно NSS 7.3. Все тесты производительности проводились в сценарии высокой доступности для оценки максимальных возможностей решения. Тесты были сосредоточены на трех типах шаблонов ввода-вывода: большие последовательные операции чтения и записи, небольшие произвольные операции чтения и записи, а также три операции метаданных (создание, добавление и удаление файла).
Вычислительный кластер из 32 узлов использовался для создания рабочей нагрузки для эталонных тестов. Клиенты и конфигурация NSS 1008 Тбайт (неформатированный размер хранилища) были подключены с помощью InfiniBand EDR, а файловая система смонтирована через IPoIB. Каждое эталонное тестирование ввода-вывода проводилось на нескольких клиентах для проверки масштабируемости решения. Подробные сведения об используемых клиентах приведены в следующей таблице.

Таблица 2. Конфигурация клиентов (тестирование производительности)

Модель сервера	PowerEdge C6420
Количество серверов	Кластер из 32 серверов
ЦП	Процессор Intel(R) Xeon(R) Gold 6148 @ 2.40 ГГц
ОЗУ	192 ГиБ
Операционная система	Red Hat Enterprise Linux Server, выпуск 7.4
Ядро	3.10.0-693.17.1.el7.x86_64
Сетевой адаптер	Однопортовый адаптер Mellanox ConnectX-4 VPI IB EDR/100 GbE, QSFP28
Версия OFED	MLNX_OFED-4.3.1.0.1.0

 

В данном исследовании использовались бенчмарки IOzone и MDtest . Для последовательных и случайных тестов использовался IOzone. Для последовательных тестов использовался размер запроса 1024 КиБ. Общий объем переданных данных составил 256 ГиБ, чтобы обеспечить заполнение кэша сервера NFS. В случайных тестах использовался запрос размером 4 КиБ, и каждый клиент читал и записывал файл размером 4 ГиБ. Тесты метаданных были выполнены с использованием эталонного теста MDtest с OpenMPI и включали операции создания, статистики и удаления файлов. (Полный список команд, используемых в тестах, см. в приложении A к техническому документу NSS 7.0-HA .)

Последовательные операции записи и чтения IPoIB

На рисунках 2 и 3 показана производительность последовательной записи и чтения. Поскольку тестовый кластер содержал 32 узла, 64 точки данных были получены с использованием 32 клиентов, работающих по 2 потока в каждом.
Для NSS 7.3-HA пиковая производительность чтения составляет 7 Гбайт/с, а пиковая производительность записи — почти 5 Гбайт/с. Из этих двух цифр очевидно, что текущее решение NSS7.3-HA имеет более высокие последовательные показатели производительности, чем предыдущая версия. Операции чтения стали на 18,7% выше, но особенно выше производительность записи: производительность предыдущего решения выросла в 2,65 раза (при 16 потоках). Для сравнения, операции записи на NSS7.3-HA выполняются в 2,13 раза быстрее, а операции чтения — на
12,5%.Отчасти это связано с более высокой внутренней скоростью SAS 12 Гбит/с для всех внутренних компонентов PowerVault ME4084, включая жесткие диски (PowerVault MD3460 использовала 6 Гбит/с), что обеспечивает более высокую пропускную способность на один LUN, а также с новыми контроллерами хранилища, которые могут обрабатывать информацию быстрее, чем PowerVault MD3 предыдущего поколения.

Рис. 2 Производительность последовательной записи больших объемов IPoIB

 

Рис. 3. Производительность последовательного чтения больших объемов IPoIB

Произвольные операции записи и чтения IPoIB

На рисунках 4 и 5 показана производительность произвольной записи и чтения.
Как видно из рисунка, при произвольной записи достигается пиковая производительность при 32 потоках, в то время как предыдущая версия решения достигла пика при 64 потоках. Производительность произвольного чтения неуклонно возрастает на NSS 7.3 до 32 клиентов, а для предыдущего решения пик был на уровне 16 клиентов. Новая система хранения данных демонстрирует превосходную производительность по сравнению с предыдущей моделью: в 3,44 раза выше скорость записи (при 2 потоках) и на 85% выше производительность чтения (при 32 потоках) по сравнению с предшественником. Если сравнивать пиковую производительность, то разница составляет около 13% для произвольных операций записи и 85% для произвольных операций чтения. Эти улучшения в основном связаны с новыми контроллерами PowerVault ME4084, которые обладают более быстрыми возможностями обработки данных по сравнению с контроллерами PowerVault MD3460.

Рис. 4 Производительность произвольной записи IPoIB

Рис. 5. Производительность произвольного чтения IPoIB

 

IPoIB: операции с метаданными

На рисунках 6, 7 и 8 показаны результаты операций создания, статистики и удаления файлов соответственно. Так как вычислительный кластер HPC содержит только 32 вычислительных узла, на графиках ниже каждый клиент выполнял максимум один поток для числа клиентов до 32, а для числа потоков 64, 128, 256 и 512 каждый клиент выполнял 2, 4, 8 или 16 одновременных операций (потоков).
Для создания файлов по сравнению с предыдущим решением новое решение демонстрирует устойчивое улучшение производительности примерно в два раза с пиковой разницей (208%) при 32 клиентах, а затем немного снижается, но даже если сравнить пиковую производительность обоих решений при 256 потоках, новое решение работает на 30% быстрее.
Операции со статами больше всего улучшены в новом хранилище, где улучшения в 7,7 раза выше, чем у предшественника при 256 потоках, а сравнение пиковой производительности NSS 7.3 показывает почти в 6 раз больше операций статистики в секунду, чем предыдущая версия NSS.
Наконец, операции удаления имеют сравнительно незначительное улучшение: производительность большинства точек данных составляет 33% или выше, чем у предыдущего решения; за исключением 128 потоков, где производительность в 2,21 раза выше. На пике производительности новая система хранения достигает почти на 55% более высокой производительности по сравнению с предыдущей системой NSS.
Все эти улучшения стали возможны благодаря более быстрым жестким дискам, использующим скорость SAS3 (12 Гбит/с), а также новым контроллерам PowerVault ME4084, способным обеспечивать более высокие показатели IOPS и пропускной способности.

Рис. 6 Производительность при создании файла IPoIB

 

 

 

Рис. 8. Производительность при удалении файла IPoIB

Выводы и планы на будущее

На протяжении разных поколений решения решение NSS-HA претерпело множество аппаратных и программных обновлений, чтобы постоянно обеспечивать высокую доступность, более высокую производительность и большую емкость хранилища. Во всех этих версиях основная архитектура семейства решений NSS-HA осталась неизменной. Чтобы продемонстрировать разницу в производительности между NSS7.3-HA и предыдущим выпуском (NSS7.2-HA), были сопоставлены показатели производительности обоих решений, которые показали превосходную производительность последней версии решения на основе PowerVault ME4084. 

•  Скорость последовательной записи в 2,65 раза выше, а скорость чтения на 18,7% выше.
  
•  В 3,44 раза выше скорость произвольной записи и на 85% выше производительность произвольного чтения.
  
•  В 2,1 раза выше скорость создания, в 7,7 раз выше скорость характеристики и в 2,2 раза выше скорость удаления.

  Следующим этапом будет охарактеризовано решение NSS 7.3-HA, подключенное к адаптерам Intel Omni-Path. Подробную информацию о решениях NSS-HA см. в наших опубликованных технических документах:

•  Конфигурации высокой доступности решения для хранения данных Dell HPC NFS, версия выпуска NSS2-HA, опубликованная в апреле 2011 г.
  
•  Конфигурации высокодоступного хранилища Dell HPC NFS с большой емкостью, версия NSS3-HA, опубликованная в феврале 2012 г.
  
•  Конфигурации Dell HPC NFS Storage Solution High Availability (NSS-HA) с серверами Dell PowerEdge 12-го поколения, версия NSS4-HA, опубликованная в июле 2012 г.
  
•  Конфигурация Dell HPC NFS Storage Solution — High Availability (NSS-HA) с массивами хранения данных Dell PowerVault MD3260/MD3060e, версия NSS4.5-HA обновлена, опубликована в мае 2013 г.
  
•  Решение Dell HPC NFS Storage Solution — конфигурации NSS5-HA высокой доступности, версия выпуска NSS5.0-HA, опубликованная в сентябре 2013 г.
  
•  Конфигурация Dell HPC NFS Storage Solution — High Availability (NSS5.5-HA) с массивами хранения данных Dell PowerVault MD3460 и MD3060e, версия NSS5.5-HA, опубликованная в сентябре 2013 г.
  
•  Решение для хранения данных Dell HPC NFS — конфигурация высокой доступности (NSS6.0-HA) с серверами Dell PowerEdge 13-го поколения, версия NSS6.0-HA, опубликовано в ноябре 2014 г.
  
•  Решение для хранения данных Dell HPC NFS — конфигурация высокой доступности (NSS7.0-HA), версия NSS7.0-HA, опубликовано в мае 2016 г.

   

  Примечание. Для получения инструкций по настройке или развертыванию обратитесь к представителю Dell EMC.