Решение для хранения данных Dell EMC HPC NFS — конфигурация высокой доступности (NSS7.4-HA)

Содержание

1. Обзор решения
2. Архитектура NSS7.4-HA
3. Сравнение компонентов в NSS7.4-HA и NSS7.3-HA
4. Конфигурация опытного образца
5. Сводная информация о производительности ввода-вывода NSS7.4-HA
   • IPoIB: последовательные операции записи и чтения N-N
   • IPoIB: произвольные операции записи и чтения N-N
   • IPoIB: операции с метаданными
6. Заключение
7. Справочные материалы
   
    

---

Обзор решения

В этой статье блога описывается решение Dell EMC HPC NFS для хранения данных версии 7.4 (NSS7.4-HA), которое использует масштабируемые процессоры Intel Xeon второго поколения под кодовым названием «Cascade Lake».  Эти улучшенные процессоры Xeon имеют до 28 ядер, до 38,5 МБ кэш-памяти последнего уровня и шесть каналов памяти с частотой 2933 МТ/с на разъем.  Основные функции каскадных процессоров Lake служат для устранения угроз аппаратного обеспечения на боковых каналах, с помощью Intel DL Boost (внни), а также для поддержки повышенных скоростей и частоты памяти.

В каскадной функции Lake и его предшественника Skylakeимеетсяфункциональность под названием Адддк (даптиве dаубле dRAM dевице Cорректион). ADDDC развертывается во время работы устройства для динамического обнаружения неисправных устройств DRAM, продолжая осуществлять коррекцию данных на одном устройстве (SDDC) и предоставлять память для кода коррекции ошибок (ECC), что увеличивает срок службы DIMM. Эта функция активируется только для устройств x4 DRAM и не выполняет никаких действий, если в системе есть устройства x8 DRAM. Поскольку последняя версия NSS-HA 7.4 использует только 16 ГБ памяти, то есть конфигурацию x8, функция ADDDC затенена и не доступна для настройки в BIOS. Тем не менее, если используется память объемом 32 Гбайт, то АДДДК будет доступна в качестве настраиваемого параметра, и рекомендуется установить ее в значение Disabled (отключено), чтобы предпочитать производительность по сравнению с функциями RAS.

Рекомендуется настроить серверы NFS с помощью профиля HPC, как описано в блоге "маркировкаBIOS для Intel Каскад Lake" это включает настройку BIOS для настройки кластера Sub-NUMA, логический процессор отключен, а профиль системы задан в значение «производительность». При обновлении существующей системы перед переходом на процессоры Cascade Lake убедитесь, что BIOS обновлен до версии, поддерживающей процессоры Cascade Lake. Специалисты HPC Engineering в лаборатории HPC and AI Innovation Lab провели серию тестов производительности серверов NSS с процессорами Cascade Lake и сравнили результаты с полученными ранее при использовании решения NSS7.3-HA на базе серверов PowerEdge с процессорами семейства Xeon предыдущего поколения «Skylake-SP». Результаты тестирования и сравнение представлены в этом блоге.

Решение для хранения NFS, предоставляемое Dell EMC, оптимизировано и настроено для достижения максимальной производительности.  При настройке решения NSS7.4-HA следует обратить внимание на следующие моменты:

1. Минимальная поддерживаемая операционная система для использования процессоров Cascade Lake — Red Hat Enterprise Linux 7.6. Однако при использовании ядра версии 3.10.0-957.el7 общий ресурс NFS будет «зависать» на задаче, например kworker, потребляя 100% ЦП. Основная причина проблемы заключается в рассинхронизации уровня TCP с состоянием транспорта слоев sunrpc. Эта проблема была устранена в пакете ядра версии kernel-3.10.0-957.5.1.el7 или более поздней. Таким образом, базовая операционная система, используемая для этого решения, — RHEL7.6, а используемая версия ядра — kernel-3.10.0-957.5.1.el7. Дополнительные сведения доступны по ссылке https://access.redhat.com/solutions/3742871.
2. Если не установлены следующие пакеты, для решения NSS7.4-HA ресурс nfsserver не запускается из-за сбоя запуска nfs-idmapd.service. Дополнительные сведения доступны по ссылке https://access.redhat.com/solutions/3746891.
   • resource-agents-4.1.1-12.el7_6.4
   • resource-agents-aliyun-4.1.1-12.el7_6.4
   • resource-agents-gcp-4.1.1-12.el7_6.4 или более поздней версии.
3. В примечаниях к выпуску RHEL7.6 подчеркивается тот факт, что ошибка на уровне ввода-вывода LVM приводит к повреждению данных в первых 128 КБ распределяемого пространства физического тома.  Проблема была решена с помощью lvm2-2.02.180-10.el7_6.2 или более поздней версии.  Поэтому убедитесь, что пакет lvm2 обновлен до последней версии. Если обновление lvm2 невозможно, то временное решение заключается в том, чтобы не использовать команды LVM, которые изменяют метаданные группы томов (VG), такие как lvcreate или lvextend, в то время как в группе томов используются логические тома.

---

Архитектура NSS7.4-HA

На рис. 1 показана структура решения NSS7.4-HA. За исключением необходимых обновлений программного обеспечения и микропрограмм, NSS7.4-HA и NSS7.3-HA используют одну и ту же конфигурацию кластера HA и системы хранения данных. Пара серверов NFS в конфигурации высокой доступности «активный-пассивный» подключена к PowerVault ME4084. На каждом сервере NFS имеется две платы SAS. К каждой плате подключен кабель SAS для каждого контроллера в общей системе хранения, поэтому отказ одной платы SAS или кабеля SAS не влияет на доступность данных (подробнее о конфигурации см. в технической документации по NSS7.3-HA). Архитектура NSS7.4-HA

 

---

 

Сравнение компонентов в NSS7.4-HA и NSS7.3-HA

Несмотря на то, что решения Dell NSS-HA получили множество аппаратных и программных обновлений для обеспечения более высокой доступности, производительности и емкости хранения данных с момента выпуска первого NSS-HA, архитектурные принципы проектирования и развертывания семейства решений NSS-HA остаются неизменными. В последней версии и более ранней версии NSS7.3-HA используется один и тот же сервер хранения — PowerVault ME4084. В следующей таблице приведено сравнение компонентов в последнем решении NSS7.4-HA и более раннем решении NSS7.3-HA.

 

В остальной части статьи блога будут представлены опытный образец и информация о производительности ввода-вывода NSS7.4-HA. Чтобы показать разницу в производительности между NSS7.4-HA и предыдущим выпуском, будут также приведены соответствующие показатели производительности NSS7.3-HA.

 

---

Конфигурация опытного образца

Здесь описывается опытный образец, используемый для оценки производительности и функциональности решения NSS7.4-HA. Обратите внимание, что процессоры, используемые для тестирования производительности, отличаются от процессоров, выбранных для данного решения, поскольку процессоры Xeon Gold 6240 не были получены вовремя. План состоит в том, чтобы повторить некоторые тесты, как только будут доступны процессоры 6240, и при необходимости внести изменения в этот отчет.
    

Таблица 4. Конфигурация клиентов NSS 7,4-HA   

---

Сводная информация о производительности ввода-вывода NSS7.4-HA

В этом разделе представлены результаты тестов производительности ввода-вывода для текущего решения NSS7.4. Все тесты производительности проводились в сценарии без сбоев для измерения максимальных возможностей решения. Тесты сосредоточены на трех типах шаблонов ввода-вывода: большие последовательные операции чтения и записи, небольшие случайные операции чтения и записи, а также три операции с метаданными (создание файлов, операция stat и удаление). Как и в случае с предыдущей версией NSS 7.3. HA, в решении используются планировщики ввода-вывода крайних сроков и управляющие программы 256 NFS.

В конфигурации 840TB (неформатированная емкость системы хранения) было выполнено тестирование возможностей подключения к сети по протоколу EDR. Чтобы создать рабочую нагрузку для тестирования производительности использовался 32-узловой вычислительный кластер. Каждый тест выполнялся по диапазону клиентов для проверки масштабируемости решения.

В данном исследовании использовались показатели производительности Иозоне и мдтест. Для тестов с последовательными и случайными операциями использовалась утилита IOzone. Для тестов с последовательными операциями использовался запрос размером 1024 КБ. Общий объем передаваемых данных составил 2 ТБ, чтобы обеспечить заполнение кэш-памяти сервера NFS. В тестах со случайными операциями использовался запрос размером 4 КБ, и каждый клиент считал и записал файл размером 4 ГБ. Тесты метаданных проводились с использованием приложения mdtest на базе OpenMPI и включали операции создания, обработки и удаления файлов (полные команды, используемые в тестах, см. в Приложении A технической документации по NSS7.3-HA).

 

IPoIB: последовательные операции записи и чтения N-N

Для оценки последовательных операций чтения и записи теста IOzone использовалась версия 3.487 в режиме последовательного чтения и записи. Эти тесты проводились на множестве потоков, начиная с 1 потока и далее по степеням числа 2, вплоть до 64 потоков. При каждом подсчете потоков было создано одинаковое количество файлов, поскольку этот тест работает с одним файлом на поток или с N-N. Был выбран размер агрегатного файла 2 ТБАЙТ, который равномерно распределяется между количеством потоков в любом заданном тесте.

На рис. 2 приведено сравнение производительности последовательных операций ввода-вывода NSS 7,4-HA с версией NSS 7.3-HA. На рисунке видно, что версии NSS7.4 и NSS7.3 имеют одинаковую пиковую производительность при чтении со скоростью ок. 7 ГБ/с и записи — ок. 5 ГБ/с. Однако при некоторых подсчетах потоков было измерено снижение производительности записи на 15–20% по сравнению с решением NSS7.3-HA. Исследование этой разницы в производительности еще не закончено. Производительность чтения увеличилась почти на 45% при одном и двух потоках и на 18% при восьми потоках. Для количества потоков выше 8 производительность чтения аналогична производительности решения NSS7.3-HA. Увеличение производительности чтения при меньшем количестве потоков, вероятно, связано с аппаратными ограничениями, которые используются в процессорах Cascade Lake для защиты от атак по обходным каналам. Высокая производительность последовательного ввода-вывода IPoIB




 

IPoIB: произвольные операции записи и чтения N-N

Для оценки производительности произвольных операций ввода-вывода использовался IOzone версии 3.487 в произвольном режиме. Испытания проводились на количестве потоков от 1 до 64 по степеням числа 2. Размер записи был выбран равным 4 КБ. Каждый клиент читал или записывал файл 4 ГБ для моделирования произвольного доступа к небольшим данным.  Так как в кластере имелись только 32 узлов, точка данных 64-Thread была получена с клиентами 32, использующими 2 потока.

На рис. 3 показано сравнение производительности произвольных операций записи и ввода-вывода NSS 7,4-HA с NSS 7.3-HA. Как видно на рисунке, пиковая производительность NSS7.4 при произвольной записи аналогична производительности NSS7.3-HA — ок. 7300 операций ввода-вывода в секунду.  В решении NSS7.4-HA для меньшего количества потоков (1 и 2) производительность записи примерно на 14% ниже, чем в предыдущей версии решения. Этот аспект исследуется в данный момент.  Производительность произвольного чтения постоянно увеличивается на NSS7.4 и достигает пика в 16 607 операций ввода-вывода в секунду при 64 потоках. В предыдущем выпуске (NSS7.3-HA) пиковая производительность 28 811 операций ввода-вывода в секунду была достигнута при 32 потоках, что на 42% выше пиковой производительности, достигаемой при произвольном чтении в решении NSS7.4-HA. Производительность произвольного ввода-вывода IPoIB



 

IPoIB: операции с метаданными

Для оценки производительности операций с метаданными системы был использован инструмент MDTest версии 1.9.3. Использовался дистрибутив OpenMPI версии 1.10.7.  Тесты операций с метаданными проводились путем создания 960 000 файлов для количества потоков до 32, а затем путем увеличения количества файлов для проверки масштабируемости решения, как указано в таблице 5. Проверки метаданных. Распределение файлов и каталогов между потоками 

Количество потоков	Количество файлов в каталоге	Количество каталогов на поток	Общее количество файлов
1.	3 000	320	960 000
2.	3 000	160	960 000
4.	3 000	80	960 000
8.	3 000	40	960 000
16	3 000	20	960 000
32	3 000	10.	960 000
64	3 000	8.	1 536 000
128	3 000	4.	1 436 000
256	3 000	4.	3 072 000
512	3 000	4.	6 144 000

На рис. 4, рис. 5 и рис. 6 соответственно изображены результаты операций создания и удаления файлов, а также операции STAT. Поскольку вычислительный кластер HPC содержит 32 вычислительных узла, на приведенных ниже графиках каждый клиент выполнил не более одного потока на узел при количестве до 32. Для числа клиентов 64, 128, 256 и 512 каждый узел выполнял одновременно 2, 4, 8 или 16 операций. Рис. 4. Создание
производительности
файла
IPoIB
Рис. 5. Производительность IPoIB фиел stat



Рис. 6. Производительность IPoIB Фие Remove Performance



 

---

Заключение

В следующей таблице приведены сводные данные о выявленных различиях в производительности между решениями NSS7.4 и NSS7.3.  Таблица 5. Сравнение производительности версий NSS7.4-HA и NSS7.3-HA

Система хранения данных Dell EMC HPC NFS	NSS7.4-HA	NSS7.4-HA NSS7.3-HA
Последовательность Пиковая запись 1 МБАЙТ: 1,4% снижения	4834 МБ/с	4906 МБ/с
Последовательность Пиковое число операций чтения 1 МБАЙТ: 0,7% снижения	7024 МБ/с	7073 МБ/с
Пиковый объем операций записи, пиковый — 4 Кбайт: 0,7% снижения	7 290 операций ввода-вывода в секунду	7 341 операций ввода-вывода в секунду
Пиковый объем операций чтения, пиковый — 4 Кбайт: 42% снижения	16 607 операций ввода-вывода в секунду	28 811 операций ввода-вывода в секунду
Операции создания/второго пикового пикового разгрузки: 1,1% снижения	54 197 операций в секунду	54 795 операций в секунду
Операций stat/Second пик: 35% снижения	522 231 операций в секунду	808 317 операций в секунду
Операций удаления/второй пиковой нагрузки: 35% снижения	47 345 операций в секунду	73 320 операций в секунду

Из приведенных выше результатов можно сделать вывод, что текущее решение NSS7.4-HA обеспечивает производительность, сравнимую с производительностью предыдущего решения NSS7.3-HA. Планируется проведение эталонных тестов на процессорах Xeon Gold 6240 с 18 ядрами на процессор. Цель — определить, насколько снижение производительности при произвольном чтении и при большем числе потоков в операциях STAT и удаления файлов связано с меньшим количеством ядер в процессорах Xeon Gold 6244 (8 ядер на процессор), использованных для тестирования производительности решения NSS7.4-HA.

---

Справочные материалы

Подробную информацию о решениях NSS-HA можно найти в опубликованных технических документах.

 

•  Решение для хранения данных Dell HPC NFS — конфигурация высокой доступности (NSS6.0-HA) с серверами Dell PowerEdge 13-го поколения, версия NSS6.0-HA, опубликовано в ноябре 2014 г.
•  Решение для хранения данных Dell HPC NFS — конфигурация высокой доступности (NSS7.0-HA), версия NSS7.0-HA, опубликовано в мае 2016 г.
•  Готовое решение Dell EMC HPC NFS для хранения данных, версия NSS7.3-HA, опубликовано в марте 2019 г.