В этом блоге рассматриваются основные функции готовых решений Dell EMC для хранилищ НРС BeeGFS , о которых было объявлено недавно. Это третий блог серии о решении для высокопроизводительных систем хранения BeeGFS. В первом блоге было объявлено о выпуске решения. Во втором блоге рассматривается масштабируемость готовых решений Dell EMC для хранилищ НРС BeeGFS. В нем представлены подробные сведения о базовых конфигурациях, гибких масштабируемых конфигурациях и фактической измеряемой последовательной производительности чтения и записи различных конфигураций, демонстрирующие, что масштабируемость является линейной по отношению к количествам серверов в решении. В текущем блоге будет выделено использование функции StorageBench — встроенной системы хранения для эталонного тестирования BeeGFS.
BeeGFS — это файловая система с открытым исходным кодом, которую можно загрузить из www.beegfs.io. Это параллельная файловая система, которая распределяет данные между несколькими целевыми системами хранения. Это программно-определяемая система хранения, которая отделяет логическую файловую систему от базового оборудования для хранения данных, позволяя пользователю определять, как и где хранятся данные. Программное обеспечение файловой системы включает корпоративные функции, такие как высокая доступность, применение квот и списки контроля доступа. Основные функции BeeGFS — это простота использования, масштабируемость и гибкость. Его простота использования обусловлена тем, что все компоненты на стороне сервера являются управляющими программами пространства пользователя, а клиент — это модуль ядра, который не требует каких-либо исправлений для ядра. Все компоненты BeeGFS можно установить и обновить без перезагрузки сервера. Таким образом, мы можем добавлять клиенты и серверы в существующую систему без простоев. Добавляя серверы и накопители, можно вертикально масштабировать производительность и емкость файловой системы в блоге, ссылка на которую приведена здесь. BeeGFS поддерживает несколько дистрибутивов Linux и предназначена для работы с любой локальной файловой системой, совместимой с POSIX. BeeGFS также поддерживает запуск нескольких экземпляров данной службы на одном сервере.
Готовые решения Dell EMC для хранилищ НРС BeeGFS используют все ключевые функции файловой системы BeeGFS и спроектированы для обеспечения высокой производительности. В решении используются серверы PowerEdge R740xd для хранения, обслуживания и обработки метаданных и данных. Каждый сервер PowerEdge R740xd оснащен 24 твердотельными накопителями Intel P4600 NVMe емкостью 1,6 Тбайт, которые считаются второй большой рывок в технологиях накопителей. В первую очередь это твердотельные накопители. В средах HPC пространство для рабочих нагрузок часто может быть ограничением. Она может быть слишком маленькой или слишком медленной. Готовые решения Dell EMC для хранилищ BeeGFS для высокопроизводительных вычислений предназначены для использования в качестве оперативного решения и служат для хранения данных в оперативной памяти с использованием файловой системы BeeGFS.
BeeGFS включает два встроенных инструмента сравнительной оценки, которые могут помочь охарактеризовать сеть или систему хранения NetBench и StorageBench соответственно. Если включен режим NetBench, серверы будут отбрасывать полученные запросы на запись вместо записи данных. Аналогичным образом, в случае запросов на чтение вместо чтения из базовой файловой системы клиентам будут отправляться только буферы памяти. Режим NetBench предназначен для тестирования пропускной способности потоковой передачи данных сети независимо от базовых дисков. С другой стороны, StorageBench предназначен для измерения пропускной способности потоковой передачи базовой файловой системы независимо от производительности сети. StorageBench — это эталонный тест целевых ресурсов хранения данных, который не использует сеть. Команда storage-bench просто отправляет запрос целевым системам хранения, чтобы начать запись и чтение данных. Таким образом мы устраняем влияние сети. Выходные данные, которые мы получают на переучке хранилища, — это лучшая производительность системы, если она идеально подходит для работы сети. В этом блоге показано, как storageBench можно использовать для сравнения производительности различных целевых систем хранения и, таким образом, выявления неисправных или неправильно настроенных целевых устройств.
StorageBench не использует смонтированную файловую систему. При запуске StorageBench на файле имеется только одна целевая система. Storagebench создает каталог на каждом целевом ресурсе хранения в системе, где тестовые файлы создаются равным числу тестовых потоков. Данные потокуются непосредственно в эту систему, чтобы показать низкую пропускную способность, доступную для каждого целевого ресурса хранения. Без обмена данными по сети смоделировать чередование файлов невозможно. Таким образом, результаты эталонного тестирования системы хранения сопоставимы с результатами клиентских операций ввода-вывода с отключенным распределением. При выполнении фактических эталонных тестов файл распределяется по 4 целевым системам хранения, если используется шаблон распределения по умолчанию.
Для тестирования различных целевых систем хранения использовались небольшие и средние конфигурации, описанные в блоге о масштабируемости решения для хранения данных Dell EMC BeeGFS. Обе конфигурации имеют одинаковое количество целевых метаданных, настроенных в RAID 1. Они различаются в конфигурации RAID целевых систем хранения. Хотя в небольшой конфигурации имеется хранилище, целевые системы, настроенные в RAID 0 из 6 накопителей, средняя конфигурация содержит целевые системы хранения данных, настроенные в RAID 10 из 6 дисков. Целевые системы хранения, настроенные в программе настройки малых и средних систем, отображаются ниже.
| Таблица 1. Конфигурация тестового узла | ||
|---|---|---|
| Настройка | Средний — RAID 10 для целевых систем хранения | Малый — RAID 0 для целевых систем хранения |
| Количество целевых метаданных | 6 | 6 |
| Количество экземпляров службы метаданных | 6 | 6 |
| Количество серверов хранения данных | 5. | 2. |
| Количество целевых систем хранения | 22 | 10. |
| Количество услуг по хранению на сервер | 4 | 4 |
| Количество сервисов хранения данных в каждой зоне NUMA | 2. | 2. |
| Количество целевых объектов на экземпляр сервиса хранения данных | 2. | 2. |
Примечание.: Вышеуказанная конфигурация установки носителей предназначена только для тестирования пропускной способности целевых систем хранения данных, настроенных в различных конфигурациях RAID с помощью инструмента StorageBench.
Эталонное тест хранилища начинается и отслеживается с помощью инструмента beegfs-ctl. Пакет beegfs-utils предоставляет инструмент командной строки beegfs-ctl, который можно использовать для выполнения эталонного теста целевых ресурсов хранения. В следующем примере запускается эталонный тест записи для всех целевых серверов хранения BeeGFS с размером блока ввода-вывода 512 Кбайт с использованием 16 потоков на цель, каждый из которых будет записывать 200 Гбит данных в собственный файл.
[root@stor1 ~]# beegfs-ctl --storagebench --alltargets --write --blocksize=512K --size=200G --threads=16
Write storage benchmark was started.
Статус можно запросить с помощью аргумента --status beegfs-ctl.
Состояние эталонного тестирования сервера:
Запуск: 10.
«Running: Выходные данные 10" указывают на то, что в системе настроено в общей сложности 10 целевых систем хранения данных.
Чтобы запросить состояние эталонного теста или результаты для всех целевых систем, можно выполнить следующую команду:
[root@stor1 ~]# beegfs-ctl --storagebench --alltargets --status
Server benchmark status:
Finished: 10 Результаты
эталонного теста записи:мин
. пропускная способность: 4692435 киБ/с nodeID: stor1-numa0-2 [ID: 6], targetID: 50
Макс. пропускная способность: 5368537 киБ/с nodeID: meta-stor-numa1-2 [ID: 2], targetID: 48
средняя пропускная способность: 4907091 совокупная пропускная способность кибибайт
/с: 49070915 кибибайт/с
При добавлении подробной информации к вышеуказанной команде отображается список всех целевых объектов и их пропускная способность.
[root@meta-stor ~]# beegfs-ctl --storagebench --alltargets --status --verbose
Server benchmark status:
Finished: 10 Результаты
эталонного теста записи:мин
. пропускная способность: 4692435 киБ/с nodeID: stor1-numa0-2 [ID: 6], targetID: 6 Макс
. пропускная способность: 5368537 киБ/с nodeID: meta-stor-numa1-2 [ID: 2], targetID: 2
Средняя пропускная способность: 4907091 совокупная пропускная способность кибибайт
/с: 49070915 кибибайт/с
Список всех целевых объектов:
1 идентификатор узла 5368477 кибибайт/с: meta-stor-numa1-1 [ID: 1]
2 5368537 кибибайт/с nodeID: meta-stor-numa1-2 [ID: 2]
3 4706368 кибибайт/с nodeID: stor1-numa0-1 [ID: 3]
4 4896077 кибибайт/с nodeID: stor1-numa1-1 [ID: 4]
5 4872876 KiB/s nodeID: stor1-numa1-2 [ID: 5]
6 4692435 кибибайт/с nodeID: stor1-numa0-2 [ID: 6]
7 4879054 кибибайт/с nodeID: stor2-numa1-2 [ID: 7]
8 4864737 кибибайт/с nodeID: stor2-numa1-1 [ID: 8]
9 4696152 кибибайт/с nodeID: stor2-numa0-1 [ID: 9]
10 4726202 кибибайт/с nodeID: stor2-numa0-2 [ID: 10]
Средняя пропускная способность на целевое устройство хранения, настроенное в RAID 0, составляет 5,02 Гбайт/с.
В следующем примере запускается эталонный тест записи для всех целевых серверов хранения BeeGFS с размером блока ввода-вывода 512 Кбайт с использованием 16 потоков на цель, каждый из которых будет записывать 200 Гбит данных в собственный файл.
[root@node001 ~]# beegfs-ctl --storagebench --alltargets --write --blocksize=512K --size=200G --threads=16
Write storage benchmark was started.
Статус можно запросить с помощью аргумента --status beegfs-ctl.
Состояние эталонного тестирования сервера:
Запуск: 22
При добавлении подробной информации к вышеуказанной команде отображается список всех целевых объектов и их пропускная способность.
[root@node001 ~]# beegfs-ctl --storagebench --alltargets --status --verbose
Server benchmark status:
Finished: 22 Результаты эталонного
теста записи:мин
. пропускная способность: 2705987 киБ/с nodeID: node006-numa0-1 [ID: 19], targetID: 1 Макс
. пропускная способность: 3364311 киБ/с nodeID: node001-numa1-1 [ID: 1], targetID: 1
Средняя пропускная способность: 3212845 совокупная пропускная способность кибибайт
/с: 70682603 кибибайт/сСписок всех целей:
1 3364311 кибибайт/сid: node001-numa1-1 [ID: 1]
2 3361591 кибибайт/с nodeID: node001-numa1-2 [ID: 2]
3 3309530 кибибайт/с nodeID: node002-numa0-1 [ID: 3]
4 3312840 кибибайт/с nodeID: node002-numa0-2 [ID: 4]
5 3332095 кибибайт/с nodeID: node002-numa1-1 [ID: 5]
6 3323319 кибибайт/с nodeID: node002-numa1-2 [ID: 6]
7 3313000 KiB/s NodeID: node003-numa0-1 [ID: 7]
8 3321214 кибибайт/с nodeID: node003-numa0-2 [ID: 8]
9 3335072 кибибайт/с nodeID: node003-numa1-1 [ID: 9]
10 3339743 кибибайт/с nodeID: node003-numa1-2 [ID: 10]
11 3302175 кибибайт/с nodeID: node004-numa0-1 [ID: 11]
12 3309474 кибибайт/с nodeID: node004-numa0-2 [ID: 12]
13 3329879 KiB/s nodeID: node004-numa1-1 [ID: 13]
14 3328291 KiB/s nodeID: node004-numa1-2 [ID: 14]
15 3306132 кибибайт/с nodeID: node005-numa0-1 [ID: 15]
16 3307096 кибибайт/с nodeID: node005-numa0-2 [ID: 16]
17 3318436 KiB/s nodeID: node005-numa1-1 [ID: 17]
18 3329684 кибибайт/с nodeID: node005-numa1-2 [ID: 18]
19 2705987 кибибайт/с nodeID: node006-numa0-1 [ID: 19]
20 2716438 кибибайт/с nodeID: node006-numa0-2 [ID: 20]
21 2707970 кибибайт/с nodeID: node006-numa1-1 [ID: 21]
22 2708326 KiB/s nodeID: node006-numa1-2 [ID: 22]
Средняя пропускная способность на целевую систему хранения составляет 3,29 Гбайт/с.
По результатам эталонного тестирования StorageBench, выполненного в двух разных настройках BeeGFS: один с целевыми системами хранения, настроенными в RAID 0, а другой с целевыми системами хранения, настроенными в RAID 10, свидетельствует о том, что производительность записи выше, чем у целевых систем хранения, настроенных в RAID 0, а не в RAID 10. Когда команда dd использовалась для записи файла 10G с размером блока 1 Мбайт и «oflag=direct», средняя скорость была около 5,1 Гбайт/с для небольшой системы, настроенной в RAID 0, тогда как средняя пропускная способность была около 3,4 Гбайт/с для средней системы, настроенной в RAID 10, что сопоставимо с результатами, полученными с помощью инструмента StorageBench.
[root@node001 ~]# beegfs-ctl --storagebench --alltargets --status --verbose
Server benchmark status:
Finished: 33 Результаты
эталонного тестирования чтения:мин
. пропускная способность: 2830479 киБ/с nodeID: node003-numa1-2 [ID: 14], targetID: 14 Макс
. пропускная способность: 3025500 KiB/s nodeID: node005-numa0-1 [ID: 22], targetID: 22
средняя пропускная способность: 2917836 совокупная пропускная способность кибибайт
/с: 96288596 всех целевых
объектов:
2950039 кибибайт/с: node001-numa1-1 [ID: 1]
2 2956121 кибибайт/с nodeID: node001-numa1-2 [ID: 2]
3 2954473 кибибайт/с nodeID: node001-numa1-3 [ID: 3]
4 2957658 кибибайт/с nodeID: node002-numa0-1 [ID: 4]
5 2947109 киБ/с nodeID: node002-numa0-2 [ID: 5]
6 2969886 кибибайт/с nodeID: node002-numa0-3 [ID: 6]
7 2892578 кибибайт/с nodeID: node002-numa1-1 [ID: 7]
8 2886899 кибибайт/с nodeID: node002-numa1-2 [ID: 8]
9 2888972 кибибайт/с nodeID: node002-numa1-3 [ID: 9]
10 2861995 кибибайт/с nodeID: node003-numa0-1 [ID: 10]
11 2874314 кибибайт/сid: node003-numa0-2 [ID: 11]
12 2879096 кибибайт/с nodeID: node003-numa0-3 [ID: 12]
13 2832635 кибибайт/сid: node003-numa1-1 [ID: 13]
14 2830479 кибибайт/с nodeID: node003-numa1-2 [ID: 14]
15 2830971 кибибайт/с nodeID: node003-numa1-3 [ID: 15]
16 2986890 KiB/s nodeID: node004-numa0-1 [ID: 16]
17 2979197 KiB/s nodeID: node004-numa0-2 [ID: 17]
18 2983958 KiB/s nodeID: node004-numa0-3 [ID: 18]
19 2897974 кибибайт/с nodeID: node004-numa1-1 [ID: 19]
20 2900880 KiB/s nodeID: node004-numa1-2 [ID: 20]
21 2904036 кибибайт/сid: node004-numa1-3 [ID: 21]
22 3025500 KiB/s NodeID: node005-numa0-1 [ID: 22]
23 3021558 кибибайт/с nodeID: node005-numa0-2 [ID: 23]
24 3017387 KiB/s nodeID: node005-numa0-3 [ID: 24]
25 2921480 кибибайт/с nodeID: node005-numa1-1 [ID: 25]
26 2930226 кибибайт/с nodeID: node005-numa1-2 [ID: 26]
27 2930548 кибибайт/с nodeID: node005-numa1-3 [ID: 27]
28 2900018 кибибайт/сid: node006-numa0-1 [ID: 28]
29 2898520 кибибайт/с nodeID: node006-numa0-2 [ID: 29]
30 2907113 KiB/s nodeID: node006-numa0-3 [ID: 30]
31 2855079 KiB/s nodeID: node006-numa1-1 [ID: 31]
32 2853527 кибибайт/с nodeID: node006-numa1-2 [ID: 32]
33 2861480 KiB/s nodeID: node006-numa1-3 [ID: 33]
Из вышеуказанного вывода видно, что все целевые системы хранения выполняются равномерно и в системе нет неисправных целевых устройств.