Масштабируемость готовых решений Dell для хранилищ НРС BeeGFS

Как масштабировать высокопроизводительное решение для хранения данных Dell BeeGFS с точки зрения емкости, производительности или того и другое?

См. информацию в разделе «Способ устранения».

Содержание

1. Введение
2. Базовые конфигурации
3. Расчет полезного пространства BeeGFS
4. Масштабируемые конфигурации
5. Характеристики производительности
6. Выводы и планы на будущее
    

---

Введение

В этом блоге рассматривается масштабируемость готовых решений Dell EMC для хранилищ НРС BeeGFS , о которых было объявлено на недавнем выпуске.  Архитектура BeeGFS состоит из четырех основных сервисов, службы управления, сервиса метаданных, службы хранения данных и клиентских сервисов. На одном сервере можно запускать любое сочетание этих четырех основных сервисов, включая все, потому что роли и оборудование не тесно интегрированы в случае BeeGFS.  В «гиперконвергентных решениях» все четыре сервиса работают на одном сервере. Такая конфигурация не рекомендуется для сред, в которых важна производительность, поскольку клиентские приложения обычно потребляют ресурсы, что может повлиять на производительность сервисов хранения данных. В решении Dell EMC используются выделенные серверы хранения данных, а также сервер для метаданных и хранения данных двух целей. Это высокопроизводительное масштабируемое решение для хранения данных. Можно масштабировать систему, добавляя дополнительные серверы хранения данных в существующую систему. В этом блоге мы рассмотрим конфигурации с разным количеством серверов хранения данных и производительность, которую можно ожидать в этих конфигурациях.

---

Базовые конфигурации

Решение для хранения данных BeeGFS, предназначенное для высокопроизводительной файловой системы, использует следующие аппаратные компоненты:

• Сервер управления
  • R640, два процессора Intel Xeon Gold 5218, 2,3 ГГц, 16 ядер, 96 Гбайт (12x 8 Гбайт 2666 MT/с RDIMM), 6 x 15 000 об/мин SAS 300 Гбайт, H740P
• Серверы метаданных и хранения данных
  • R740xd, 2 процессора Intel Xeon Platinum 8268, 2,90 ГГц, 24 ядра, 384 Гбайт (12 модулей RDIMM по 32 Гбайт, 2933 МТ/с)
  • Плата BOSS с 2 твердотельных накопителя M.2 SATA емкостью 240 Гбайт в RAID 1 для ОС
  • 24 накопителя, Intel 1,6 Тбайт, NVMe, Mixed Use Express Flash, 2,5 накопителя SFF, программный RAID

На сервере управления работает служба мониторинга BeeGFS. Сервер метаданных использует 12 накопителей в зоне NUMA 0 для хостов целевых метаданных (MDTS), а остальные 12 дисков в зоне NUMA 1 размещают целевые системы хранения данных (STS). Выделенный сервер метаданных не используется, так как требования к емкости хранилища для метаданных BeeGFS очень малы. Целевые данные и сервисы метаданных и хранилища изолированы на отдельных узлах NUMA, чтобы было установлено значительное разделение рабочих нагрузок. Серверы хранения данных, используемые в конфигурации, имеют три службы хранения данных, работающие на одну зону NUMA, в общей сложности шесть на сервер. Дополнительные сведения см. в блоге с объявлением о выходе. На рис. 1 показаны две базовые конфигурации, которые были протестированы и валидированы в лаборатории Dell EMC HPC and AI Innovation Lab.

Рис. 1. Базовые конфигурации

Небольшая конфигурация состоит из трех серверов R740xd. Оно содержит в общей сложности 15 целевых систем хранения. Средняя конфигурация содержит 6 серверов R740xd и в общей сложности 33 целевых ресурса хранения. Пользователь может начать с конфигурации «Small» или «Medium» и при необходимости добавить серверы хранения или метаданных, чтобы увеличить пространство для хранения данных и общую производительность, а также увеличить производительность файлов и метаданных соответственно. В табл. 1 показаны данные о производительности базовых конфигураций, которые были тщательно протестированы и валидированы в лаборатории Dell EMC HPC and AI Innovation Lab.

Таблица 1. Сведения о емкости и производительности базовых конфигураций

 

---

Расчет полезного пространства BeeGFS

Расчет предполагаемого полезного пространства в ТиБ (поскольку большинство инструментов показывают полезное пространство в двоичных единицах) с помощью следующей формулы:

Полезное пространство BeeGFS в ТиБ= (0,99* количество накопителей* в Тбайт* (10^12/2^40)

В приведенной выше формуле 0,99 — это фактор, на который на 1% меньше издержки файловой системы.  Для получения информации о количестве накопителей для хранения также включены 12 накопителей из MDS. Это потому, что в MDS 12 накопителей в зоне NUMA 0 используются для метаданных, а 12 накопителей в зоне NUMA 1 используются для хранения. Последний фактор в формуле 10^12/2^40 — преобразование полезного пространства из терабайта в ТиБ.

---

Масштабируемые конфигурации

Высокопроизводительное решение для хранения данных BeeGFS разработано как гибкое, которое можно легко и просто масштабировать, добавляя дополнительные серверы, как показано ниже.

Таблица 2. Сведения о емкости и производительности в масштабируемых конфигурациях

 

---

Характеристики производительности

Производительность различных конфигураций была протестирована путем создания пулов хранения данных. В небольших конфигурациях имеется 15 целевых объектов для хранения данных, и каждый дополнительный сервер хранения добавляет дополнительные шесть целевых систем хранения. Таким образом, для тестирования производительности различных конфигураций пулы хранения данных были созданы из 15–39 целевых систем хранения (инкрементами по шесть для небольших, небольших+1, малых +2, средних и более 1). Для каждого из этих пулов были выполните три итераации эталонного теста iozone, каждый из них с 1 до 1024 потоков (с помощью двух инкрементов). Внедренная методология тестирования такая же, как описана в блоге с объявлением о выходе . На рисунках 3 и 4 показана производительность операций записи и чтения в масштабируемых конфигурациях соответственно, а максимальная производительность каждой из конфигураций выделена для справки:


 
Рис. 3.  Производительность записи масштабируемых конфигураций


Рис. 4.  Производительность масштабируемых конфигурацийПримечание

.

Пул хранения данных, упомянутый здесь, был создан только с явной целью характеристики производительности различных конфигураций.  При оценке производительности средней конфигурации, подробно описанной в блоге с объявлением о выходе, все 33 цели были только в пуле по умолчанию. В выходных данных команды beegfs-ctl --liststoragepools, приведенной ниже, показано назначение целевых ресурсов хранения:

# beegfs-ctl --liststoragepools Pool ID Pool Description Targets /Targets
/1======= ================== ============================ ============================
Default
1,2,3,4,5,6,7,8,9,10,11,12
по умолчанию                                                 13, 14, 15, 16, 17, 18, 19, 20, 21,
22, 23, 24, 25, 26, 27, 28, 29,30,
31, 32, 333  

---

Выводы и планы на будущее

В этом блоге рассматривается масштабируемость готовых решений Dell EMC для хранилищ BeeGFS для высокопроизводительных вычислений, а также производительность последовательных операций чтения и записи в различных конфигурациях. Следите за новостями в части 3 этого блога, в котором рассматриваются дополнительные функции BeeGFS, а также будет рассмотрено использование функции StorageBench — эталонного теста beeGFS для целевых систем хранения данных. В рамках следующих шагов мы опубликуем позже технический документ с оценкой производительности метаданных, оценкой производительности IOR N-1 и дополнительными сведениями о проектировании, настройке и конфигурации. 

Справочные материалы

[1] Готовые решения Dell EMC для хранилищ НРС BeeGFS:  
https://www.dell.com/support/article/sln319381/[2] Документация по BeeGFS: 
https://www.beegfs.io/wiki/[3] Как подключить два интерфейса в одной подсети: 
https://access.redhat.com/solutions/30564[4] Эталонный дизайн доступа к памяти PCI Express Direct с использованием внешней памяти: https://www.intel.com/content/www/us/en/programmable/documentation/nik1412547570040.html#nik1412547565760