Escalabilidade das Dell Ready Solutions for HPC BeeGFS Storage

Como dimensionar a solução de armazenamento de alto desempenho Dell BeeGFS em termos de capacidade ou desempenho ou ambos?

Consulte as informações na seção Resolução.

Sumário

1. Introdução
2. Configurações básicas
3. Cálculo de espaço utilizável do BeeGFS
4. Configurações dimensionáveis
5. Caracterização de desempenho
6. Conclusão e trabalhos futuros
    

---

Introdução

Este blog discute a escalabilidade das Dell EMC Ready Solutions for HPC BeeGFS Storage , que foi anunciada recentemente.  A arquitetura beeGFS consiste em quatro serviços principais: o serviço de gerenciamento, o serviço de metadados, o serviço de armazenamento e o serviço de client. É possível executar qualquer combinação desses quatro serviços principais, incluindo todos eles, no mesmo servidor, porque as funções e o hardware não estão totalmente integrados no caso do BeeGFS.  Em uma "solução hiperconvergente", todos os quatro serviços são executados no mesmo servidor. Essa configuração não é recomendada para ambientes críticos de desempenho, pois os aplicativos client geralmente consomem recursos que podem afetar o desempenho dos serviços de armazenamento. A solução da Dell EMC usa servidores de armazenamento dedicados e um servidor de armazenamento e metadados de uso duplo para fornecer uma solução de armazenamento dimensionável e de alto desempenho. É possível dimensionar o sistema adicionando servidores de armazenamento adicionais a um sistema existente. Neste blog, apresentaremos configurações com diferentes números de servidores de armazenamento e o desempenho que pode ser esperado com essas configurações.

---

Configurações básicas

A solução de armazenamento BeeGFS, projetada para fornecer um file system scratch de alto desempenho, usa os seguintes componentes de hardware:

• Management Server
  • R640, Intel Xeon Gold 5218 2,3 GHz, 16 núcleos, 96 GB (12 RDIMMs de 8 GB e 2.666 MT/s), 6 sAS de 15.000 RPM e 300 GB, H740P
• Servidores de armazenamento e metadados
  • R740xd, 2 CPUs Intel Xeon Platinum 8268 a 2,90 GHz, 24 núcleos, 384 GB (12x RDIMMs de 32 GB e 2.933 MT/s)
  • Placa BOSS com 2 SSDs SATA M.2 de 240 GB no RAID 1 para SO
  • 24x, Intel 1,6 TB, NVMe, flash express de uso misto, unidades SFF de 2,5, RAID de software

O servidor de gerenciamento executa o serviço de monitoramento BeeGFS. O servidor de metadados utiliza as 12 unidades na zona NUMA 0 para hospedar os MDTs (MetaData Targets, destinos de metadados), enquanto as 12 unidades restantes na zona NUMA 1 hospedam os destinos de armazenamento (STs). Um servidor de metadados dedicado não é usado porque os requisitos de capacidade de armazenamento para metadados beeGFS são muito pequenos. Os metadados e os destinos de armazenamento e os serviços são isolados em nós NUMA separados para que uma separação considerável das cargas de trabalho seja estabelecida. Os servidores de armazenamento usados na configuração têm três serviços de armazenamento em execução por zona NUMA, seis no total por servidor. Para obter mais detalhes, consulte o blog de anúncio. A Figura 1 mostra as duas configurações básicas que foram testadas e validadas no Laboratório de inovação em IA e HPC da Dell EMC.

Figura 1: Configurações básicas

A configuração pequena consiste em três servidores R740xd. Ele tem um total de 15 destinos de armazenamento. A configuração média tem 6 servidores R740xd e tem um total de 33 destinos de armazenamento. O usuário pode começar com uma configuração "pequena" ou com a configuração "Média" e pode adicionar servidores de armazenamento ou metadados conforme necessário para aumentar o espaço de armazenamento e o desempenho geral, ou o número de arquivos e desempenho de metadados, respectivamente. A Tabela 1 mostra os dados de desempenho das configurações básicas que foram testadas e validadas extensivamente no Laboratório de inovação em HPC e IA da Dell EMC.

Tabela 1: Detalhes de capacidade e desempenho das configurações básicas

 

---

Cálculo de espaço utilizável do BeeGFS

O espaço utilizável estimado é calculado em TiB (já que a maioria das ferramentas mostra espaço utilizável em unidades binárias) usando a seguinte fórmula:

BeeGFS Usable Space in TiB= (0,99* # of Drives* size in TB * (10^12/2^40)

Na fórmula acima, 0,99 é o fator que chegou ao assumir, de modo conservador, que há uma sobrecarga de 1% do file system.  Para chegar ao número de unidades de armazenamento, 12 unidades do MDS também estão incluídas. Isso ocorre porque, no MDS, as 12 unidades na zona NUMA 0 são usadas para metadados e as 12 unidades na zona NUMA 1 são usadas para armazenamento. O último fator na fórmula 10^12/2^40 é converter o espaço utilizável de TB para TiB.

---

Configurações dimensionáveis

A solução de armazenamento de alto desempenho BeeGFS foi projetada para ser flexível e pode dimensionar o desempenho e/ou a capacidade com facilidade e perfeição adicionando servidores adicionais, conforme mostrado abaixo:

Tabela 2: detalhes de capacidade e desempenho das configurações dimensionáveis

 

---

Caracterização de desempenho

O desempenho das várias configurações foi testado com a criação de pools de armazenamento. A configuração pequena tem 15 destinos de armazenamento e cada servidor de armazenamento adicional adiciona mais seis destinos de armazenamento. Para testar o desempenho das várias configurações, os pools de armazenamento foram criados de 15 a 39 destinos de armazenamento (incrementos de seis para pequeno, pequeno+1, pequeno+2, médio, médio+1). Para cada um desses pools, três ierações de benchmark de iozone foram executadas, cada uma com um a 1024 threads (em potências de dois incrementos). A metodologia de teste adotada é a mesma descrita no blog de anúncio . As Figuras 3 e 4 mostram o desempenho de gravação e leitura das configurações escaláveis respectivamente, com o desempenho de pico de cada configuração destacado para referência pronta:


 
Figura 3:  Desempenho de gravação de configurações escaláveis


Figura 4:  Desempenho de leitura das configurações dimensionáveis

Obs.:

O pool de armazenamento referido foi criado apenas com o objetivo explícito de melhorar o desempenho de diferentes configurações.  Ao fazer a avaliação de desempenho da configuração média detalhada no blog de anúncio, todos os 33 destinos estavam apenas no "Pool padrão". O resultado do comando beegfs-ctl --liststoragepools fornecido abaixo mostra a atribuição dos destinos de armazenamento:

# beegfs-ctl --liststoragepools
Pool ID Pool Description Targets Buddy Groups
======= ================== ============================ ============================
1 Default 1,2,3,4,5,6,7,8,9,10,11,12,
                                                 13,14,15,16,17,18,19,20,21,
22,23,24,25,26,27,28,29,30,
31,32,33  

---

Conclusão e trabalhos futuros

Este blog discute a escalabilidade das Dell EMC Ready Solutions for HPC BeeGFS Storage e destaca o desempenho do throughput sequencial de leitura e gravação para várias configurações. Fique atento à Parte 3 desta série de blogs, que discutirá os recursos adicionais do BeeGFS e destacará o uso do "StorageBench", o benchmark de destinos de armazenamento integrado do BeeGFS. Como parte das próximas etapas, publicaremos um white paper posteriormente com o desempenho de metadados, a avaliação de desempenho de IOR N-1 e com detalhes adicionais sobre considerações de design, ajuste e configuração. 

Referências

[1] Dell EMC Ready Solutions for HPC BeeGFS Storage:  
https://www.dell.com/support/article/sln319381/[2] Documentação do BeeGFS: 
https://www.beegfs.io/wiki/[3] Como conectar duas interfaces na mesma sub-rede: 
https://access.redhat.com/solutions/30564[4] Projeto de referência de acesso à memória PCI Express Direct usando memória externa: https://www.intel.com/content/www/us/en/programmable/documentation/nik1412547570040.html#nik1412547565760