Visão geral

A versão mais recente do Dell EMC Ready Solution for HPC NFS Storage (NSS) com alta disponibilidade (solução NSS-HA) será NSS7.3-HA, com lançamento previsto para o final deste mês.
Esta versão do NSS incorpora os novos storage arrays Dell EMC PowerVault ME4084 e o Red Hat Enterprise Linux 7.5 e continua a usar as CPUs da família de processadores escaláveis Intel Xeon (arquitetura de codinome Skylake) para oferecer maior desempenho geral do sistema do que as soluções NSS-HA anteriores. Este blog apresenta os resultados dos testes de desempenho de E/S para esta versão mais recente da solução NSS.
A Figura 1 mostra o projeto da configuração do NSS7.3-HA. As principais diferenças entre o NSS7.3-HA e seu antecessor imediato, NSS7.2-HA são:

• Storage array de back-end:
  • NSS7.2-HA: PowerVault MD3460 + MD3060e opcional (60 ou 120 discos rígidos)
  • NSS7.3-HA: PowerVault ME4084 (84 discos rígidos)
• Sistema operacional:
  • NSS7.2-HA: RHEL 7.4
  • NSS7.3-HA: Red Hat® Enterprise Linux® 7.5

Exceto por itens como as atualizações necessárias de software e firmware, o NSS7.2-HA e o NSS7.3-HA compartilham o mesmo design de cluster de HA e a mesma configuração básica de armazenamento. (Consulte o white paper NSS7.0-HA para obter informações mais detalhadas sobre a configuração.)
Outra grande melhoria do NSS7.2-HA e NSS7.3-HA, é o grande aumento na capacidade máxima. Embora o NSS7.2-HA seja limitado pelo limite atual de suporte do Red Hat XFS de 500 TB, após extensos testes e validação em nossos laboratórios, a Dell EMC e a Red Hat chegaram a um acordo de cooperação que oferece suporte às configurações NSS7.3-HA com até 768 TB de espaço utilizável. Esse é um Dell EMC PowerVault ME4084 totalmente preenchido com discos rígidos de 12 TB ou 1008 TB de espaço de armazenamento bruto.

Arquitetura NSS-HA

A Figura 1 mostra a arquitetura do NSS 7.3 dentro do retângulo pontilhado, incorporado no banco de testes típico que inclui clients e o switch de rede pública.

Figura 1. NSS7.3-HA 1008 TB de espaço bruto (768 TB utilizáveis) Arquitetura e plataforma de teste

A tabela a seguir resume os diferentes componentes da nova solução NSS HA 7.3.
  

Tabela 1. Componentes para NSS7.2-HA e NSS7.3-HA

	Versão NSS7.2-HA (abril de 2018) "Servidores PowerEdge de 14ª geração e MD3460 + MD3060e"	Versão NSS7.3-HA (outubro de 2018) "Servidor PowerEdge de 14ª geração e solução baseada em ME4084"
Software	Red Hat Enterprise Linux 7.4, Kernel 3.10.0-693.el7.x86_64 Sistema de arquivos escalável da Red Hat (XFS) v4.5.0-12	Red Hat Enterprise Linux 7.5, Kernel 3.10.0-862.el7.x86_64 Sistema de arquivos escalável da Red Hat (XFS) v4.5.0-15
Servidores NFS	Dois servidores Dell PowerEdge R740. CPU: Dois Intel Xeon Gold 6136 @ 3,0 GHz, 12 núcleos por processador. Memória: 12 RDIMMs de 16 GiB e 2666 MT/s.
Conectividade de rede externa	EDR InfiniBand, 10 GbE ou Intel Omni-Path. Para este blog, Mellanox ConnectX-4 IB EDR/100 GbE. Para pedidos, CX-5 IB EDR/100 GbE.
Conectividade interna	Gigabit Ethernet, switch Dell Networking S3048-ON
Versão do OFED	Mellanox OFED 4.3-1.0.1.0	Mellanox OFED 4.4-1.0.0
Conexão de armazenamento direto	Conexões SAS de 12 Gbit/s.
Subsistema de armazenamento	Dell EMC MD3460 + MD3060e opcional. 60 – 120 – unidades SAS NL de 3,5" de 4 TB. Duas configurações, 240 ou 480 TB (espaço bruto). 6 ou 12 LUNs, 8+2 RAID 6, tamanho do segmento 512KiB Sem sobressalentes	Dell EMC PowerVault ME4084. Unidades SAS NL de 84 a 3,5", até 12 TB. Uma configuração: até 1.008 TB (espaço bruto). 8 LUNs, RAID 6 linear 8+2, 128 KB de tamanho da parte. 4 unidades de disco rígido globais de reserva.

 

O novo armazenamento PowerVault ME4084 continua usando RAID 6 linear 8+2 como a unidade básica de construção com um novo tamanho de fragmento (tamanho de segmento) de 128 KiB e um valor de leitura antecipada de "tamanho da fração" selecionado para obter o desempenho ideal. Além disso, como agora temos 84 unidades, temos 8 LUNs baseadas no RAID 6s e 4 discos rígidos sobressalentes globais configurados para substituir imediatamente qualquer disco com falha. Isso significa que essa solução pode ter até 768 TB de espaço utilizável.

Desempenho de E/S do NSS7.3-HA

Este blog apresenta os resultados dos testes de desempenho de E/S para a solução NSS-HA atual, ou seja, NSS7.3. Todos os testes de desempenho foram realizados em um cenário sem falhas de HA para medir a capacidade máxima da solução. Os testes se concentraram em três tipos de padrões de E/S: grandes leituras e gravações sequenciais, pequenas leituras e gravações aleatórias e três operações de metadados (criação, estatística e remoção de arquivos).
Um cluster de computação de 32 nós foi usado para gerar carga de trabalho para os testes comparativos. Os clients e a configuração NSS de 1008 TB (tamanho do armazenamento bruto) foram conectados usando InfiniBand EDR e o sistema de arquivos montado via IPoIB. Cada teste de referência de desempenho de E/S foi executado em vários clients para testar a escalabilidade da solução. Os detalhes sobre os clients usados estão listados na tabela a seguir.

Tabela 2. Configuração de clients (teste de desempenho)

Modelo do servidor	PowerEdge C6420
Número de servidores	Cluster de 32 servidores
CPU	CPU Intel(R) Xeon(R) Gold 6148 @ 2,40 GHz
RAM	GiB de 192
Sistema operacional	Servidor Red Hat Enterprise Linux versão 7.4
Kernel	3.10.0-693.17.1.el7.x86_64
Adaptador de rede	Mellanox ConnectX-4 VPI IB EDR/100 GbE de porta única QSFP28
Versão do OFED	MLNX_OFED-4.3.1.0.1.0

 

Os benchmarks IOzone e MDtest foram utilizados neste estudo. O IOzone foi utilizado para os testes seqüenciais e aleatórios. Para os testes seqüenciais, foi utilizado um tamanho de solicitação de 1024 KiB. A quantidade total de dados transferidos foi de 256 GiB para garantir que o cache do servidor NFS estivesse saturado. Os testes aleatórios usaram um tamanho de solicitação de 4 KiB e cada cliente leu e gravou um arquivo de 4 GiB. Os testes de metadados foram realizados usando a referência de desempenho MDtest com OpenMPI e incluíram as operações de criação, estatística e remoção de arquivos. (Consulte o Apêndice A do white paper NSS7.0-HA para obter os comandos completos usados nos testes.)

Gravações e leituras sequenciais IPoIB

As Figuras 2 e 3 mostram o desempenho de leitura e gravação sequencial. Como o cluster de teste tinha 32 nós, o ponto de dados de 64 threads foi obtido usando 32 clients executando 2 threads cada.
Para o NSS7.3-HA, o desempenho de pico de leitura é de 7 GB/s e o desempenho de gravação de pico é de quase 5 GB/s. A partir das duas figuras, é óbvio que a solução NSS7.3-HA atual tem números de desempenho sequenciais mais altos do que a versão anterior. As leituras são até 18,7% melhores, mas o desempenho de gravação é especialmente melhor com até 2,65 vezes (em 16 threads) o desempenho da solução anterior. Comparando os valores de desempenho de pico, as gravações no NSS7.3-HA são 2,13 vezes mais rápidas e as leituras são 12,5% melhores.
Isso se deve, em parte, à maior velocidade interna do SAS de 12 Gbps para todos os componentes internos do PowerVault ME4084, inclusive discos rígidos (o PowerVault MD3460 tinha 6 Gbps), permitindo um throughput maior por LUN, mas também devido aos novos controladores de armazenamento que podem processar informações mais rapidamente do que o PowerVault MD3 da geração anterior.

Figura 2. Desempenho de gravação sequencial grande do IPoIB

 

Figura 3. Desempenho de leitura sequencial grande do IPoIB

Gravações e leituras aleatórias IPoIB

A Figura 4 e a Figura 5 mostram o desempenho de leitura e gravação aleatórias.
Na figura, a gravação aleatória atinge o desempenho máximo em 32 threads, enquanto a versão anterior da solução atingiu o pico de 64 threads. O desempenho de leitura aleatória aumenta constantemente no NSS7.3 para até 32 clientes e, para a solução anterior, o pico era de 16 clients. Novamente, o novo armazenamento mostra seu desempenho superior em relação ao antecessor, com até 3,44 vezes de melhoria nas gravações (em 2 threads) e desempenho de leitura 85% maior (em 32 threads) do que o antecessor. Comparando os desempenhos de pico, a diferença é de cerca de 13% em gravações aleatórias e 85% em leituras aleatórias. Essas melhorias se devem principalmente aos novos controladores PowerVault ME4084, que têm recursos de processamento mais rápidos em comparação com os controladores PowerVault MD3460.

Figura 4. Desempenho de gravação aleatória IPoIB

Figura 5. Desempenho de leitura aleatória IPoIB

 

Operações de metadados do IPoIB

A Figura 6, a Figura 7 e a Figura 8 mostram os resultados das operações de criação, estatística e remoção de arquivos, respectivamente. Como o cluster de computação HPC tem apenas 32 nós de computação, nos gráficos abaixo, cada client executou no máximo um thread para contagens de client de até 32 e, para contagens de threads de 64, 128, 256 e 512, cada client executou 2, 4, 8 ou 16 operações simultâneas (threads).
Para criações de arquivos, em comparação com a solução anterior, a nova solução mostra uma melhoria sustentada de cerca de duas vezes o desempenho com uma diferença de pico (208%) em 32 clientes, depois diminui ligeiramente, mas mesmo comparando o desempenho de pico para ambas as soluções em 256 threads, a nova solução é 30% mais rápida.
As operações de stat são as mais aprimoradas pelo novo armazenamento, em que as melhorias chegam a ser 7,7 vezes maiores do que o antecessor em 256 threads e, comparando os desempenhos de pico, o NSS7.3 mostra quase 6 vezes o número de operações stat por segundo do que a versão anterior do NSS.
Finalmente, as operações de remoção têm comparativamente uma melhoria marginal, com a maioria dos pontos de dados em 33% ou melhor desempenho do que a solução anterior; Exceto para 128 threads, em que o desempenho é 2,21 vezes melhor. No desempenho máximo, o novo armazenamento alcança um desempenho quase 55% maior em comparação com o sistema NSS anterior.
Todas essas melhorias se devem aos HDDs mais rápidos que usam velocidades SAS3 (12 Gbps) em todos os lugares, bem como aos novos controladores PowerVault ME4084, capazes de aumentar o IOPS e a largura de banda.

Figura 6. Desempenho de criação de arquivo de IPoIB

 

 

 

Figura 8. Desempenho de remoção de arquivo de IPoIB

Conclusões e trabalho futuro

Ao longo das diferentes gerações da solução, a solução NSS-HA passou por muitas atualizações de hardware e software para oferecer continuamente alta disponibilidade, maior desempenho e maior capacidade de armazenamento. Em todas essas versões, o design arquitetônico principal da família de soluções NSS-HA permaneceu inalterado. Para mostrar a diferença de desempenho entre o NSS7.3-HA e a versão anterior (NSS7.2-HA), os números de desempenho das duas soluções foram contrastados, mostrando o desempenho superior da versão mais recente da solução baseada no PowerVault ME4084: 

•  Até 2,65 vezes a gravação sequencial e desempenho de leitura até 18,7% mais rápido.
  
•  Até 3,44 vezes a gravação aleatória e desempenho de leitura aleatória até 85% mais rápido.
  
•  Até 2,1 vezes a taxa de criação, 7,7 vezes a taxa de estatísticas e 2,2 vezes a taxa de remoção.

  A próxima fase será a caracterização da solução NSS7.3-HA conectada aos adaptadores Intel Omni-Path. Para obter informações detalhadas sobre as soluções NSS-HA, consulte nossos white papers publicados:

•  Dell HPC NFS Storage Solution High Availability Configurations, versão NSS2-HA, publicada em abril de 2011.
  
•  Dell HPC NFS Storage Solution High Availability Configurations with Large Capacities, versão NSS3-HA, publicada em fevereiro de 2012.
  
•  Configurações de alta disponibilidade (NSS-HA) da solução de armazenamento NFS Dell HPC com servidores Dell PowerEdge de 12ª geração, versão NSS4-HA, publicada em julho de 2012.
  
•  Solução de armazenamento NFS Dell HPC — configuração de alta disponibilidade (NSS-HA) com storage arrays Dell PowerVault MD3260/MD3060e, versão NSS4.5-HA atualizada, publicada em maio de 2013.
  
•  Solução de armazenamento NFS para Dell HPC – configurações NSS5-HA de alta disponibilidade, versão NSS5.0-HA, lançada em setembro de 2013.
  
•  Dell HPC NFS Storage Solution — Configuração de alta disponibilidade (NSS5.5-HA) com storage arrays Dell PowerVault MD3460 e MD3060e, versão NSS5.5-HA, publicada em setembro de 2013.
  
•  Solução de armazenamento NFS HPC da Dell: configuração de alta disponibilidade (NSS6.0-HA) com servidores Dell PowerEdge de 13ª geração, versão NSS6.0-HA, publicado em novembro de 2014.
  
•  Solução de armazenamento NFS HPC da Dell: configuração de alta disponibilidade (NSS7.0-HA), versão NSS7.0-HA, publicado em maio de 2016.

   

  Nota: Para qualquer configuração/implementação personalizada, entre em contato com seu representante da Dell EMC para obter diretrizes específicas.