Skip to main content
Sign Out

Welcome to Dell

My Account
  • Place orders quickly and easily
  • View orders and track your shipping status
  • Enjoy members-only rewards and discounts
  • Create and access a list of your products
  • Manage your Dell EMC sites, products, and product-level contacts using Company Administration.
Sign In Create an Account Dell Financial Services Premier Sign In Partner Program Sign In
Contact Us

Your Dell.com Carts

Article Number: 000133483

NFS Storage Solution com os mais recentes produtos de armazenamento da Dell EMC – resultados de desempenho

Summary: Computação de alto desempenho em HPC, Laboratório de inovação em IA e HPC, Armazenamento HPC, Solução de armazenamento HPC, Solução de armazenamento NFS, Armazenamento XFS, Armazenamento NFS, Solução de armazenamento, RHEL7, RHEL7.5, Armazenamento IB EDR, NSS, NSS-HA, NSS7.3, NSS7.3-HA, IOZone, MDTest ...

This article may have been automatically translated. If you have any feedback regarding its quality, please let us know using the form at the bottom of this page.

Article Content

Symptoms

Criado por Mario Gallegos e Xin Chen, HPC and AI Innovation Lab, outubro de 2018

Resolution

Visão geral

A versão mais recente do Dell EMC Ready Solution for HPC NFS Storage (NSS) com alta disponibilidade (solução NSS-HA) será NSS7.3-HA, com lançamento previsto para o final deste mês.
Esta versão do NSS incorpora os novos storage arrays Dell EMC PowerVault ME4084 e o Red Hat Enterprise Linux 7.5 e continua a usar as CPUs da família de processadores escaláveis Intel Xeon (arquitetura de codinome Skylake) para oferecer maior desempenho geral do sistema do que as soluções NSS-HA anteriores. Este blog apresenta os resultados dos testes de desempenho de E/S para esta versão mais recente da solução NSS.
A Figura 1 mostra o projeto da configuração do NSS7.3-HA. As principais diferenças entre o NSS7.3-HA e seu antecessor imediato, NSS7.2-HA são:
  • Storage array de back-end:
    • NSS7.2-HA: PowerVault MD3460 + MD3060e opcional (60 ou 120 discos rígidos)
    • NSS7.3-HA: PowerVault ME4084 (84 discos rígidos)
  • Sistema operacional:
    • NSS7.2-HA: RHEL 7.4
    • NSS7.3-HA: Red Hat® Enterprise Linux® 7.5
Exceto por itens como as atualizações necessárias de software e firmware, o NSS7.2-HA e o NSS7.3-HA compartilham o mesmo design de cluster de HA e a mesma configuração básica de armazenamento. (Consulte o white paper NSS7.0-HA para obter informações mais detalhadas sobre a configuração.)
Outra grande melhoria do NSS7.2-HA e NSS7.3-HA, é o grande aumento na capacidade máxima. Embora o NSS7.2-HA seja limitado pelo limite atual de suporte do Red Hat XFS de 500 TB, após extensos testes e validação em nossos laboratórios, a Dell EMC e a Red Hat chegaram a um acordo de cooperação que oferece suporte às configurações NSS7.3-HA com até 768 TB de espaço utilizável. Esse é um Dell EMC PowerVault ME4084 totalmente preenchido com discos rígidos de 12 TB ou 1008 TB de espaço de armazenamento bruto.

Arquitetura NSS-HA

A Figura 1 mostra a arquitetura do NSS 7.3 dentro do retângulo pontilhado, incorporado no banco de testes típico que inclui clients e o switch de rede pública.

Figura 1. NSS7.3-HA 1008 TB de espaço bruto (768 TB utilizáveis) Arquitetura e plataforma de teste

SLN314595_en_US__1image(6997)


A tabela a seguir resume os diferentes componentes da nova solução NSS HA 7.3.
  

Tabela 1. Componentes para NSS7.2-HA e NSS7.3-HA
 

Versão NSS7.2-HA (abril de 2018)
"Servidores PowerEdge de 14ª geração e MD3460 + MD3060e"

Versão NSS7.3-HA (outubro de 2018)
"Servidor PowerEdge de 14ª geração e solução baseada em ME4084"

Software

Red Hat Enterprise Linux 7.4,
Kernel 3.10.0-693.el7.x86_64

Sistema de arquivos escalável da Red Hat (XFS) v4.5.0-12

Red Hat Enterprise Linux 7.5,
Kernel 3.10.0-862.el7.x86_64

Sistema de arquivos escalável da Red Hat (XFS) v4.5.0-15

Servidores NFS

Dois servidores Dell PowerEdge R740.
CPU: Dois Intel Xeon Gold 6136 @ 3,0 GHz, 12 núcleos por processador.
Memória: 12 RDIMMs de 16 GiB e 2666 MT/s.

Conectividade de rede externa

EDR InfiniBand, 10 GbE ou Intel Omni-Path.

Para este blog, Mellanox ConnectX-4 IB EDR/100 GbE.
Para pedidos, CX-5 IB EDR/100 GbE.

Conectividade interna

Gigabit Ethernet, switch Dell Networking S3048-ON

Versão do OFED

Mellanox OFED 4.3-1.0.1.0

Mellanox OFED 4.4-1.0.0

Conexão de armazenamento direto

Conexões SAS de 12 Gbit/s.

Subsistema de armazenamento

Dell EMC MD3460 + MD3060e opcional.

60 – 120 – unidades SAS NL de 3,5" de 4 TB.
Duas configurações, 240 ou 480 TB (espaço bruto).
6 ou 12 LUNs, 8+2 RAID 6, tamanho do segmento 512KiB
Sem sobressalentes

Dell EMC PowerVault ME4084.

Unidades SAS NL de 84 a 3,5", até 12 TB.
Uma configuração: até 1.008 TB (espaço bruto).
8 LUNs, RAID 6 linear 8+2, 128 KB de tamanho da parte.
4 unidades de disco rígido globais de reserva.

 


O novo armazenamento PowerVault ME4084 continua usando RAID 6 linear 8+2 como a unidade básica de construção com um novo tamanho de fragmento (tamanho de segmento) de 128 KiB e um valor de leitura antecipada de "tamanho da fração" selecionado para obter o desempenho ideal. Além disso, como agora temos 84 unidades, temos 8 LUNs baseadas no RAID 6s e 4 discos rígidos sobressalentes globais configurados para substituir imediatamente qualquer disco com falha. Isso significa que essa solução pode ter até 768 TB de espaço utilizável.

Desempenho de E/S do NSS7.3-HA

Este blog apresenta os resultados dos testes de desempenho de E/S para a solução NSS-HA atual, ou seja, NSS7.3. Todos os testes de desempenho foram realizados em um cenário sem falhas de HA para medir a capacidade máxima da solução. Os testes se concentraram em três tipos de padrões de E/S: grandes leituras e gravações sequenciais, pequenas leituras e gravações aleatórias e três operações de metadados (criação, estatística e remoção de arquivos).
Um cluster de computação de 32 nós foi usado para gerar carga de trabalho para os testes comparativos. Os clients e a configuração NSS de 1008 TB (tamanho do armazenamento bruto) foram conectados usando InfiniBand EDR e o sistema de arquivos montado via IPoIB. Cada teste de referência de desempenho de E/S foi executado em vários clients para testar a escalabilidade da solução. Os detalhes sobre os clients usados estão listados na tabela a seguir.

Tabela 2. Configuração de clients (teste de desempenho)
Modelo do servidor PowerEdge C6420
Número de servidores Cluster de 32 servidores
CPU CPU Intel(R) Xeon(R) Gold 6148 @ 2,40 GHz
RAM GiB de 192
Sistema operacional Servidor Red Hat Enterprise Linux versão 7.4
Kernel 3.10.0-693.17.1.el7.x86_64
Adaptador de rede Mellanox ConnectX-4 VPI IB EDR/100 GbE de porta única QSFP28
Versão do OFED MLNX_OFED-4.3.1.0.1.0

 


Os benchmarks IOzone e MDtest foram utilizados neste estudo. O IOzone foi utilizado para os testes seqüenciais e aleatórios. Para os testes seqüenciais, foi utilizado um tamanho de solicitação de 1024 KiB. A quantidade total de dados transferidos foi de 256 GiB para garantir que o cache do servidor NFS estivesse saturado. Os testes aleatórios usaram um tamanho de solicitação de 4 KiB e cada cliente leu e gravou um arquivo de 4 GiB. Os testes de metadados foram realizados usando a referência de desempenho MDtest com OpenMPI e incluíram as operações de criação, estatística e remoção de arquivos. (Consulte o Apêndice A do white paper NSS7.0-HA para obter os comandos completos usados nos testes.)

Gravações e leituras sequenciais IPoIB

As Figuras 2 e 3 mostram o desempenho de leitura e gravação sequencial. Como o cluster de teste tinha 32 nós, o ponto de dados de 64 threads foi obtido usando 32 clients executando 2 threads cada.
Para o NSS7.3-HA, o desempenho de pico de leitura é de 7 GB/s e o desempenho de gravação de pico é de quase 5 GB/s. A partir das duas figuras, é óbvio que a solução NSS7.3-HA atual tem números de desempenho sequenciais mais altos do que a versão anterior. As leituras são até 18,7% melhores, mas o desempenho de gravação é especialmente melhor com até 2,65 vezes (em 16 threads) o desempenho da solução anterior. Comparando os valores de desempenho de pico, as gravações no NSS7.3-HA são 2,13 vezes mais rápidas e as leituras são 12,5% melhores.
Isso se deve, em parte, à maior velocidade interna do SAS de 12 Gbps para todos os componentes internos do PowerVault ME4084, inclusive discos rígidos (o PowerVault MD3460 tinha 6 Gbps), permitindo um throughput maior por LUN, mas também devido aos novos controladores de armazenamento que podem processar informações mais rapidamente do que o PowerVault MD3 da geração anterior.

Figura 2. Desempenho de gravação sequencial grande do IPoIB

SLN314595_en_US__2image(6989)

 

Figura 3. Desempenho de leitura sequencial grande do IPoIB

SLN314595_en_US__3image(6990)

Gravações e leituras aleatórias IPoIB

A Figura 4 e a Figura 5 mostram o desempenho de leitura e gravação aleatórias.
Na figura, a gravação aleatória atinge o desempenho máximo em 32 threads, enquanto a versão anterior da solução atingiu o pico de 64 threads. O desempenho de leitura aleatória aumenta constantemente no NSS7.3 para até 32 clientes e, para a solução anterior, o pico era de 16 clients. Novamente, o novo armazenamento mostra seu desempenho superior em relação ao antecessor, com até 3,44 vezes de melhoria nas gravações (em 2 threads) e desempenho de leitura 85% maior (em 32 threads) do que o antecessor. Comparando os desempenhos de pico, a diferença é de cerca de 13% em gravações aleatórias e 85% em leituras aleatórias. Essas melhorias se devem principalmente aos novos controladores PowerVault ME4084, que têm recursos de processamento mais rápidos em comparação com os controladores PowerVault MD3460.

Figura 4. Desempenho de gravação aleatória IPoIB

SLN314595_en_US__4image(6991)

Figura 5. Desempenho de leitura aleatória IPoIB

SLN314595_en_US__5image(6992)
 

Operações de metadados do IPoIB

A Figura 6, a Figura 7 e a Figura 8 mostram os resultados das operações de criação, estatística e remoção de arquivos, respectivamente. Como o cluster de computação HPC tem apenas 32 nós de computação, nos gráficos abaixo, cada client executou no máximo um thread para contagens de client de até 32 e, para contagens de threads de 64, 128, 256 e 512, cada client executou 2, 4, 8 ou 16 operações simultâneas (threads).
Para criações de arquivos, em comparação com a solução anterior, a nova solução mostra uma melhoria sustentada de cerca de duas vezes o desempenho com uma diferença de pico (208%) em 32 clientes, depois diminui ligeiramente, mas mesmo comparando o desempenho de pico para ambas as soluções em 256 threads, a nova solução é 30% mais rápida.
As operações de stat são as mais aprimoradas pelo novo armazenamento, em que as melhorias chegam a ser 7,7 vezes maiores do que o antecessor em 256 threads e, comparando os desempenhos de pico, o NSS7.3 mostra quase 6 vezes o número de operações stat por segundo do que a versão anterior do NSS.
Finalmente, as operações de remoção têm comparativamente uma melhoria marginal, com a maioria dos pontos de dados em 33% ou melhor desempenho do que a solução anterior; Exceto para 128 threads, em que o desempenho é 2,21 vezes melhor. No desempenho máximo, o novo armazenamento alcança um desempenho quase 55% maior em comparação com o sistema NSS anterior.
Todas essas melhorias se devem aos HDDs mais rápidos que usam velocidades SAS3 (12 Gbps) em todos os lugares, bem como aos novos controladores PowerVault ME4084, capazes de aumentar o IOPS e a largura de banda.

Figura 6. Desempenho de criação de arquivo de IPoIB


SLN314595_en_US__6image(6993)

 

Figura 7. Desempenho de estado de arquivo de IPoIB

 SLN314595_en_US__7image(6994)

 

Figura 8. Desempenho de remoção de arquivo de IPoIB

 SLN314595_en_US__8image(6995)

Conclusões e trabalho futuro

Ao longo das diferentes gerações da solução, a solução NSS-HA passou por muitas atualizações de hardware e software para oferecer continuamente alta disponibilidade, maior desempenho e maior capacidade de armazenamento. Em todas essas versões, o design arquitetônico principal da família de soluções NSS-HA permaneceu inalterado. Para mostrar a diferença de desempenho entre o NSS7.3-HA e a versão anterior (NSS7.2-HA), os números de desempenho das duas soluções foram contrastados, mostrando o desempenho superior da versão mais recente da solução baseada no PowerVault ME4084: 

Article Properties

Affected Product

High Performance Computing Solution Resources, Dell EMC PowerVault ME4084

Last Published Date

21 Feb 2021

Version

3

Article Type

Solution

Back to Top