Skip to main content
  • Place orders quickly and easily
  • View orders and track your shipping status
  • Create and access a list of your products

En son Dell EMC depolamasıyla NFS Depolama Çözümü -- Performans Sonuçları (İngilizce)

Summary: HPC Yüksek Performanslı Bilgi İşlem, HPC ve AI İnovasyon Laboratuvarı, HPC Depolama, HPC Depolama Çözümü, NFS Depolama Çözümü, XFS Depolama, NFS Depolama, Depolama Çözümü, RHEL7, RHEL7.5, IB EDR Depolama, NSS, NSS-HA, NSS7.3, NSS7.3-HA, IOZone, MDTest ...

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.

Symptoms

Mario Gallegos ve Xin Chen tarafından yazılmıştır, HPC ve AI İnovasyon Laboratuvarı, Ekim 2018

Resolution

Genel Bakış

Yüksek Kullanılabilirlik (NSS-HA çözümü) ile HPC NFS Depolaması (NSS) için en yeni Dell EMC Ready Solution sürümü NSS7.3-HA olacaktır ve bu ayın sonlarında piyasaya sürülmesi planlanmaktadır.
NSS'nin bu sürümü, yeni Dell EMC PowerVault ME4084 depolama dizilerini ve Red Hat Enterprise Linux 7.5'i içerir ve önceki NSS-HA çözümlerinden daha yüksek genel sistem performansı sunmak için Intel Xeon Ölçeklenebilir İşlemci Ailesi CPU'larını (Skylake kod adlı mimari) kullanmaya devam eder. Bu blog, NSS çözümünün bu en son sürümü için G/Ç performans testlerinin sonuçlarını sunar.
Şekil 1, NSS7.3-HA yapılandırmasının tasarımını göstermektedir. NSS7.3-HA ile hemen öncülü olan NSS7.2-HA arasındaki başlıca farklar şunlardır:
  • Arka Uç Depolama dizisi:
    • NSS7.2-HA: PowerVault MD3460 + isteğe bağlı MD3060e (60 veya 120 HDD)
    • NSS7.3-HA: PowerVault ME4084 (84 HDD)
  • İşletim Sistemi:
    • NSS7.2-HA: RHEL 7.4
    • NSS7.3-HA: Red Hat® Enterprise Linux® 7.5
Gerekli yazılım ve bellenim güncelleştirmeleri gibi öğeler dışında, NSS7.2-HA ve NSS7.3-HA aynı HA küme tasarımını ve temel depolama yapılandırmasını paylaşır. (Yapılandırma hakkında daha ayrıntılı bilgi için NSS7.0-HA teknik incelemesine bakın.)
NSS7.2-HA ve NSS7.3-HA'dan bir diğer önemli gelişme, maksimum kapasitedeki büyük artıştır. NSS7.2-HA, Red Hat XFS'nin mevcut destek sınırı olan 500 TB ile sınırlı olsa da, laboratuvarlarımızda yapılan kapsamlı test ve doğrulamaların ardından Dell EMC ve Red Hat, 768 TB'a kadar kullanılabilir alana sahip NSS7.3-HA yapılandırmalarını destekleyen bir işbirliği anlaşmasına vardı. Bu, 12 TB HDD'ler veya 1008 TB ham depolama alanı ile tamamen doldurulmuş bir Dell EMC PowerVault ME4084'tür.

NSS-HA mimarisi

Şekil 1'de, istemcileri ve genel ağ anahtarını içeren tipik test yatağına gömülü noktalı dikdörtgenin içindeki NSS 7.3 mimarisi gösterilmektedir.

Şekil 1. NSS7.3-HA 1008 TB Ham Alan (768 TB Kullanılabilir) mimarisi ve test yatağı

SLN314595_en_US__1image(6997)


Sonraki tabloda, yeni NSS HA 7.3 çözümünün farklı bileşenleri özetlenmektedir.
  

Tablo 1. NSS7.2-HA ve NSS7.3-HA için bileşenler
 

NSS7.2-HA Sürümü (Nisan 2018)
PowerEdge 14. nesil sunucular ve MD3460 + MD3060e

NSS7.3-HA Sürümü (Ekim 2018)
PowerEdge 14. nesil sunucu ve ME4084 tabanlı çözüm

Yazılım

Red Hat Enterprise Linux 7.4,
Çekirdek 3.10.0-693.el7.x86_64

Red Hat Ölçeklenebilir Dosya sistemi (XFS) v4.5.0-12

Red Hat Enterprise Linux 7.5,
Çekirdek 3.10.0-862.el7.x86_64

Red Hat Ölçeklenebilir Dosya sistemi (XFS) v4.5.0-15

NFS sunucuları

İki adet Dell PowerEdge R740 sunucu.
CPU: Çift Intel Xeon Gold 6136 @ 3,0 GHz, işlemci başına 12 çekirdek.
Bellek: 12 x 16 GiB 2666 MT/sn RDIMM.

Harici Ağ Bağlantısı

EDR InfiniBand, 10 GbE veya Intel Omni-Path.

Bu blog için Mellanox ConnectX-4 IB EDR/100 GbE.
Siparişler için, CX-5 IB EDR/100 GbE.

Dahili Bağlantı

Gigabit Ethernet, anahtar Dell Networking S3048-ON

OFED sürümü

Mellanox OFED 4.3-1.0.1.0

Mellanox OFED 4.4-1.0.0

Doğrudan Depolama bağlantısı

12 GB/sn SAS bağlantıları.

Depolama alt sistemi

Dell EMC MD3460 + isteğe bağlı MD3060e.

60 – 120 – 3,5 inç NL SAS 4 TB sürücüler.
İki yapılandırma, 240 veya 480 TB (ham alan).
6 veya 12 LUN, 8+2 RAID 6, segment boyutu 512 KiB
Yedek yok

Dell EMC PowerVault ME4084.

84 - 3,5 inç NL SAS sürücü, 12TB'a kadar.
Tek yapılandırma: 1008 TB a kadar (ham alan).
8 LUN, doğrusal 8+2 RAID 6, parça büyüklüğü 128 KiB.
4 Genel HDD yedeği.

 


Yeni PowerVault ME4084 depolama, 128 KiB lik yeni parça boyutu (segment boyutu) ve optimum performans için seçilen "şerit boyutu" okuma değeri ile temel yapı birimi olarak doğrusal 8+2 RAID 6'yı kullanmaya devam ediyor. Ayrıca, şu anda 84 sürücümüz olduğu için RAID 6s tabanlı 8 LUN umuz ve herhangi bir arızalı diski hemen değiştirmek üzere yapılandırılmış 4 genel yedek HDD miz var. Bu, bu çözümün 768 TB'ye kadar kullanılabilir alana sahip olabileceği anlamına gelir.

NSS7.3-HA G/Ç performansı

Bu blog, mevcut NSS-HA çözümü, yani NSS7.3 için G/Ç performans testlerinin sonuçlarını sunar. Tüm performans testleri, çözümün maksimum kapasitesini ölçmek için HA hatasız bir senaryoda gerçekleştirildi. Testler üç tür G/Ç modeline odaklanmıştır: büyük sıralı okuma ve yazma, küçük rastgele okuma ve yazma ve üç meta veri işlemi (dosya oluşturma, istatistik ve kaldırma).
Karşılaştırma testleri için iş yükü oluşturmak üzere 32 düğümlü bir bilgi işlem kümesi kullanıldı. İstemciler ve 1008 TB (ham depolama boyutu) NSS yapılandırması, InfiniBand EDR ve IPoIB aracılığıyla bağlanan dosya sistemi kullanılarak bağlandı. Her G/Ç karşılaştırma testi, çözümün ölçeklenebilirliğini test etmek için bir dizi istemci üzerinde çalıştırıldı. Kullanılan istemcilerle ilgili ayrıntılar bir sonraki tabloda listelenmiştir.

Tablo 2. İstemci yapılandırması (performans testi)
Sunucu modeli PowerEdge C6420
Sunucu sayısı 32 sunucu kümesi
CPU Intel(R) Xeon(R) Gold 6148 CPU @ 2,40 GHz
RAM 192 GiB
İşletim Sistemi Red Hat Enterprise Linux Server sürüm 7.4
Kernel 3.10.0-693.17.1.el7.x86_64
Ağ adaptörü Mellanox ConnectX-4 VPI IB EDR/100 GbE tek bağlantı noktalı QSFP28
OFED sürümü MLNX_OFED-4.3.1.0.1.0

 


Bu çalışmada IOzone ve MDtest karşılaştırmaları kullanılmıştır. Sıralı ve rastgele testler için IOzone kullanıldı. Sıralı testler için 1024 KiB istek boyutu kullanılmıştır. NFS sunucusu önbelleğinin doygun olduğundan emin olmak için aktarılan toplam veri miktarı 256 GiB idi. Rastgele testler 4 KiB istek boyutu kullandı ve her istemci 4 GiB dosyayı okuyup yazdı. Meta veri testleri, dosya oluşturma, istatistik ve kaldırma işlemleri dahil olmak üzere OpenMPI ile MDtest karşılaştırmalı testi kullanılarak gerçekleştirildi. (Testlerde kullanılan tüm komutlar için NSS7.0-HA teknik incelemesinin Ek A'sına bakın.)

IPoIB sıralı yazma ve okuma işlemleri

Şekil 2 ve 3, sıralı yazma ve okuma performansını göstermektedir. Test kümesi 32 düğüme sahip olduğundan, 64 iş parçacığı veri noktası, her biri 2 iş parçacığı çalıştıran 32 istemci kullanılarak elde edildi.
NSS7.3-HA için en yüksek okuma performansı 7 GB/sn ve en yüksek yazma performansı neredeyse 5 GB/sn'dir. İki rakamdan, mevcut NSS7.3-HA çözümünün önceki versiyona göre daha yüksek sıralı performans rakamlarına sahip olduğu açıktır. Okumalar %18,7'ye kadar daha iyidir, ancak yazma performansı, önceki çözüme göre 2,65 kata kadar (16 iş parçacığında) performansla özellikle daha iyidir. En yüksek performans değerleri karşılaştırıldığında, NSS7.3-HA'da yazmalar 2,13 kat daha hızlı ve okumalar %12,5 daha iyidir.
Bunun nedeni kısmen, HDD'ler de dahil olmak üzere tüm PowerVault ME4084 dahili bileşenleri için 12 Gb/sn lik daha yüksek SAS dahili hızının (PowerVault MD3460 6 Gb/sn idi) LUN başına daha yüksek bir aktarım hızı sağlamasının yanı sıra, bilgileri önceki nesil PowerVault MD3'ten daha hızlı işleyebilen yeni depolama denetleyicileridir.

Şekil 2. IPoIB büyük sıralı yazma performansı

SLN314595_en_US__2image(6989)

 

Şekil 3. IPoIB büyük sıralı okuma performansı

SLN314595_en_US__3image(6990)

IPoIB rastgele yazma ve okuma

Şekil 4 ve Şekil 5'te rastgele yazma ve okuma performansı gösterilmektedir.
Şekilden rastgele yazma 32 iş parçacığında en yüksek performansa ulaşırken, çözümün önceki sürümü 64 iş parçacığında zirve yapıyordu. Rastgele okuma performansı NSS7.3'te 32 istemciye kadar istikrarlı bir şekilde artar ve önceki çözüm için en yüksek 16 istemciydi. Yine, yeni depolama, önceki modele göre yazmalarda 3,44 kata kadar iyileştirme (2 iş parçacığında) ve %85 daha yüksek okuma performansı (32 iş parçacığında) ile önceki modele göre üstün performansını gösteriyor. En yüksek performanslar karşılaştırıldığında, fark rastgele yazmalarda yaklaşık %13 ve rastgele okumalarda %85'tir. Bu iyileştirmelerin temel nedeni, PowerVault MD3460 denetleyicilerine kıyasla daha hızlı işleme özelliklerine sahip yeni PowerVault ME4084 denetleyicileridir.

Şekil 4: IPoIB rastgele yazma performansı

SLN314595_en_US__4image(6991)

Şekil 5: IPoIB rastgele okuma performansı

SLN314595_en_US__5image(6992)
 

IPoIB meta veri işlemleri

Şekil 6, Şekil 7 ve Şekil 8'de sırasıyla dosya oluşturma, istatistik ve kaldırma işlemlerinin sonuçları gösterilmektedir. HPC işlem kümesinde yalnızca 32 işlem düğümü olduğundan aşağıdaki grafiklerde her istemci, 32'ye kadar istemci sayıları için en fazla bir iş parçacığı ve 64, 128, 256 ve 512 iş parçacığı sayıları için her istemci 2, 4, 8 veya 16 eşzamanlı işlem (iş parçacığı)
yürüttü.Dosya oluşturmalar için önceki çözümle karşılaştırıldığında, yeni çözüm 32 istemcide en yüksek farkla (%208) performansın yaklaşık iki katı oranında sürekli bir iyileşme gösterir, ardından biraz azalır, ancak her iki çözüm için de 256 iş parçacığındaki en yüksek performans karşılaştırıldığında bile yeni çözüm %30 daha hızlıdır.
İstatistik işlemleri, iyileştirmelerin 256 iş parçacığında selefinin 7,7 katı kadar yüksek olduğu ve en yüksek performansları karşılaştıran yeni depolama tarafından en çok iyileştirilenlerdir, NSS7.3, NSS'nin önceki sürümüne göre saniyede neredeyse 6 kat daha fazla istatistik işlemi gösterir.
Son olarak, kaldırma işlemleri, çoğu veri noktasında %33 veya önceki çözümden daha iyi performansla nispeten marjinal bir iyileşmeye sahiptir; Performansın 2,21 kat daha iyi olduğu 128 iş parçacığı hariç. En yüksek performansta, yeni depolama, önceki NSS sistemine kıyasla neredeyse %55 daha yüksek performans elde ediyor.
Tüm bu iyileştirmeler, her yerde SAS3 hızları (12 Gb/sn) kullanan daha hızlı HDD'lerin yanı sıra daha yüksek IOPS ve bant genişliği kapasitesine sahip yeni PowerVault ME4084 denetleyicilerinden kaynaklanmaktadır.

Şekil 6: IPoIB dosya oluşturma performansı


SLN314595_en_US__6image(6993)

 

Şekil 7: IPoIB dosya istatistiği performansı

 SLN314595_en_US__7image(6994)

 

Şekil 8. IPoIB dosya kaldırma performansı

 SLN314595_en_US__8image(6995)

Sonuç ve Gelecekteki Çalışmalar

Çözümün farklı nesilleri boyunca, NSS-HA çözümü sürekli olarak yüksek kullanılabilirlik, daha yüksek performans ve daha büyük depolama kapasitesi sunmak için birçok donanım ve yazılım güncellemesinden geçmiştir. Tüm bu sürümlerde, NSS-HA çözüm ailesinin temel mimari tasarımı değişmeden kalmıştır. NSS7.3-HA ile önceki sürüm (NSS7.2-HA) arasındaki performans farkını göstermek için her iki çözümün performans rakamları karşılaştırılarak PowerVault ME4084 tabanlı çözümün en son sürümünün üstün performansı gösterilmiştir: 

Affected Products

High Performance Computing Solution Resources, Dell EMC PowerVault ME4084
Article Properties
Article Number: 000133483
Article Type: Solution
Last Modified: 21 Feb 2021
Version:  3
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.