Genel Bakış

Yüksek Kullanılabilirlik (NSS-HA çözümü) ile HPC NFS Depolaması (NSS) için en yeni Dell EMC Ready Solution sürümü NSS7.3-HA olacaktır ve bu ayın sonlarında piyasaya sürülmesi planlanmaktadır.
NSS'nin bu sürümü, yeni Dell EMC PowerVault ME4084 depolama dizilerini ve Red Hat Enterprise Linux 7.5'i içerir ve önceki NSS-HA çözümlerinden daha yüksek genel sistem performansı sunmak için Intel Xeon Ölçeklenebilir İşlemci Ailesi CPU'larını (Skylake kod adlı mimari) kullanmaya devam eder. Bu blog, NSS çözümünün bu en son sürümü için G/Ç performans testlerinin sonuçlarını sunar.
Şekil 1, NSS7.3-HA yapılandırmasının tasarımını göstermektedir. NSS7.3-HA ile hemen öncülü olan NSS7.2-HA arasındaki başlıca farklar şunlardır:

• Arka Uç Depolama dizisi:
  • NSS7.2-HA: PowerVault MD3460 + isteğe bağlı MD3060e (60 veya 120 HDD)
  • NSS7.3-HA: PowerVault ME4084 (84 HDD)
• İşletim Sistemi:
  • NSS7.2-HA: RHEL 7.4
  • NSS7.3-HA: Red Hat® Enterprise Linux® 7.5

Gerekli yazılım ve bellenim güncelleştirmeleri gibi öğeler dışında, NSS7.2-HA ve NSS7.3-HA aynı HA küme tasarımını ve temel depolama yapılandırmasını paylaşır. (Yapılandırma hakkında daha ayrıntılı bilgi için NSS7.0-HA teknik incelemesine bakın.)
NSS7.2-HA ve NSS7.3-HA'dan bir diğer önemli gelişme, maksimum kapasitedeki büyük artıştır. NSS7.2-HA, Red Hat XFS'nin mevcut destek sınırı olan 500 TB ile sınırlı olsa da, laboratuvarlarımızda yapılan kapsamlı test ve doğrulamaların ardından Dell EMC ve Red Hat, 768 TB'a kadar kullanılabilir alana sahip NSS7.3-HA yapılandırmalarını destekleyen bir işbirliği anlaşmasına vardı. Bu, 12 TB HDD'ler veya 1008 TB ham depolama alanı ile tamamen doldurulmuş bir Dell EMC PowerVault ME4084'tür.

NSS-HA mimarisi

Şekil 1'de, istemcileri ve genel ağ anahtarını içeren tipik test yatağına gömülü noktalı dikdörtgenin içindeki NSS 7.3 mimarisi gösterilmektedir.

Şekil 1. NSS7.3-HA 1008 TB Ham Alan (768 TB Kullanılabilir) mimarisi ve test yatağı

Sonraki tabloda, yeni NSS HA 7.3 çözümünün farklı bileşenleri özetlenmektedir.
  

Tablo 1. NSS7.2-HA ve NSS7.3-HA için bileşenler

	NSS7.2-HA Sürümü (Nisan 2018) PowerEdge 14. nesil sunucular ve MD3460 + MD3060e	NSS7.3-HA Sürümü (Ekim 2018) PowerEdge 14. nesil sunucu ve ME4084 tabanlı çözüm
Yazılım	Red Hat Enterprise Linux 7.4, Çekirdek 3.10.0-693.el7.x86_64 Red Hat Ölçeklenebilir Dosya sistemi (XFS) v4.5.0-12	Red Hat Enterprise Linux 7.5, Çekirdek 3.10.0-862.el7.x86_64 Red Hat Ölçeklenebilir Dosya sistemi (XFS) v4.5.0-15
NFS sunucuları	İki adet Dell PowerEdge R740 sunucu. CPU: Çift Intel Xeon Gold 6136 @ 3,0 GHz, işlemci başına 12 çekirdek. Bellek: 12 x 16 GiB 2666 MT/sn RDIMM.
Harici Ağ Bağlantısı	EDR InfiniBand, 10 GbE veya Intel Omni-Path. Bu blog için Mellanox ConnectX-4 IB EDR/100 GbE. Siparişler için, CX-5 IB EDR/100 GbE.
Dahili Bağlantı	Gigabit Ethernet, anahtar Dell Networking S3048-ON
OFED sürümü	Mellanox OFED 4.3-1.0.1.0	Mellanox OFED 4.4-1.0.0
Doğrudan Depolama bağlantısı	12 GB/sn SAS bağlantıları.
Depolama alt sistemi	Dell EMC MD3460 + isteğe bağlı MD3060e. 60 – 120 – 3,5 inç NL SAS 4 TB sürücüler. İki yapılandırma, 240 veya 480 TB (ham alan). 6 veya 12 LUN, 8+2 RAID 6, segment boyutu 512 KiB Yedek yok	Dell EMC PowerVault ME4084. 84 - 3,5 inç NL SAS sürücü, 12TB'a kadar. Tek yapılandırma: 1008 TB a kadar (ham alan). 8 LUN, doğrusal 8+2 RAID 6, parça büyüklüğü 128 KiB. 4 Genel HDD yedeği.

 

Yeni PowerVault ME4084 depolama, 128 KiB lik yeni parça boyutu (segment boyutu) ve optimum performans için seçilen "şerit boyutu" okuma değeri ile temel yapı birimi olarak doğrusal 8+2 RAID 6'yı kullanmaya devam ediyor. Ayrıca, şu anda 84 sürücümüz olduğu için RAID 6s tabanlı 8 LUN umuz ve herhangi bir arızalı diski hemen değiştirmek üzere yapılandırılmış 4 genel yedek HDD miz var. Bu, bu çözümün 768 TB'ye kadar kullanılabilir alana sahip olabileceği anlamına gelir.

NSS7.3-HA G/Ç performansı

Bu blog, mevcut NSS-HA çözümü, yani NSS7.3 için G/Ç performans testlerinin sonuçlarını sunar. Tüm performans testleri, çözümün maksimum kapasitesini ölçmek için HA hatasız bir senaryoda gerçekleştirildi. Testler üç tür G/Ç modeline odaklanmıştır: büyük sıralı okuma ve yazma, küçük rastgele okuma ve yazma ve üç meta veri işlemi (dosya oluşturma, istatistik ve kaldırma).
Karşılaştırma testleri için iş yükü oluşturmak üzere 32 düğümlü bir bilgi işlem kümesi kullanıldı. İstemciler ve 1008 TB (ham depolama boyutu) NSS yapılandırması, InfiniBand EDR ve IPoIB aracılığıyla bağlanan dosya sistemi kullanılarak bağlandı. Her G/Ç karşılaştırma testi, çözümün ölçeklenebilirliğini test etmek için bir dizi istemci üzerinde çalıştırıldı. Kullanılan istemcilerle ilgili ayrıntılar bir sonraki tabloda listelenmiştir.

Tablo 2. İstemci yapılandırması (performans testi)

Sunucu modeli	PowerEdge C6420
Sunucu sayısı	32 sunucu kümesi
CPU	Intel(R) Xeon(R) Gold 6148 CPU @ 2,40 GHz
RAM	192 GiB
İşletim Sistemi	Red Hat Enterprise Linux Server sürüm 7.4
Kernel	3.10.0-693.17.1.el7.x86_64
Ağ adaptörü	Mellanox ConnectX-4 VPI IB EDR/100 GbE tek bağlantı noktalı QSFP28
OFED sürümü	MLNX_OFED-4.3.1.0.1.0

 

Bu çalışmada IOzone ve MDtest karşılaştırmaları kullanılmıştır. Sıralı ve rastgele testler için IOzone kullanıldı. Sıralı testler için 1024 KiB istek boyutu kullanılmıştır. NFS sunucusu önbelleğinin doygun olduğundan emin olmak için aktarılan toplam veri miktarı 256 GiB idi. Rastgele testler 4 KiB istek boyutu kullandı ve her istemci 4 GiB dosyayı okuyup yazdı. Meta veri testleri, dosya oluşturma, istatistik ve kaldırma işlemleri dahil olmak üzere OpenMPI ile MDtest karşılaştırmalı testi kullanılarak gerçekleştirildi. (Testlerde kullanılan tüm komutlar için NSS7.0-HA teknik incelemesinin Ek A'sına bakın.)

IPoIB sıralı yazma ve okuma işlemleri

Şekil 2 ve 3, sıralı yazma ve okuma performansını göstermektedir. Test kümesi 32 düğüme sahip olduğundan, 64 iş parçacığı veri noktası, her biri 2 iş parçacığı çalıştıran 32 istemci kullanılarak elde edildi.
NSS7.3-HA için en yüksek okuma performansı 7 GB/sn ve en yüksek yazma performansı neredeyse 5 GB/sn'dir. İki rakamdan, mevcut NSS7.3-HA çözümünün önceki versiyona göre daha yüksek sıralı performans rakamlarına sahip olduğu açıktır. Okumalar %18,7'ye kadar daha iyidir, ancak yazma performansı, önceki çözüme göre 2,65 kata kadar (16 iş parçacığında) performansla özellikle daha iyidir. En yüksek performans değerleri karşılaştırıldığında, NSS7.3-HA'da yazmalar 2,13 kat daha hızlı ve okumalar %12,5 daha iyidir.
Bunun nedeni kısmen, HDD'ler de dahil olmak üzere tüm PowerVault ME4084 dahili bileşenleri için 12 Gb/sn lik daha yüksek SAS dahili hızının (PowerVault MD3460 6 Gb/sn idi) LUN başına daha yüksek bir aktarım hızı sağlamasının yanı sıra, bilgileri önceki nesil PowerVault MD3'ten daha hızlı işleyebilen yeni depolama denetleyicileridir.

Şekil 2. IPoIB büyük sıralı yazma performansı

 

Şekil 3. IPoIB büyük sıralı okuma performansı

IPoIB rastgele yazma ve okuma

Şekil 4 ve Şekil 5'te rastgele yazma ve okuma performansı gösterilmektedir.
Şekilden rastgele yazma 32 iş parçacığında en yüksek performansa ulaşırken, çözümün önceki sürümü 64 iş parçacığında zirve yapıyordu. Rastgele okuma performansı NSS7.3'te 32 istemciye kadar istikrarlı bir şekilde artar ve önceki çözüm için en yüksek 16 istemciydi. Yine, yeni depolama, önceki modele göre yazmalarda 3,44 kata kadar iyileştirme (2 iş parçacığında) ve %85 daha yüksek okuma performansı (32 iş parçacığında) ile önceki modele göre üstün performansını gösteriyor. En yüksek performanslar karşılaştırıldığında, fark rastgele yazmalarda yaklaşık %13 ve rastgele okumalarda %85'tir. Bu iyileştirmelerin temel nedeni, PowerVault MD3460 denetleyicilerine kıyasla daha hızlı işleme özelliklerine sahip yeni PowerVault ME4084 denetleyicileridir.

Şekil 4: IPoIB rastgele yazma performansı

Şekil 5: IPoIB rastgele okuma performansı

 

IPoIB meta veri işlemleri

Şekil 6, Şekil 7 ve Şekil 8'de sırasıyla dosya oluşturma, istatistik ve kaldırma işlemlerinin sonuçları gösterilmektedir. HPC işlem kümesinde yalnızca 32 işlem düğümü olduğundan aşağıdaki grafiklerde her istemci, 32'ye kadar istemci sayıları için en fazla bir iş parçacığı ve 64, 128, 256 ve 512 iş parçacığı sayıları için her istemci 2, 4, 8 veya 16 eşzamanlı işlem (iş parçacığı)
yürüttü.Dosya oluşturmalar için önceki çözümle karşılaştırıldığında, yeni çözüm 32 istemcide en yüksek farkla (%208) performansın yaklaşık iki katı oranında sürekli bir iyileşme gösterir, ardından biraz azalır, ancak her iki çözüm için de 256 iş parçacığındaki en yüksek performans karşılaştırıldığında bile yeni çözüm %30 daha hızlıdır.
İstatistik işlemleri, iyileştirmelerin 256 iş parçacığında selefinin 7,7 katı kadar yüksek olduğu ve en yüksek performansları karşılaştıran yeni depolama tarafından en çok iyileştirilenlerdir, NSS7.3, NSS'nin önceki sürümüne göre saniyede neredeyse 6 kat daha fazla istatistik işlemi gösterir.
Son olarak, kaldırma işlemleri, çoğu veri noktasında %33 veya önceki çözümden daha iyi performansla nispeten marjinal bir iyileşmeye sahiptir; Performansın 2,21 kat daha iyi olduğu 128 iş parçacığı hariç. En yüksek performansta, yeni depolama, önceki NSS sistemine kıyasla neredeyse %55 daha yüksek performans elde ediyor.
Tüm bu iyileştirmeler, her yerde SAS3 hızları (12 Gb/sn) kullanan daha hızlı HDD'lerin yanı sıra daha yüksek IOPS ve bant genişliği kapasitesine sahip yeni PowerVault ME4084 denetleyicilerinden kaynaklanmaktadır.

Şekil 6: IPoIB dosya oluşturma performansı

 

 

 

Şekil 8. IPoIB dosya kaldırma performansı

Sonuç ve Gelecekteki Çalışmalar

Çözümün farklı nesilleri boyunca, NSS-HA çözümü sürekli olarak yüksek kullanılabilirlik, daha yüksek performans ve daha büyük depolama kapasitesi sunmak için birçok donanım ve yazılım güncellemesinden geçmiştir. Tüm bu sürümlerde, NSS-HA çözüm ailesinin temel mimari tasarımı değişmeden kalmıştır. NSS7.3-HA ile önceki sürüm (NSS7.2-HA) arasındaki performans farkını göstermek için her iki çözümün performans rakamları karşılaştırılarak PowerVault ME4084 tabanlı çözümün en son sürümünün üstün performansı gösterilmiştir: 

•  2,65 kata kadar sıralı yazma ve %18,7'ye kadar daha hızlı okuma performansı.
  
•  3,44 kata kadar rastgele yazma ve %85 e kadar daha hızlı rastgele okuma performansı.
  
•  Oluşturma hızının 2,1 katına, istatistik oranının 7,7 katına ve kaldırma oranının 2,2 katına kadar.

  Bir sonraki aşama, Intel Omni-Path adaptörlerine bağlı NSS7.3-HA çözümünü karakterize etmek olacaktır. NSS-HA çözümleri hakkında ayrıntılı bilgi için lütfen yayınlanmış teknik dokümanlarımıza bakın:

•  Nisan 2011'de yayımlanan Dell HPC NFS Depolama Çözümü Yüksek Kullanılabilirlik Yapılandırmaları, NSS2-HA sürümü.
  
•  Dell HPC NFS Depolama Çözümü Yüksek Kapasiteli Yüksek Kullanılabilirlik Yapılandırmaları, NSS3-HA sürümü, Şubat 2012'de yayımlandı.
  
•  Dell PowerEdge 12. Nesil Sunucularla Dell HPC NFS Depolama Çözümü Yüksek Kullanılabilirlik (NSS-HA) Yapılandırmaları, NSS4-HA sürümü, Temmuz 2012'de yayımlandı.
  
•  Dell PowerVault MD3260/MD3060e Depolama Dizileri ile Dell HPC NFS Depolama Çözümü - Yüksek Kullanılabilirlik (NSS-HA) Yapılandırması, NSS4.5-HA sürüm güncellendi, Mayıs 2013 tarihinde yayımlandı.
  
•  Dell HPC NFS Depolama Çözümü - Yüksek Kullanılabilirlik NSS5-HA yapılandırmaları, sürüm NSS5.0-HA, Eylül 2013'te yayımlandı.
  
•  Dell PowerVault MD3460 ve MD3060e Depolama Dizileri ile Dell HPC NFS Depolama Çözümü Yüksek Kullanılabilirlik (NSS5.5-HA) Yapılandırması, NSS5.5-HA sürüm sürümü, Eylül 2013 tarihinde yayımlandı.
  
•  Dell HPC NFS Depolama Çözümü - Dell PowerEdge 13. Nesil Sunucularda Yüksek Kullanılabilirlik (NSS6.0-HA) Yapılandırması (İngilizce), sürüm NSS6.0-HA, yayın tarihi: Kasım 2014.
  
•  Dell HPC NFS Depolama Çözümü - Yüksek Kullanılabilirlik (NSS7.0-HA) Yapılandırması (İngilizce), sürüm NSS7.0-HA, yayın tarihi: Mayıs 2016.

   

  Not: Özelleştirilmiş yapılandırmalar/dağıtımlar için lütfen Dell EMC temsilcinizle iletişime geçin ve yönergeler hakkında bilgi edinin.