HPC BeeGFS Depolaması için Dell Ready Çözümlerinin Ölçeklendirilebilirliği

Dell BeeGFS Yüksek Performanslı Depolama Çözümü,kapasite veya performans açısından veya her ikisi açısından nasıl ölçeklenebilir?

Çözüm bölümünde yer alan bilgilere bakın.

İçindekiler

1. Giriş
2. Temel Yapılandırmalar
3. BeeGFS Kullanılabilir Alan Hesaplaması
4. Ölçeklenebilir Yapılandırmalar
5. Performans Karakterizasyonu
6. Sonuç ve Gelecekteki Çalışmalar
    

---

Giriş

Bu blogda, yakın zamanda duyurulan HPC BeeGFS Depolaması için Dell EMC Ready Çözümlerinin ölçeklendirilebilirliği açıklanmaktadır.  BeeGFS mimarisi; yönetim hizmeti, meta veri hizmeti, depolama hizmeti ve istemci hizmeti olmak üzere dört ana hizmet içerir. Roller ve donanım, BeeGFS durumunda sıkıca entegre olmadığı için hepsi de dahil olmak üzere bu dört ana servis kombinasyonunun herhangi birini aynı sunucuda çalıştırmak mümkündür.  "Hiper Bütünleşik Çözüm"de dört servisin hepsi aynı sunucuda çalışır. İstemci uygulamaları genellikle depolama servislerinin performansını etkileyen kaynakları tükettiği için bu yapılandırma, performans açısından kritik ortamlar için önerilmez. Dell EMC çözümü, yüksek performanslı, ölçeklenebilir bir depolama çözümü sağlamak için özel depolama sunucuları ile çift amaçlı meta veri ve depolama sunucusu kullanır. Mevcut bir sisteme ek depolama sunucuları ekleyerek sistemi ölçeklendirmek mümkündür. Bu blogda, farklı sayıda depolama sunucusuna sahip yapılandırmalar ve bu yapılandırmalarda beklenen performans sunulur.

---

Temel Yapılandırmalar

Yüksek performanslı bir karalama dosyası sistemi sağlamak üzere tasarlanmış BeeGFS Depolama Çözümü, aşağıdaki donanım bileşenlerini kullanır:

• Yönetim Sunucusu
  • R640, Çift Intel Xeon Gold 5218 2,3 GHz, 16 çekirdek, 96 GB (12x 8 GB 2666 MT/sn RDIMM), 6 x 15k RPM 300 GB SAS, H740P
• Meta Veriler ve Depolama Sunucuları
  • R740xd, 2,90 GHz'de 2x Intel Xeon Platinum 8268 CPU, 24 çekirdek, 384 GB (12x 32 GB 2933 MT/sn RDIMM)
  • İşletim sistemi için RAID 1'de 2x 240 GB M.2 SATA SSD'lere sahip BOSS kartı
  • 24x, Intel 1,6 TB, NVMe, Karma Kullanımlı Express Flash, 2,5 SFF Sürücüler, Yazılım RAID

Yönetim sunucusu, BeeGFS izleme hizmetini çalıştırır. Meta veri sunucusu, Meta Veri Hedeflerini (MDTs) barındıran NUMA 0 bölgesinde 12 sürücü kullanılırken NUMA 1 bölgesinde kalan 12 sürücü Depolama Hedeflerini (STS) ana bilgisayar olarak sunar. BeeGFS meta verileri için depolama kapasitesi gereksinimleri çok küçük olduğundan özel bir meta veri sunucusu kullanılamaz. Meta veriler ve depolama hedefleri ve hizmetleri, iş yüklerinin önemli bir şekilde ayrılması için ayrı NUMA düğümlerinde yalıtılmıştır. Yapılandırmada kullanılan depolama sunucularında, NUMA bölgesi başına çalışan ve sunucu başına toplam altı adet olmak üzere üç depolama servisi bulunur. Daha fazla ayrıntı için lütfen duyuru bloguna bakın. Şekil 1, Dell EMC HPC ve AI Innovation Lab'de test edilmiş ve doğrulanmış iki temel yapılandırmayı gösterir.

Şekil 1: Temel Yapılandırmalar

Küçük yapılandırma üç R740xd sunucudan oluşur. Toplam 15 depolama hedefine sahip. Orta yapılandırmada 6xR740xd sunucu bulunur ve toplam 33 depolama hedefi bulunur. Kullanıcı bir "Küçük" yapılandırmayla veya "Orta" yapılandırmayla başlayabilir ve depolama alanını ve genel performansı artırmak için gerektiği şekilde depolama veya meta veri sunucuları ya da sırasıyla dosya ve meta veri performansı sayısını eklenebilir. Tablo 1, Dell EMC HPC ve AI Innovation Lab'de kapsamlı şekilde test edilmiş ve doğrulanmış temel yapılandırmalar için performans verilerini gösterir.

Tablo 1: Temel Yapılandırmaların Kapasite ve Performans Ayrıntıları

 

---

BeeGFS Kullanılabilir Alan Hesaplaması

Tahmini kullanılabilir alan, aşağıdaki formül kullanılarak TiB'de hesaplanır (çoğu araç ikili birimlerde kullanılabilir alanı gösterebileceği için):

TiB'de BeeGFS Kullanılabilir Alanı= (TB* olarak 0,99* Sürücü* boyutu * (10^12/2^40)

Yukarıdaki formülde, muhafazakar bir şekilde dosya sistemi tarafından %1 ek yük olduğu varsayıldıysa faktör 0,99'dur.  Depolama için sürücü sayısına varan MDS'den 12 sürücü de dahildir. Bunun nedeni, MDS'de NUMA bölge 0'da 12 sürücülerin meta veri için ve NUMA bölge 1'deki 12 sürücülerin depolama için kullanıldığındandır. 10^12/2^40 formülünde son faktör, kullanılabilir alanı TB'den TiB'ye dönüştürmektir.

---

Ölçeklenebilir Yapılandırmalar

BeeGFS Yüksek Performanslı Depolama Çözümü esnek olacak şekilde tasarlanmıştır ve aşağıda gösterildiği gibi ek sunucular ekleyerek performansı ve/veya kapasiteyi kolayca ve sorunsuz bir şekilde ölçeklendirebilirsiniz:

Tablo 2: Ölçekli Yapılandırmaların Kapasite ve Performans Ayrıntıları

 

---

Performans Karakterizasyonu

Çeşitli yapılandırmaların performansı depolama havuzları oluşturarak test edildi. Küçük yapılandırmada 15 depolama hedefi vardır ve her bir ek depolama sunucusu ek altı depolama hedefi ekler. Bu nedenle, çeşitli yapılandırmaların performansını test etmek amacıyla depolama havuzları 15 ila 39 depolama hedeflerinden oluşturuldu (küçük, küçük+1, küçük+2, orta, orta+1 için altı adet artış). Bu havuzların her biri için her biri 1024 iş parçacığına sahip (iki artışlı güçte) iozone karşılaştırmalı testinin üç yinelemesi çalıştırıldı. Benimsenen test metodolojisi, duyuru blog'sinde açıklananla aynıdır . Şekil 3 ve 4, sırasıyla ölçeklendirilebilir yapılandırmaların yazma ve okuma performansını gösterir ve hazır referans için vurgulanan yapılandırmaların en yüksek performansına sahiptir:


 
Şekil 3:  Ölçeklenebilir Yapılandırmaların Yazma Performansı


Şekil 4:  Ölçeklenebilir Yapılandırmaların Okuma Performansı

Not:

Anılan depolama havuzu yalnızca farklı yapılandırmaların performansını karakterize etmek amacıyla oluşturulmuştur.  Duyuru blog'larında ayrıntılı olarak açıklanan orta yapılandırmanın performans değerlendirmesini yaparken 33 hedefin hepsi yalnızca "Varsayılan Havuz" içindedir. Aşağıda verilen beegfs-ctl --liststoragepools komutunun çıktısı, depolama hedeflerinin atamasını gösterir:

# beegfs-ctl --liststoragepools Pool ID Pool Description Targets Phillips Groups
======= ================== ============================ ============================
1 Default 1, 2, 3, 4,5, 6, 7, 8, 9, 10,11,12, (# beegfs-ctl --liststoragepools
Havuz Kimliği Havuzu Açıklaması, 1 Varsayılan 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12,
                                                 13,14,15,16,17,18,19,20,21,
22,23,24,25,26,27,28,29,30,
31,32,33  

---

Sonuç ve Gelecekteki Çalışmalar

Bu blogda, HPC BeeGFS Depolaması için Dell EMC Ready Çözümlerinin ölçeklendirilebilirliği ele alınmıştır ve çeşitli yapılandırmalar için sıralı okuma ve yazma performansı vurgulanmaktadır. BeeGFS'nin ek özelliklerini tartışacağız ve Yerleşik depolama hedeflerinden BeeGFS'nin "StorageBench" kullanımı vurgulanan bu blog serisinin 3. Bölüm için izlemeye devam edin. Sonraki adımların bir parçası olarak meta veri performansı, IOR N-1 performans değerlendirmesi ve tasarım hususları, ayarlama ve yapılandırma hakkında ek ayrıntılarla birlikte daha sonra bir teknik rapor yayınlaacağız. 

Referanslar

[1] HPC BeeGFS Depolaması için Dell EMC Ready Çözümleri:  
https://www.dell.com/support/article/sln319381/[2] BeeGFS Belgeleri: 
https://www.beegfs.io/wiki/[3] Aynı alt ağda iki arabirim bağlama: 
https://access.redhat.com/solutions/30564[4] Harici Bellek kullanarak PCI Express Direct Bellek Erişimi Referans Tasarımı: https://www.intel.com/content/www/us/en/programmable/documentation/nik1412547570040.html#nik1412547565760