HPC BeeGFS Yüksek Performanslı Depolama için Dell EMC Ready Çözümleri

Makale, Dell EMC HPC ve AI Innovation Lab bünyesinde Nirmala Sundararajan tarafından Kasım 2019'da yazılmıştır

HPC BeeGFS Yüksek Performanslı Depolama için Dell EMC Ready Çözümleri

İçindekiler

1. Giriş
2. Çözüm Referans Mimarisi
3. Donanım ve Yazılım yapılandırması
4. Çözüm Yapılandırma Ayrıntıları
   • Yönetim Hizmeti
   • Meta Veri Hizmeti
   • Depolama Hizmeti
   • İstemci Hizmetleri
5. R740xd, 24x NVMe Sürücüler, CPU Eşlemesine İlişkin Ayrıntılar
6. Performans Karakterizasyonu
   • Sıralı Okumalar ve Yazmalar N-N
   • Rastgele Okumalar ve Yazmalar N-N
7. Sonuç ve Gelecekteki Çalışmalar
    

Giriş

Çözüm Referans Mimarisi

Donanım ve Yazılım yapılandırması

Tablo 1 ve 2, sırasıyla yönetim sunucusu ve meta veri/depolama sunucusunun donanım özelliklerini göstermektedir. Tablo 3'te çözüm için kullanılan yazılım sürümleri açıklanmıştır.

Çözüm Yapılandırma Ayrıntıları

• Yönetim hizmeti
• Meta Veri Hizmeti
• Depolama Hizmeti
• İstemci Hizmetleri

Yönetim Hizmeti

Meta Veri Hizmeti

Şekil 3:  Metadata Sunucusu

Şekil 4 meta veri sunucusunun RAID yapılandırmasını göstermektedir. Meta veri sunucusunda, NUMA bölge 0'daki sürücülerin MDT'leri ve NUMA bölge 1'dekilerin depolama verilerini barındırırken depolama sunucularının her iki NUMA bölgesindeki ST'leri barındırdığını vurgular.

Depolama Hizmeti

1. Yazma performansı dd komutu kullanılarak 1 MiB blok boyutunda 10 GiB dosya oluşturularak ve veriler için doğrudan G/Ç kullanılarak ölçülmüştür. RAID 0 cihazları için ortalama her cihaz için yaklaşık 5,1 GB/sn iken RAID 10 cihazları için ortalama 3,4 GB/sn olmuştur.
2. StorageBench karşılaştırmalı testleri, RAID 0 yapılandırması için maksimum verimin 5,5 GB/sn olduğunu gösterirken RAID 10 yapılandırması için bu değer 3,4 GB/sn'dir. Bu sonuçlar, dd komutları kullanılarak elde edilen sonuçlarla aynıdır.
3. RAID 10, disk kapasitesinin %50 oranında kullanılmasını ve yazma performansında benzer bir %50 artış elde edilmesini sağlar. RAID 10 kullanmak, depolama yedekliliği elde etmek için yüksek maliyetli bir yöntemdir.
4. NVMe sürücüler pahalıdır ve RAID 0 yapılandırmasında en iyi şekilde kullanılabilecek hız artışları sunar

İstemci Hizmetleri

$ cat /etc/beegfs/beegfs-mounts.conf
/mnt/beegfs-medium /etc/beegfs/beegfs-client-medium.conf
/mnt/beegfs-small /etc/beegfs/beegfs-client-small.conf

R740xd, 24x NVMe Sürücüler, CPU Eşlemesine İlişkin Ayrıntılar

# cat /proc/sys/kernel/numa_balancing
0

Performans Karakterizasyonu

Sıralı Yazmalar ve Okumalar N-N

Sıralı okuma ve yazmaları değerlendirmek için sıralı okuma ve yazma modunda IOzone karşılaştırmalı testi kullanıldı. Bu testler, 1 iş parçacığından başlayıp ikiye katlanarak 1024 iş parçacığına kadar olmak üzere çeşitli iş parçacığı sayılarıyla gerçekleştirildi. Bu test iş parçacığı başına bir dosya veya N dosya başına N istemci (N-N) senaryosunda çalıştığı için her iş parçacığı sayısında eşit sayıda dosya oluşturuldu. İşlemler 32 fiziksel istemci düğümüne çevrimsel sıralı veya döngüsel bir şekilde dağıtılmıştır. Böylece talepler eşit olarak dağıtılmış ve yük dengelemesi sağlanmıştır. 8 TB'lik bir toplama dosyası boyutu seçildi ve bu, tüm testlerde iş parçacığı sayısına eşit olarak dağıtıldı. Toplam dosya boyutu, hem sunuculardan hem BeeGFS istemcilerinden gelen önbellekleme etkilerini en aza indirecek büyüklükte seçilmiştir. IOzone, işlemler arasındaki sınırları koordine edebilmesi için birleşik yazma ve okuma modunda (-i 0, -i 1) çalıştırıldı. Bu test ve sonuçlarda her çalıştırmada 1 MiB kayıt boyutu kullandık. Sıralı N-N testleri için kullanılan komutlar aşağıda verilmiştir:

Sıralı Yazma ve Okuma: iozone -i 0 -i 1 -c -e -w -r 1m -I -s $Size -t $Thread -+n -+m /path/to/threadlist

İşletim sistemi önbellekleri, şu komut çalıştırılarak yazma ve okuma testlerinin yanı sıra yinelemeler arasında istemci düğümlerinde de kapatıldı veya temizlendi:

# sync & echo 3 > /proc/sys/vm/drop_caches

Beegfs için varsayılan şerit sayısı 4'tür. Ancak yığın boyutu ve dosya başına hedef sayısı dizin bazında yapılandırılabilir. Tüm bu testler için BeeGFS şerit boyutu 2 MB olarak seçildi ve aşağıda gösterildiği gibi NUMA bölgesi başına üç hedefimiz olduğu için şerit sayısı 3 olarak seçildi:

$ beegfs-ctl --getentryinfo --mount=/mnt/beegfs /mnt/beegfs/benchmark --verbose
EntryID: 0-5D9BA1BC-1
ParentID: root
Metadata node: node001-numa0-4 [ID: 4]
Stripe pattern details:
+ Type: RAID0
+ Chunksize: 2M
+ Number of storage targets: desired: 3
+ Storage Pool: 1 (Default)
Inode hash path: 7/5E/0-5D9BA1BC-1

Büyük boyutlu şeffaf sayfalar devre dışı bırakıldı ve meta veri ve depolama sunucularında aşağıdaki ayarlama seçenekleri uygulandı:

• vm.dirty_background_ratio = 5 
• vm.dirty_ratio = 20 
• vm.min_free_kbytes = 262144 
• vm.vfs_cache_pressure = 50
• vm.zone_reclaim_mode = 2 
• kernel.numa_balancing = 0

Yukarıdakilere ek olarak aşağıdaki BeeGFS ayarlama seçenekleri kullanılmıştır: 

• tuneTargetChooser parametresi meta veri yapılandırma dosyasında "roundrobin" olarak ayarlandı 
• tuneNumWorkers parametresi meta veri için 24 ve depolama için 32 olarak ayarlandı 
• connMaxInternodeNum parametresi meta veri için 32, depolama için 12 ve istemciler için 24 olarak ayarlandı

Şekil 9'da, en yüksek okuma performansının 1024 iş parçacığında 132 GB/sn ve en yüksek yazma performansının 256 iş parçacığında 121 GB/sn olduğunu görebiliriz. Her sürücü 3,2 GB/sn en yüksek okuma performansı ve 1,3 GB/sn en yüksek yazma performansı sağlayabilir. Bu da teorik olarak okumalar için 422 GB/sn ve yazmalar için 172 GB/sn düzeyinde maksimum performansa olanak tanır. Ancak burada sınırlayıcı faktör ağdır. Kurulumdaki depolama sunucuları için toplam 11 InfiniBand EDR bağlantımız var. Her bağlantı teorik olarak 12,4 GB/sn maksimum performans sağlayabilir ve bu da teoride 136,4 GB/sn maksimum performans anlamına gelir. Elde edilen en yüksek okuma ve yazma performansı, teorik en yüksek performansın sırasıyla %97 ve %89'udur.

Tek iş parçacığı yazma performansının yaklaşık 3 GB/sn ve okuma performansının yaklaşık 3 GB/sn olduğu gözlemlenmiştir. Yazma performansının doğrusal olarak ölçeklendiğini, 256 iş parçacığında zirveye ulaştığını ve ardından düşmeye başladığını gözlemleyebiliriz. Daha düşük iş parçacığı sayılarında okuma ve yazma performansı aynıdır. Çünkü 8 iş parçacığına kadar, 24 hedefte 8 dosya yazan 8 istemcimiz olması, tüm depolama hedeflerinin tam olarak kullanılmadığı anlamına geliyor. Sistemde 33 depolama hedefimiz var. Bu nedenle tüm sunucuları tam olarak kullanmak için en az 11 iş parçacığı gerekiyor. Okuma performansı, eş zamanlı iş parçacığı sayısındaki artışla birlikte istikrarlı olarak doğrusal artış kaydeder ve 512 ile 1024 iş parçacığında neredeyse benzer performans gözlemleriz.

Ayrıca 16'dan 128'e kadar olan iş parçacığı sayılarında okuma performansının yazma performansından düşük olduğunu ve ardından okuma performansının ölçeklenmeye başladığını gözlemliyoruz. Bunun nedeni, PCIe okuma işleminin hem istek hem tamamlama gerektiren Yayınlanmamış İşlem olmasına karşın, PCIe yazma işleminin çalıştırıp unutulabilecek işlemler olmasıdır. İşlem Katmanı Paketi, Veri Bağlantısı Katmanına teslim edildiğinde işlem tamamlanır. Yazma işlemi, yalnızca bir istekten oluşan bir "Yayınlanmış" işlemdir.

Okuma verimi, genellikle yazma veriminden daha düşüktür çünkü okumalar aynı miktarda veri için tek bir yazma yerine iki işlem gerektirir. PCI Express, okumalar için bölünmüş bir işlem modeli kullanır. Okuma işlemi aşağıdaki adımları içerir:

• İstek sahibi bir Bellek Okuma İsteği (MRR) gönderir.
• Tamamlayıcı, MRR'ye onay gönderir.
• Tamamlayıcı Verileri İçeren Tamamlama döndürür.

Okuma verimi, okuma isteğinin gönderildiği zaman ile tamamlayıcının veriyi döndürmesi için geçen süre arasındaki gecikmeye bağlıdır. Bununla birlikte, uygulama bu gecikmeyi karşılamak için yeterli sayıda okuma isteği yayınladığında verim en üst düzeye çıkar. Bu nedenle 16 iş parçacığından 128 iş parçacığına kadar okuma performansı yazma performansından daha düşükken istek sayısı arttığında verim yükselir.  İstek sahibi, sonraki talepleri göndermeden önce diğerlerinin tamamlanmasını beklediğinde daha düşük bir verim ölçülür. İlk veri döndükten sonra gecikmeyi azaltmak için birden fazla istek gönderildiğinde daha yüksek bir verim ölçülür.

Rastgele Yazmalar ve Okumalar N-N

Rastgele G/Ç performansını değerlendirmek için rastgele modunda IOzone kullanıldı. Testler, 4 iş parçacığından başlayarak 1024 iş parçacığına kadar iş parçacığı üzerinde gerçekleştirilmiştir. IOzone'u çalıştırmak için Doğrudan G/Ç seçeneği (-I) kullanıldı. Böylece tüm işlemler tampon önbelleği atlayıp doğrudan diske aktarıldı. BeeGFS şerit sayısı 3 ve yığın boyutu 2 MB olarak kullanılmıştır. IOzone üzerinde 4 KiB istek boyutu kullanılmıştır. Performans, saniye başına G/Ç işlemleri (IOPS) cinsinden ölçülmüştür. İşletim sistemi önbellekleri, BeeGFS sunucularında ve BeeGFS istemcilerinde çalıştırmalar arasında kapatıldı. Rastgele yazma ve okuma işlemlerini yürütmek için kullanılan komut aşağıda verilmiştir:

Rastgele okuma ve yazma: iozone -i 2 -w -c -O -I -r 4K -s $Size -t $Thread -+n -+m /path/to/threadlist

Şekil 10:  8 TB toplam dosya boyutunda IOzone kullanarak Rastgele Okuma ve Yazma Performansı

Şekil 10'da gösterildiği üzere rastgele yazma işlemleri 512 iş parçacığında yaklaşık 3,6 Milyon IOPS'de ve rastgele okuma işlemleri 1024 iş parçacığında yaklaşık 3,5 Milyon IOPS'de maksimum seviyeye ulaşmaktadır. Hem yazma hem okuma performansı, daha fazla sayıda GÇ isteği olduğunda daha yüksek bir performans gösterir. Bunun nedeni, NVMe standardının 64 bine kadar G/Ç kuyruğunu ve kuyruk başına 64 bine kadar komutu desteklemesidir. Bu büyük NVMe kuyruk havuzu daha yüksek seviyelerde G/Ç paralelliği sağlar ve dolayısıyla IOPS 3 milyonu aşar.

Sonuç ve Gelecekteki Çalışmalar

Bu blog yazısı, Dell EMC Yüksek Performanslı BeeGFS Depolama Çözümünün piyasaya sürüldüğünü duyurmakta ve performans özelliklerini vurgulamaktadır. Bu çözümün en yüksek sıralı okuma ve yazma performansı sırasıyla yaklaşık 132 GB/sn ve yaklaşık 121 GB/sn'dir. Rastgele yazmalar yaklaşık 3,6 Milyon IOPS ve rastgele okumalar yaklaşık 3,5 Milyon IOPS ile maksimum seviyeye ulaşmaktadır.

Bu blog yazısı, yüksek performanslı sıfırdan hazırlanan alana odaklanarak tasarlanan "BeeGFS Depolama Çözümü"nün birinci bölümüdür. Performans ve kapasiteyi iyileştirmek için sunucu sayısını artırarak çözümün nasıl ölçeklendirilebileceğini açıklayacak olan blog serisinin 2. bölümü için bizi takip etmeye devam edin. Blog serisinin 3. bölümünde BeeGFS'nin ek özellikleri ele alınacak ve BeeGFS'nin yerleşik depolama hedeflerine ilişkin karşılaştırmalı test olan "StorageBench" kullanımı vurgulanacaktır.

Sonraki adımların parçası olarak, daha sonra meta veri performansı ve N iş parçacığından 1 dosyaya IOR performansı ile tasarım hususları, ayarlama ve yapılandırma hakkında ek ayrıntılar içeren bir teknik inceleme yapılacaktır.

Referanslar