Skalerbarhed af Dell Ready Solutions til HPC BeeGFS-lagring

Hvordan skaleres Dell BeeGFS High Performance Storage Solution i forhold til kapacitet eller ydeevne eller begge dele?

Se oplysninger i afsnittet Løsning.

Indholdsfortegnelse

1. Indledning
2. Grundlæggende konfigurationer
3. Beregning af brugbar plads i BeeGFS
4. Skalerbare konfigurationer
5. Ydeevne karakterisering
6. Konklusion og fremtidigt arbejde
    

---

Indledning

Denne blog diskuterer skalerbarheden af Dell EMC Ready Solutions til HPC BeeGFS Storage , som blev annonceret for nylig.  BeeGFS-arkitekturen består af fire hovedservices, administrationsservicen, metadataservice, lagerservice og kundeservice. Det er muligt at køre enhver kombination af disse fire primære tjenester, herunder alle, på den samme server, fordi rollerne og hardwaren ikke er tæt integreret i BeeGFS.  I en "Hyperkonvergeret løsning" kører alle fire tjenester på den samme server. Denne konfiguration anbefales ikke til ydelseskritiske miljøer, da klientprogrammer normalt forbruger ressourcer, der kan påvirke ydeevnen af storageservices. Dell EMC-løsningen bruger dedikerede storageservere og en metadata- og storageserver til at levere en højtydende, skalerbar storageløsning. Det er muligt at skalere systemet ved at tilføje yderligere storageservere til et eksisterende system. I denne blog præsenterer vi konfigurationer med forskellige antal lagringsservere og den ydeevne, der kan forventes med disse konfigurationer.

---

Grundlæggende konfigurationer

BeeGFS Storage Solution, som er designet til at levere et højtydende filsystem, bruger følgende hardwarekomponenter:

• Administrationsserver
  • R640, Dual Intel Xeon Gold 5218 2,3 GHz, 16 kerner, 96 GB (12 x 8 GB 2666 MT/s RDIMM'er), 6 x 15 k RPM 300 GB SAS, H740P
• Metadata og storageservere
  • R740xd, 2 x Intel Xeon Platinum 8268 CPU ved 2,90 GHz, 24 kerner, 384 GB (12 x 32 GB 2933 MT/s RDIMM'er)
  • BOSS-kort med 2x 240 GB M.2 SATA SSD'er i RAID 1 til OS
  • 24x, Intel 1,6 TB, NVMe, Mixed Use Express Flash, 2,5 SFF-drev, software-RAID

Administrationsserveren kører BeeGFS-overvågningstjeneste. Metadataserveren anvender de 12 drev på NUMA 0-zonen til at hoste MetaData Targets (MDT'er), mens de resterende 12 drev på NUMA 1-zonen er vært for Storage Targets (ST'er). En dedikeret metadataserver bruges ikke, fordi kravene til lagerkapacitet for BeeGFS-metadata er meget små. Metadata og storagemål og -tjenester er isoleret på separate NUMA-knuder, så der oprettes en betydelig adskillelse af arbejdsbelastninger. De storageservere, der anvendes i konfigurationen, har tre storageservices, der kører pr. NUMA-zone, seks i alt pr. server. Du kan finde flere oplysninger i annonceringsblogen. Figur 1 viser de to grundlæggende konfigurationer, der er testet og godkendt på Dell EMC HPC og AI Innovation Lab.

Figur 1: Grundlæggende konfigurationer

Den lille konfiguration består af tre R740xd-servere. Den har i alt 15 storage-mål. Mediekonfigurationen har 6xR740xd-servere og har i alt 33 storagemål. Brugeren kan starte med en "lille" konfiguration eller med konfigurationen "Mellem" og kan tilføje lagrings- eller metadataservere efter behov for at øge lagerpladsen og den samlede ydeevne eller antallet af filer og metadata- ydeevne. Tabel 1 viser ydeevnedata for de grundlæggende konfigurationer, der er blevet testet og valideret grundigt på Dell EMC HPC og AI Innovation Lab.

Tabel 1: Oplysninger om kapacitet og ydelse for basiskonfigurationer

 

---

Beregning af brugbar plads i BeeGFS

Den estimerede brugbare plads er beregnet i TiB (da de fleste værktøjer viser brugbar plads i binære enheder) ved hjælp af følgende formel:

BeeGFS, brugbar plads i TiB= (0,99* antal drev* størrelse i TB * (10^12/2^40)

I ovenstående formel er 0,99 faktoren modtaget ved at antage, at der er en 1 % belastning fra filsystemet.  Ved ankomsten til det antal drev, der skal opbevares, medfølger der også 12 drev fra MDS. Dette skyldes, at i MDS bruges de 12 drev i NUMA-zone 0 til metadata, og de 12 drev i NUMA-zone 1 bruges til lagring. Den sidste faktor i formel 10^12/2^40 er at konvertere den brugbare plads fra TB til TiB.

---

Skalerbare konfigurationer

BeeGFS-storageløsningen med høj ydeevne er designet til at være fleksibel og kan nemt og problemfrit skalere ydeevne og/eller kapacitet ved at tilføje yderligere servere som vist nedenfor:

Tabel 2: Oplysninger om kapacitet og ydeevne for skalerede konfigurationer

 

---

Ydeevne karakterisering

Ydeevnen for de forskellige konfigurationer blev testet ved at oprette lagerpuljer. Den lille konfiguration har 15 storage-mål, og hver yderligere storageserver tilføjer yderligere seks storage-mål. Derfor blev der med henblik på at teste ydeevnen for de forskellige konfigurationer oprettet storagepuljer fra 15 til 39 storagemål (trin på seks for små, små+1, små+2, mellem, mellem+1). For hver af disse puljer blev der kørt tre iterations af iozone-benchmark, hver med en til 1024 tråde (i to trin). Den anvendte testmetode er den samme som den, der er beskrevet i annonceringsblogen . Figur 3 og 4 viser henholdsvis skrive- og læseydeevnen for de skalerbare konfigurationer, hvor den maksimale ydeevne for hver af konfigurationen er fremhævet for klar reference:


 
Figur 3:  Skriveydeevne for skalerbare konfigurationer


Figur 4:  Læs ydeevnen for skalerbare konfigurationer

Bemærk:

Den nævnte lagerpulje blev kun oprettet med det eksplicitte formål at karakterisere ydeevnen for forskellige konfigurationer.  Mens du udfører ydelsesevalueringen af den mediekonfiguration, der er beskrevet i annonceringsblogen, var alle de 33 mål kun i "Standardpuljen". Outputtet fra kommandoen beegfs-ctl --liststoragepools, der er angivet nedenfor, viser tildelingen af lagringsdestinationerne:

# beegfs-ctl --liststoragepools
Pulje-ID-gruppebeskrivelse Mål for samtidsgrupper
======= ================== ============================ ============================
1 Standard 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12,
                                                 13, 14, 15, 16, 17, 18, 19, 20, 21,
22, 23, 24, 25, 26, 27, 28, 29, 30,
31, 32, 33  

---

Konklusion og fremtidigt arbejde

Denne blog diskuterede skalerbarheden af Dell EMC Ready Solutions til HPC BeeGFS Storage og fremhævede ydeevnen for sekventiel læse- og skriveoverførselshastighed for forskellige konfigurationer. Hold dig opdateret til del 3 i denne blogserie, der diskuterer yderligere funktioner i BeeGFS og vil fremhæve brugen af "StorageBench", det indbyggede storagemålbench-benchmark for BeeGFS. Som en del af de næste trin udgiver vi en hvidbog senere med metadataydeevnen, IOR N-1-ydeevneevaluering og med yderligere detaljer om designovervejelser, finindstilling og konfiguration. 

Referencer

[1] Dell EMC Ready Solutions til HPC BeeGFS-lagring:  
https://www.dell.com/support/article/sln319381/[2] BeeGFS-dokumentation: 
https://www.beegfs.io/wiki/[3] Sådan forbindes to grænseflader på samme undernet: 
https://access.redhat.com/solutions/30564[4] PCI Express Direct Memory Access Reference Design ved hjælp af ekstern hukommelse: https://www.intel.com/content/www/us/en/programmable/documentation/nik1412547570040.html#nik1412547565760