Dell Ready Solutions for HPC BeeGFS 스토리지의 확장성

용량 또는 성능 또는 둘 다 측면에서 Dell BeeGFS 고성능 스토리지 솔루션을 확장하는 방법은 무엇입니까?

해결 방법 섹션의 정보를 참조하십시오.

목차

1. 소개
2. 기본 구성
3. BeeGFS 가용 공간 계산
4. 확장 가능한 구성
5. 성능 특성화
6. 결론 및 향후 작업
    

---

소개

이 블로그에서는 최근에 발표된 Dell EMC Ready Solutions for HPC BeeGFS Storage 의 확장성에 대해 설명합니다.  BeeGFS 아키텍처는 관리 서비스, 메타데이터 서비스, 스토리지 서비스 및 클라이언트 서비스의 네 가지 주요 서비스로 구성됩니다. BeeGFS의 경우 역할과 하드웨어가 긴밀하게 통합되지 않기 때문에 이러한 4가지 주요 서비스(모두 포함)를 동일한 서버에서 실행할 수 있습니다.  "하이퍼 컨버지드 솔루션"에서 4개의 서비스는 모두 동일한 서버에서 실행됩니다. 클라이언트 애플리케이션은 일반적으로 스토리지 서비스의 성능에 영향을 미칠 수 있는 리소스를 사용하므로 성능이 중요한 환경에는 이 구성을 권장하지 않습니다. Dell EMC 솔루션은 전용 스토리지 서버와 이중 용도의 메타데이터 및 스토리지 서버를 사용하여 확장 가능한 고성능 스토리지 솔루션을 제공합니다. 기존 시스템에 스토리지 서버를 추가하여 시스템을 확장할 수 있습니다. 이 블로그에서는 다양한 수의 스토리지 서버가 포함된 구성과 이러한 구성에서 기대할 수 있는 성능을 제공합니다.

---

기본 구성

고성능 스크래치 파일 시스템을 제공하도록 설계된 BeeGFS 스토리지 솔루션은 다음과 같은 하드웨어 구성 요소를 사용합니다.

• Management Server
  • R640, 듀얼 인텔 제온 골드 5218 2.3GHz, 16코어, 96GB(12개의 8GB 2666MT/s RDIMM), 6개의 15k RPM 300GB SAS, H740P
• 메타데이터 및 스토리지 서버
  • R740xd, 2개의 인텔 제온 플래티넘 8268 CPU@ 2.90GHz, 24코어, 384GB(12개의 32GB 2933MT/s RDIMM)
  • OS용 RAID 1에 2개의 240GB M.2 SATA SSD를 탑재한 BOSS 카드
  • 24x, 인텔 1.6TB, NVMe, 혼합 사용 Express Flash, 2.5 SFF 드라이브, 소프트웨어 RAID

관리 서버는 BeeGFS 모니터링 서비스를 실행합니다. 메타데이터 서버는 NUMA 0 존에 있는 12개의 드라이브를 사용하여 MDT(MetaData Targets)를 호스팅하고, 나머지 12개의 드라이브는 NUMA 1 존에서 ST(Storage Target)를 호스팅합니다. 전용 메타데이터 서버는 BeeGFS 메타데이터에 대한 스토리지 용량 요구 사항이 매우 작기 때문에 사용되지 않습니다. 메타데이터와 스토리지 타겟 및 서비스는 별도의 NUMA 노드에서 격리되므로 워크로드를 상당한 분리가 가능합니다. 구성에 사용되는 스토리지 서버에는 NUMA 존당 3개의 스토리지 서비스가 실행되며 서버당 총 6개가 있습니다. 자세한 내용은 발표 블로그를 참조하십시오. 그림 1은 Dell EMC HPC and AI Innovation Lab에서 테스트 및 검증된 2가지 기본 구성을 보여줍니다.

그림 1: 기본 구성

소규모 구성은 3개의 R740xd 서버로 구성됩니다. 총 15개의 스토리지 타겟이 있습니다. 중간 구성에는 6개의R740xd 서버가 있으며 총 33개의 스토리지 타겟이 있습니다. 사용자는 "소형" 구성으로 시작하거나 "보통" 구성으로 시작할 수 있으며 필요에 따라 스토리지 또는 메타데이터 서버를 추가하여 스토리지 공간과 전반적인 성능 또는 파일 및 메타데이터 성능의 수를 늘릴 수 있습니다. 표 1은 Dell EMC HPC and AI Innovation Lab에서 광범위하게 테스트 및 검증된 기본 구성의 성능 데이터를 보여줍니다.

표 1: 기본 구성의 용량 및 성능 세부 정보

 

---

BeeGFS 가용 공간 계산

예상 가용 공간은 다음 공식을 사용하여 TiB에서 계산됩니다(대부분의 툴은 바이너리 단위로 가용 공간을 표시하기 때문에).

TiB의 BeeGFS 가용 공간= (0.99* TB 드라이브* 크기 *(10^12/2^40)

위의 공식에서 0.99는 파일 시스템에서 1%의 오버헤드가 있다고 보수적으로 가정하여 얻은 요인입니다.  스토리지용 드라이브 수에 도달하는 경우 MDS에서 12개의 드라이브도 포함됩니다. 이는 MDS에서 NUMA 존 0의 12개 드라이브가 메타데이터에 사용되고 NUMA 존 1의 드라이브 12개는 스토리지에 사용되기 때문입니다. 수식 10^12/2^40의 마지막 요소는 가용 공간을 TB에서 TiB로 변환하는 것입니다.

---

확장 가능한 구성

BeeGFS 고성능 스토리지 솔루션은 유연성을 제공하도록 설계되었으며 아래와 같이 서버를 추가하여 성능 및/또는 용량을 쉽고 원활하게 확장할 수 있습니다.

표 2: 확장 구성의 용량 및 성능 세부 정보

 

---

성능 특성화

스토리지 풀을 생성하여 다양한 구성의 성능을 테스트했습니다. 소규모 구성에는 15개의 스토리지 타겟이 있으며 각 추가 스토리지 서버는 6개의 스토리지 타겟을 추가합니다. 따라서 다양한 구성의 성능을 테스트하기 위해 스토리지 풀이 15개에서 39개 스토리지 타겟으로 생성되었습니다(소형, 소형+1, small+2, medium, medium+1의 경우 6개씩 증가). 이러한 각 풀에 대해 각각 1~1,024개의 스레드(2개의 증분)로 3번의 iozone 벤치마크 반복이 실행되었습니다. 도입된 테스트 방법론은 발표 블로그 에 설명된 것과 동일합니다. 그림 3과 4는 각각 확장 가능한 구성의 쓰기 및 읽기 성능을 보여 줍니다. 각 구성의 최대 성능은 즉시 참조할 수 있도록 강조 표시되어 있습니다.


 
그림 3:  확장 가능한 구성


의 쓰기 성능그림 4:  확장 가능한 구성

의 성능 보기참고:

언급된 스토리지 풀은 서로 다른 구성의 성능을 특성화하기 위한 명시적 목적으로만 생성되었습니다.  발표 블로그에 자세히 설명된 중간 구성의 성능 평가를 수행하는 동안 33개 대상은 모두 "기본 풀"에만 있었습니다. 아래에 제공된 beegfs-ctl --listtoragepools 명령의 출력은 스토리지 타겟의 할당을 보여줍니다.

# beegfs-ctl --listtoragepools
Pool ID Pool Description Targets Buddy Groups
======= ================== ============================ ============================
1 Default 1,2,3,4,5,6,7,8,9,10,11,12,
                                                 13,14,15,16,17,18,19,20,21,
22,23,24,25,26,27,28,29,30,
31,32,33  

---

결론 및 향후 작업

이 블로그에서는 Dell EMC Ready Solutions for HPC BeeGFS 스토리지의 확장성에 대해 설명하고 다양한 구성에서 순차 읽기 및 쓰기 처리량의 성능을 강조했습니다. BeeGFS의 추가 기능에 대해 논의하고 BeeGFS의 기본 제공 스토리지 타겟 벤치마크인 "StorageBench"의 사용을 강조할 이 블로그 시리즈의 3부를 계속 살펴보십시오. 다음 단계의 일환으로 메타데이터 성능, IOR N-1 성능 평가 및 설계 고려 사항, 튜닝 및 구성에 대한 추가 세부 정보와 함께 나중에 백서를 게시할 예정입니다. 

참조

[1] Dell EMC Ready Solutions for HPC BeeGFS Storage:  
https://www.dell.com/support/article/sln319381/[2] BeeGFS 설명서: 
https://www.beegfs.io/wiki/[3] 동일한 서브넷에 두 인터페이스를 연결하는 방법: 
https://access.redhat.com/solutions/30564[4] 외부 메모리를 사용한 PCI Express Direct 메모리 액세스 참조 설계: https://www.intel.com/content/www/us/en/programmable/documentation/nik1412547570040.html#nik1412547565760