최신 Dell EMC 스토리지를 사용한 NFS 스토리지 솔루션 – 성능 결과(영문)
Summary: HPC 고성능 컴퓨팅, HPC 및 AI 혁신 연구소, HPC 스토리지, HPC 스토리지 솔루션, NFS 스토리지 솔루션, XFS 스토리지, NFS 스토리지, 스토리지 솔루션, RHEL7, RHEL7.5,IB EDR 스토리지, NSS, NSS-HA, NSS7.3, NSS7.3-HA, IOZone, MDTest
Symptoms
작성자: Mario Gallegos 및 Xin Chen, HPC 및 AI Innovation Lab, 2018년 10월
Resolution
개요
최신 Dell EMC Ready Solution for HPC NSS(NFS Storage) with High Availability(NSS-HA 솔루션) 버전은 NSS7.3-HA이며 이번 달 말에 릴리스될 예정입니다.이 NSS 릴리스는 새로운 Dell EMC PowerVault ME4084 스토리지 어레이 와 Red Hat Enterprise Linux 7.5를 통합하고 인텔 제온 스케일러블 프로세서 제품군 CPU(아키텍처 코드명 Skylake)를 계속 사용하여 이전 NSS-HA 솔루션보다 전반적으로 더 높은 시스템 성능을 제공합니다. 이 블로그에서는 최신 버전의 NSS 솔루션에 대한 I/O 성능 테스트 결과를 제공합니다.
그림 1 은 NSS7.3-HA 구성의 설계를 보여줍니다. NSS7.3-HA와 이전 제품인 NSS7.2-HA의 주요 차이점은 다음과 같습니다.
- 백엔드 스토리지 어레이:
- NSS7.2-HA를 사용합니다. PowerVault MD3460 + MD3060e 옵션(60개 또는 120개 HDD)
- NSS7.3-HA를 사용합니다. PowerVault ME4084(HDD 84개)
- 운영 체제:
- NSS7.2-HA를 사용합니다. RHEL 7.4
- NSS7.3-HA를 사용합니다. Red Hat® Enterprise Linux® 7.5
NSS7.2-HA 및 NSS7.3-HA의 또 다른 주요 개선 사항은 최대 용량이 크게 증가한 것입니다. NSS7.2-HA는 Red Hat XFS의 현재 지원 제한인 500TB로 제한되지만 Dell EMC와 Red Hat은 연구실에서 광범위한 테스트와 검증을 거친 후 최대 768TB의 가용 공간을 가진 NSS7.3-HA 구성을 지원하는 협력 합의에 도달했습니다. 즉, 12TB HDD 또는 1008TB의 물리적 스토리지 공간으로 완전히 채워진 Dell EMC PowerVault ME4084입니다.
NSS-HA 아키텍처
그림 1은 클라이언트와 공용 네트워크 스위치를 포함하는 일반적인 테스트 베드에 내장된 점선 사각형 내부의 NSS 7.3 아키텍처를 보여줍니다.그림 1. NSS7.3-HA 1008TB 원시 공간(768TB 사용 가능) 아키텍처 및 테스트 베드
다음 표에는 새로운 NSS HA 7.3 솔루션의 다양한 구성 요소가 요약되어 있습니다.
| NSS7.2-HA 릴리스(2018년 4월) |
NSS7.3-HA 릴리스(2018년 10월) |
|
| 소프트웨어 |
Red Hat Enterprise Linux 7.4, Red Hat XFS(Scalable File System) v4.5.0-12 |
Red Hat Enterprise Linux 7.5, Red Hat XFS(Scalable File System) v4.5.0-15 |
| NFS 서버 |
Dell PowerEdge R740 서버 2대. |
|
| 외부 네트워크 연결 |
EDR InfiniBand, 10GbE 또는 인텔 Omni-Path. |
|
| 내부 연결 |
기가비트 이더넷, 스위치 Dell Networking S3048-ON |
|
| OFED 버전 |
Mellanox OFED 4.3-1.0.1.0 |
Mellanox OFED 4.4-1.0.0 |
| 직접 스토리지 연결 |
12Gbps SAS 연결. |
|
| 스토리지 서브시스템 |
Dell EMC MD3460 + 옵션 MD3060e. 60 – 120 – 3.5" NL SAS 4TB 드라이브. |
Dell EMC PowerVault ME4084 3.5" NL SAS 드라이브 84개, 최대 12TB |
새로운 PowerVault ME4084 스토리지는 선형 8+2 RAID 6을 기본 구성 요소로 계속 사용하며, 새로운 청크 크기(세그먼트 크기)는 128KiB이고 최적의 성능을 위해 미리 읽기 값은 "스트라이프 크기"로 선택합니다. 또한 현재 84개의 드라이브가 있으므로 RAID 6을 기반으로 하는 8개의 LUN과 장애가 발생한 디스크를 즉시 교체하도록 구성된 4개의 전역 스페어 HDD가 있습니다. 즉, 이 솔루션은 최대 768TB의 가용 공간을 가질 수 있습니다.
NSS7.3-HA I/O 성능
이 블로그에서는 현재 NSS-HA 솔루션, 즉 NSS7.3에 대한 I/O 성능 테스트 결과를 제공합니다. 모든 성능 테스트는 솔루션의 최대 용량을 측정하기 위해 HA 오류 없는 시나리오에서 수행되었습니다. 테스트는 세 가지 유형의 I/O 패턴, 즉 대규모 순차적 읽기 및 쓰기, 소규모 임의 읽기 및 쓰기, 세 가지 메타데이터 작업(파일 생성, 상태 및 제거)에 중점을 두었습니다.
벤치마킹 테스트를 위한 워크로드를 생성하는 데 32노드 컴퓨팅 클러스터가 사용되었습니다. 클라이언트와 1008TB(물리적 스토리지 크기) NSS 구성은 InfiniBand EDR을 사용하여 연결되었으며 파일 시스템은 IPoIB를 통해 마운트되었습니다. 각 I/O 벤치마크 테스트는 솔루션의 확장성을 테스트하기 위해 다양한 클라이언트에서 실행되었습니다. 사용된 클라이언트에 대한 세부 정보가 다음 표에 나와 있습니다.
| 서버 모델 | PowerEdge C6420 |
| 서버 수 | 32개 서버 클러스터 |
| CPU | 인텔(R) 제온(R) 골드 6148 CPU @ 2.40GHz |
| RAM | 192GiB |
| 운영 체제 | Red Hat Enterprise Linux Server 릴리스 7.4 |
| 커널 | 3.10.0-693.17.1.el7.x86_64 |
| 네트워크 어댑터 | Mellanox ConnectX-4 VPI IB EDR/100GbE 싱글 포트 QSFP28 |
| OFED 버전 | MLNX_OFED-4.3.1.0.1.0 |
본 연구에서는 IOzone 및 MDtest 벤치마크를 사용했다. IOzone 은 순차 및 랜덤 테스트에 사용되었습니다. 순차 테스트의 경우 1024KiB의 요청 크기가 사용되었습니다. 전송된 총 데이터 양은 256GiB였으며 NFS 서버 캐시가 포화 상태가 되었습니다. 무작위 테스트에서는 4KiB 요청 크기를 사용했으며 각 클라이언트는 4GiB 파일을 읽고 썼습니다. 메타데이터 테스트는 OpenMPI와 함께 MDtest 벤치마크를 사용하여 수행되었으며 파일 생성, 상태 및 제거 작업이 포함되었습니다. (테스트에 사용된 전체 명령은 NSS7.0-HA 백서 의 부록 A를 참조하십시오.)
IPoIB 순차적 쓰기 및 읽기
그림 2와 3은 순차적 쓰기 및 읽기 성능을 보여줍니다. 테스트 클러스터에는 32개의 노드가 있으므로 각각 2개의 스레드를 실행하는 32개의 클라이언트를 사용하여 64개의 스레드 데이터 포인트를 얻었습니다.NSS7.3-HA의 경우 최대 읽기 성능은 7GB/초이고 최대 쓰기 성능은 거의 5GB/초입니다. 두 그림에서 현재 NSS7.3-HA 솔루션의 순차 성능 수치가 이전 버전보다 더 높다는 것을 알 수 있습니다. 읽기 성능이 최대 18.7% 향상되었지만 쓰기 성능은 특히 이전 솔루션보다 최대 2.65배(16개 스레드 기준) 향상되었습니다. 최고 성능 값을 비교하면 NSS7.3-HA의 쓰기는 2.13배 더 빠르며 읽기는 12.5% 더 우수합니다.
이는 부분적으로는 HDD를 포함한 모든 PowerVault ME4084 내부 구성 요소에서 SAS 내부 속도가 12Gbps로 높아 LUN당 처리량이 높아졌고(PowerVault MD3460은 6Gbps였음) 이전 세대의 PowerVault MD3보다 더 빠르게 정보를 처리할 수 있는 새로운 스토리지 컨트롤러 덕분이기도 합니다.
그림 2 IPoIB 대규모 순차적 쓰기 성능
그림 3 IPoIB 대규모 순차적 읽기 성능
IPoIB 랜덤 쓰기 및 읽기
그림 4와 그림 5는 랜덤 쓰기 및 읽기 성능을 보여줍니다.그림에서 랜덤 쓰기는 32개 스레드에서 최대 성능을 달성하는 반면 이전 버전의 솔루션은 64개 스레드에서 최고조에 달했습니다. 랜덤 읽기 성능은 NSS7.3에서 최대 32개 클라이언트까지 꾸준히 향상되며 이전 솔루션의 경우 최대 16개 클라이언트였습니다. 이번에도 새로운 스토리지는 이전 모델에 비해 최대 3.44배 향상된 쓰기 성능(2스레드)과 85% 높은 읽기 성능(32스레드)으로 이전 모델에 비해 탁월한 성능을 보여줍니다. 최고 성능을 비교해 보면 랜덤 쓰기의 경우 약 13%, 랜덤 읽기의 경우 85%의 차이가 있습니다. 이러한 개선은 주로 PowerVault MD3460 컨트롤러에 비해 처리 능력이 더 빠른 새로운 PowerVault ME4084 컨트롤러 덕분입니다.
그림 4: IPoIB 랜덤 쓰기 성능
그림 5 IPoIB 랜덤 읽기 성능
IPoIB 메타데이터 작업
그림 6, 그림 7 및 그림 8은 각각 파일 생성, 상태 및 제거 작업의 결과를 보여줍니다. HPC 컴퓨팅 클러스터에는 32개의 컴퓨팅 노드만 있으므로 아래 그래프에서 각 클라이언트는 최대 32개의 클라이언트 수에 대해 최대 하나의 스레드를 실행했으며 64, 128, 256 및 512의 스레드 수에 대해 각 클라이언트는 2, 4, 8 또는 16개의 동시 작업(스레드)을 실행했습니다.파일 생성의 경우 이전 솔루션과 비교하여 새 솔루션은 32개 클라이언트에서 최대 차이(208%)로 약 2배의 지속적인 성능 향상을 보인 다음 약간 감소하지만 256개 스레드에서 두 솔루션의 최대 성능을 비교하더라도 새 솔루션이 30% 더 빠릅니다.
통계 작업은 새로운 스토리지에서 가장 많이 개선되었으며, 256개 스레드에서 이전 스토리지의 7.7배까지 향상되었으며 최대 성능을 비교하면 NSS7.3은 이전 버전의 NSS보다 초당 통계 작업 수가 거의 6배 더 많음을 보여줍니다.
마지막으로, 제거 작업은 이전 솔루션보다 성능이 33% 이상 향상된 대부분의 데이터 포인트로 비교적 약간의 개선이 있습니다. 성능이 2.21배 더 나은 128개 스레드를 제외하고. 최고 성능을 발휘하는 새 스토리지는 이전 NSS 시스템에 비해 거의 55% 더 높은 성능을 달성합니다.
이러한 모든 향상은 SAS3 속도(12Gbps)를 사용하는 더 빠른 HDD와 더 높은 IOPS 및 대역폭을 지원하는 새로운 PowerVault ME4084 컨트롤러 덕분입니다.
그림 6. IPoIB 파일 생성 성능
그림 8. IPoIB 파일 제거 성능
결론 및 향후 작업
솔루션의 여러 세대에 걸쳐 NSS-HA 솔루션은 고가용성, 고성능 및 더 큰 스토리지 용량을 지속적으로 제공하기 위해 많은 하드웨어 및 소프트웨어 업데이트를 거쳤습니다. 이러한 모든 버전에서 NSS-HA 솔루션 제품군의 핵심 아키텍처 설계는 변경되지 않았습니다. NSS7.3-HA와 이전 릴리스(NSS7.2-HA) 간의 성능 차이를 보여주기 위해 두 솔루션의 성능 수치를 대조하여 PowerVault ME4084를 기반으로 하는 최신 버전 솔루션의 우수한 성능을 보여주었습니다.
- 순차적 쓰기 속도 최대 2.65배, 읽기 성능 최대 18.7% 향상
- 최대 3.44배의 랜덤 쓰기 및 최대 85% 더 빠른 랜덤 읽기 성능을 제공합니다.
- 생성 속도의 최대 2.1배, 능력치 7.7배, 제거 속도의 2.2배.
다음 단계는 인텔 Omni-Path 어댑터와 연결된 NSS7.3-HA 솔루션을 특성화하는 것입니다. NSS-HA 솔루션에 대한 자세한 내용은 Dell Technologies에서 발행한 백서를 참조하십시오.
- 2011년 4월에 게시된 Dell HPC NFS Storage Solution High Availability Configurations, 릴리스 버전 NSS2-HA
- 2012년 2월에 게시된 Dell HPC NFS Storage Solution High Availability Configurations with Large Capacities, 릴리스 버전 NSS3-HA.
- Dell PowerEdge 12세대 서버를 사용한 Dell NSS-HA(HPC NFS Storage Solution High Availability) 구성, 릴리스 버전 NSS4-HA, 2012년 7월 발표.
- 2013년 5월 릴리스 버전 NSS4.5-HA가 업데이트된 Dell PowerVault MD3260/MD3060e 스토리지 어레이를 사용한 Dell HPC NFS 스토리지 솔루션 - 고가용성(NSS-HA) 구성.
- Dell HPC NFS 스토리지 솔루션 - 고가용성 NSS5-HA 구성, 릴리스 버전 NSS5.0-HA, 2013년 9월에 게시됨.
- 2013년 9월에 발표된 Dell PowerVault MD3460 및 MD3060e 스토리지 어레이를 사용한 Dell HPC NFS 스토리지 솔루션 - 고가용성(NSS5.5-HA) 구성, 릴리스 버전 NSS5.5-HA.
- Dell HPC NFS 스토리지 솔루션 - Dell PowerEdge 13세대 서버의 고가용성(NSS6.0-HA) 구성, 릴리스 버전 NSS6.0-HA, 2014년 11월에 게시했습니다.
- Dell HPC NFS 스토리지 솔루션 - 고가용성(NSS7.0-HA) 구성, 릴리스 버전 NSS7.0-HA, 2016년 5월에 게시했습니다.
참고: 맞춤 구성된 구성/배포의 경우 Dell EMC 담당자에게 문의하여 구체적인 지침을 확인하십시오.