2세대 인텔 제온 스케일러블 프로세서로 딥 러닝 워크로드 개선

 HPC는 지속적으로 진화하고 있으므로 워크로드 또한 마찬가지입니다. 데이터 세트가 점점 더 커지고 복잡해짐에 따라 딥 러닝과 같은 AI 워크로드가 주목을 끌고 있습니다. 강력하고 확장 가능한 지연 HPC 시스템에서 점점 더 많은 딥 러닝 워크로드가 실행되면서 10년 전에는 상상하지 못했던 문제를 해결하고 있습니다. 생명 과학, 디지털 제조, 석유 및 가스, 금융 분야 등에서의 기존의 HPC 워크로드는 딥 러닝이 데이터에서 빠르고 정확하면서 더 의미 있는 통찰력을 창출하는 데 원동력이 되고 있습니다. 인텔은 AI 기술이 이제 HPC 워크로드의 핵심 구성 요소라는 사실을 잘 알고 있습니다. AI 모델에 대한 교육의 필요성을 강조하고, 더 중요한 것은 AI 모델에 대한 신속한 의사 결정이 가능하도록 하기 위해 인텔은 새로운^서버는 인텔® 제온® 스케일러블 프로세서 제품군을 통해 이러한 워크로드를 우선적으로 실행하고 있습니다.

2^서버는 인텔® 제온® 스케일러블 프로세서의 딥 러닝 부스트

2^서버는 인텔® 제온® 스케일러블 프로세서는 인텔® Optane™ DC 영구 메모리 배포, DRAM 속도 개선, 단정밀도 FP32와 같은 기존 명령어 집합의 처리 기능 향상, 새로운 인텔® 딥 러닝 부스트 명령어 집합을 통한 딥 러닝 워크로드의 새로운 처리 기능 등 새롭고 향상된 기능을 제공합니다.

2^서버는 인텔® 제온® 스케일러블 프로세서의 딥 러닝 부스트

딥 러닝은 조밀한 그래프에 연결된 다수의 독립 처리 장치 또는 뉴런으로 구성된 인공 신경망을 사용하여 모델을 개발하는 과정입니다. 신경망은 모든 종류의 데이터에서 알 수 없거나 예측하지 못한 패턴을 식별하는 놀라운 능력을 입증했으며, 이미지와 비디오 인식 및 분석부터 오디오 및 언어 변환, 시계열 데이터 및 변칙 탐지 분석에 이르는 다양한 영역에 적용되었습니다.

첨단 모델을 개발하기 위해 신경망을 사용하는 프로세스는 두 단계로 나뉩니다. 첫 번째는 훈련 단계로 기존 데이터를 사용하여 신경망이 패턴을 식별하는 방법을 교육하는 것이고, 두 번째는 추론 단계로 훈련된 모델이 새로운 데이터에 노출되어 적절한 의사 결정을 내리는 것입니다. 신경망 훈련 과정에 대해 수년 동안 하드웨어 및 소프트웨어 혁신에 초점을 맞추고 있는 동안 기업들은 AI의 노력에 따른 혜택을 받고 있는 것으로 보여집니다.

추론의 경우 하드웨어 요구 사항이 훈련과는 다릅니다. 훈련에는 반정밀도 또는 단정밀도 부동 소수점 산술 및 유사한 데이터의 여러 대형 벡터를 동시에 처리할 수 있는 기능이 필요합니다. 추론에는 전체 컴퓨팅 요구 사항이 훨씬 낮고 지연 시간(의사 결정 시간)에 더욱 집중되며 8비트 및 16비트 정수와 같은 낮은 정밀도 숫자 형식을 활용할 수 있습니다.

2^서버는 인텔® 제온® 스케일러블 프로세서 라인은 딥 러닝 부스트라고 하는 완전히 새로운 기능을 통해 이 두 번째(추론) 단계에 주로 초점을 맞춥니다. 인텔® 딥 러닝 부스트는 정밀도 산술(8비트 및 16 이진 정수)을 제온의 512비트 너비의 벡터 단위(AVX512)로 줄여 줍니다. 딥 러닝 부스트 지원 인텔® 제온® 프로세서는 64개의 8비트 정수(또는 32개의 16비트 정수)를 단일 하드웨어 명령어로 동시에 처리할 수 있으므로 정밀도 추론을 줄이는 데 큰 도움이 됩니다. 이 기능을 이러한 초정밀 벡터에서 FMA(Fused Multiply Add)와 같은 융합 작업을 수행하는 기능과 결합하면 시스템의 처리량이 크게 증가합니다.

Dell EMC는 인텔® 딥 러닝 부스트가 신경망 추론에 가져다 주는 실질적인 성능 개선 사항을 벤치마킹했습니다. 위 그림은 조직 내에서^서버는 인텔® 제온® 스케일러블 프로세서(인텔® 딥 러닝 부스트 탑재)를 구축하여 실현될 수 있는 개선 사항의 정도를 보여줍니다. 1^세대 인텔® 제온® 스케일러블 프로세서(코드명 "스카이레이크")는 단일 정밀도(FP32)의 ResNet-50 추론 벤치마크에서 초당 258개의 이미지를, 감소된 8비트 정수 정밀도에서는 초당 389개의 이미지를 처리할 수 있지만, 딥 러닝 부스트가 탑재된^서버는 인텔® 제온® 스케일러블 프로세서에서는 새로운 명령어가 8비트 정수 정밀도에서 초당 1,278개 이미지까지 처리하여 3배 이상 증가시킬 수 있습니다!

이것이 중요한 이유

이것이 귀하의 비즈니스에 어떤 의미를 갖습니까? AI 모델이 추론할 때마다 지금껏 경험해보지 못한 통찰력을 가지거나 워크로드를 자동화하여 의사 결정의 장애물을 없애 줍니다. 이러한 각 통찰력(장벽을 제거한 항목)은 새로운 판매, 추가 상향 판매 또는 신속한 투자 의사 결정으로 이어질 수 있습니다. 그리고 그것은 회사의 수익이 됩니다.

기업이 디지털 혁신을 추진함에 따라 데이터 중심 세계에서 경쟁력을 유지하려면 AI 및 딥 러닝을 구체적으로 활용하는 것이 매우 중요합니다. 초기 단계에는 AI 모델 훈련에 집중한 반면, 추론은 기업이 AI의 이점을 실제로 실현할 수 있는 방법입니다. 인텔 딥 러닝 부스트가 탑재된 인텔 제온 스케일러블 프로세서로 구동된 Dell EMC PowerEdge^서버는 고성능 모델 추론을 통해 비즈니스가 AI의 모든 잠재력을 실현하도록 지원합니다. 더 높은 성능은 더 나은 비즈니스 기회를 의미합니다.