AMD AI 작업 성능 개선한 MI300X GPU, MLPerf 첫 벤치마크 결과 공개

AMD가 8월 28일 (미국 동부 시각 기준), AI 관련 개방형 컨소시엄인 ML커먼즈(MLCommons)의 웹사이트를 통해 AMD 인스팅트(AMD Instinct™) MI300X GPU를 사용한 ML퍼프(MLPerf)의 첫 벤치마크 결과를 공개했다.  

제출 가능한 벤치마크 유형에는 ML퍼프 인퍼런스: 데이터센터(MLPerf Inference: Datacenter), ML퍼프 트레이닝(MLPerf Training), 2024년 도입된 최첨단 대규모 젠AI(GenAI) 언어 모델인 라마 2 70B(Llama 2 70B) 등이며, AMD는 이들 중 널리 사용되는 LLM인 라마 2 70B를 채택했다.

AMD의 ML퍼프 인퍼런스 v4.1 테스트 결과는 라마 2 70B 관련해 다음과 같은 3가지 주요 정보를 제공한다.

AI 작업을 위해 시중에서 판매되는 AMD CPU및 GPU의 최상의 조합

MI300X의 대용량 메모리(192GB)를 통해 단일 MI300X GPU로 전체 라마 2 70B 모델 실행 가능(대다수의 경쟁 GPU는 여러 가속기로 분할해 실행해야 함)

AMD의 차세대 CPU를 통한 AI 작업 성능 개선

AMD의 ML퍼프 4.1 인퍼런스 테스트 결과는 ROCm를 기반으로 한 MI300X이 라마 2 70B와 같은 대규모 LLM에 대해 뛰어난 추론 성능을 제공함을 증명했으며, 라마 2 70B LLM이 포함된 엔비디아(Nvidia)의 H100과 같은 경쟁 제품의 테스트 결과에 대한 비교도 제공한다.

보다 자세한 내용은 AMD 공식 블로그를 통해 확인할 수 있다.