LLM 고성능 훈련 코드 변경 없이 즉시 수행 가능, MosaicML 대규모 LLM을 훈련하는 AMD 인스팅트 (AMD Instinct) GPU 소개

AMD의 파트너사인 MosaicML은 새로이 게재한 당사 블로그 콘텐츠를 통해 AMD MI250 가속기에서 LLM 고성능 훈련을 코드 변경 없이 즉시 수행 가능하다고 밝혔다. 

MosaicML은 ROCm 5.7 업데이트를 통해 다중 노드 시스템 전반의 LLM 성능에서 거의 선형에 가까운 확장성을 보여주고 있다. MosaicML/Databricks의 블로그에서는 4x MI250 시스템에서 128x MI250의 클러스터급 시스템으로 확장함에 따라 트레이닝 및 토큰 성능이 거의 선형에 가깝게 증가하는 방법에 대해 자세히 다루고 있다.  

이는 AMD AI 생태계가 지속적으로 성장하고 있다는 또 다른 증거다. Lamini등의 AI 기업들은 AMD MI210 및 MI250 시스템을 기반으로 맞춤형 LLM을 미세 조정하여 배포하고 있다. 

또한 국내 기업인 Moreh는 1200개의 AMD MI250 GPU 기반의 플랫폼을 통해 약 2210억 파라미터에 달하는 언어 모델을 훈련할 수 있었다. 이 밖에도, AI2의 OLMo와 같은 오픈 소스 LLM도 AMD GPU의 대규모 클러스터를 통해 훈련되고 있다.