엔비디아 다이나모 배포 레시피, 한국 주요 오픈 모델의 프로덕션 배포 가속

엔비디아(www.nvidia.co.kr)가 SK텔레콤(SK Telecom)의 A.X K2, LG AI연구원(LG AI Research)의 K-엑사원 2.0(K-EXAONE 2.0), 업스테이지(Upstage)의 솔라 오픈 2(Solar Open 2), 모티프 테크놀로지스(Motif Technologies)의 모티프-3(Motif-3) 등 한국의 주요 오픈 모델을 위한 엔비디아 다이나모(NVIDIA Dynamo) 최적화 배포 레시피를 공개한다. 

AI 모델의 규모가 단일 GPU의 처리 용량을 넘어설 경우 여러 GPU에 걸쳐 모델을 분산해야 하며, 성능을 유지하려면 요청 라우팅과 GPU 간 통신을 정교하게 조율해야 한다. 

엔비디아 다이나모는 데이터센터 규모의 멀티노드 환경에서 AI 모델을 배포할 수 있도록 설계된 오픈소스 분산 추론 서빙 프레임워크다. 요청 라우팅과 통신을 효율적으로 처리해 추론 성능을 극대화한다. 

이번 배포 레시피는 엔비디아 B200 GPU에 최적화돼 있으며, 복잡한 배포 설정에 대한 부담을 줄이면서 기본 설정만으로도 최대 2배의 성능을 제공한다. 이를 통해 개발자들은 한국의 주요 오픈 모델을 더욱 빠르게 프로덕션 환경에 배포하고, 보다 많은 사용자가 활용할 수 있는 ‘모두의 AI’ 서비스를 개발하고 확대할 수 있다. 

여기서 엔비디아 다이나모에 대한 자세한 내용을 확인할 수 있다.