기업 맞춤형 프라이빗 모델 구축 LLM 플랫폼 ‘라미니’, AMD 인스팅트 하드웨어 및 소프트웨어 기술 지원

AMD가 기업 맞춤형 프라이빗 모델을 구축할 수 있는 LLM (Large Language Model, 거대 언어 모델) 플랫폼 ‘라미니(Lamini)’의 블로그 게시물을 게재했다. 이번 게시물을 통해 라미니는 전체 LLM 소프트웨어 스택이 AMD 인스팅트(AMD Instinct) 하드웨어 및 AMD 소프트웨어로 구축 및 훈련됐다고 전했다.  

기업용 LLM에 대한 높은 수요에도 불구하고 대다수 기업들은 LLM 전문성 부족 등으로 인해 실제 활용에 많은 어려움을 겪고 있습니다. 라미니는 지난 1년간 AMD 인스팅트 그래픽 카드를 통해 LLM을 구동해 왔으며 기업 고객으로부터 최고 수준의 성능에 대한 평가를 받았습니다. 또한, 기업들이 단 세 줄의 코드만으로 AMD 인스팅트 GPU에서 프로덕션 지원 LLM을 손쉽게 실행할 수 있는 방법을 제공합니다. 

라미니 CEO 샤론 주(Sharon Zhou)는 “기존 소프트웨어들과 동일하게 LLM IP를 소유하고 쉽게 사용할 수 있어야 한다”며 “AMD 인스팅트 GPU를 활용해 리드타임을 최소화하고 새로운 기회를 만들어 낼 수 있게 되어 기쁘다”고 밝혔습니다. 

라미니 CTO 그렉 다이아모스(Greg Diamos)는 “AMD ROCm은 라미니 소프트웨어를 사용해 LLM 용 쿠다(CUDA)와 소프트웨어 패리티(software parity)를 달성했다”며 “라미니 시스템에 인스팅트 MI250을 채택함으로써 고객들이 요구하는 대형 모델을 구동하고 최적화된 미세 조정 기능을 제공한다. MI250의 대형 HBM 용량(128GB)을 사용해 보다 확장된 모델과 A100 클러스터 대비 단순화된 소프트웨어를 선보인다”고 전했습니다. 

또한, 라미니 파트너사 iFIT CTO 체이스 브래머(Chase Brammer)는 “라미니 시스템과 이를 통해 제공되는 엔터프라이즈 LLM을 통해 엔지니어링팀에서 손쉽게 LLM 기능을 구축했다”며 “AMD 인스팅트 하드웨어를 활용해 몇 줄만의 코드만으로 빠르게 시스템을 구축하고 작업을 이어갈 수 있었다”고 밝혔습니다. 

라미니 블로그 게시물 관련 세부적인 내용은 공식 웹사이트를 통해 확인하실 수 있습니다.