미디어그룹사람과숲 ‘Open Ko-LLM’ 리더보드 7B 초과부문 1위 수상

미디어그룹사람과숲(이하 사람과숲, 대표 한윤기)이 한국지능정보사회진흥원(이하 NIA)과 업스테이지가 주관하는 ‘Open Ko-LLM’ 리더보드에서 11월, 이달의 LLM(7B 초과부문)을 수상했다. 

‘Open Ko-LLM’ 리더보드는 한국어로 구축한 LLM 성능을 경쟁하고 평가해 순위를 매기는 플랫폼으로, 한국어 LLM 모델을 △추론능력 △상식능력 △언어이해능력 △환각방지능력 △한국어 상식생성능력 등 5가지 기준으로 평가해 순위를 매기도록 돼 있다. 해당 리더보드 출시 두 달여 만에 630개가 넘는 한국어 LLM 모델들이 경쟁 중이며, 대기업부터 스타트업까지 치열한 경쟁에 속속 뛰어들고 있다.

이날 ‘11월, 이달의 LLM(7B 초과부문)’을 수상한 모델 ‘HumanF-MarkrAI / COKAL-DPO-13b-v2’는 사람과숲이 마커 사와 공동 개발한 모델로, Llama-2를 베이스 모델로 한 한국어 파인튜닝 버전인 ‘beomi/llama-2-koen-13b’를 사용해 개발됐다. 해당 모델은 치열한 경쟁 속에도 5개 분야 평균 점수 52.69를 달성했으며, 사람과숲은 9월 27일 리더보드 오픈부터 현재까지 대부분의 기간 1위를 유지하는 성과를 거뒀다. 이날 시상식에 참여한 한윤기 대표는 리더보드가 오픈되기 전부터 이미 한국형 LLM 모델 연구 개발을 기획하고 연구 개발에 꾸준히 투자해왔으며, 끊임없이 연구 개발에 매진하고 있기에 얻은 성과라고 밝혔다.

시상식은 12월 11일 NIA 서울사무소에서 NIA 황종성 원장, 이용진 본부장, 업스테이지 최홍준 부사장 등 국내 한국형 LLM 개발을 주도하는 관계자들이 모여 진행됐다.