보안성 높이고 거짓 정보 생성하는 환각 현상 방지에 최적화, 프라이빗 LLM 기업용 생성 AI 표준 제시

챗GPT의 등장으로 촉발된 생성형 AI 열풍이 한창이다. 글로벌 시장조사기관 포춘 비즈니스 인사이트(Fortune Business Insights)에 따르면 글로벌 AI 시장 규모는 2022년 4280억 달러(약 573조)에서 2030년에는 2조 251억 달러(약 2,713조) 규모로 연평균 21.6% 기하급수적으로 성장할 것으로 전망했다. 

이런 추세에 글로벌 빅테크 기업에서 신흥 스타트업까지 생성형 AI의 엔진이자 핵심인 ‘거대언어모델(Large Language Model: LLM)’ 개발에 앞다투어 뛰어들고 있다. 이처럼 고성능 LLM에 대한 기업의 니즈가 급증하면서, B2B 생성형 AI 시장은 크게 ‘퍼블릭(public) LLM’과 ‘프라이빗(private) LLM’ 진영으로 양분되고 있다.

오픈AI, 구글 등 빅테크가 주도하는 퍼블릭 LLM은 생성형 AI 대중화를 이끌며 초기 시장을 선점했다. 하지만 외부 클라우드 사용으로 데이터 유출 리스크와, 잘못된 정보를 생성하는 환각 현상(할루시네이션) 등의 문제점이 불거졌다. 실제로 애플, 아마존, 삼성전자 등에서 내부 임직원들에게 챗GPT 경계령을 내리는 등 보안 이슈로 도입을 꺼리는 기업들이 생겨났다.

이에 대항마로 프라이빗 LLM이 등장하면서 기업용 시장을 파고드는 모양새다. 표현 그대로 기업의 내부 데이터만 활용해 보안성을 높이고 거짓 정보를 생성하는 환각 현상(할루시네이션) 방지에 최적화된 모델이다. 여기에 상대적으로 작은 모델 사이즈로 비용 측면에서도 각광받으며 차세대 생성형 AI 시장 대세론을 타고 있다.

프라이빗 LLM의 핵심은 보안성이다. 기업 서버에 설치하는 구축형 ‘온프레미스’(on-premises) 방식이나 전용 프라이빗 클라우드로 도입, 기업의 민감 데이터가 유출될 가능성을 전면 차단한다. 이를 통해 기업들은 LLM 도입의 최대 허들인 데이터 및 민감 정보 유출을 방지할 수 있다.

다음으로, 프라이빗 LLM은 생성형 AI의 고질적인 문제이자 현재 LLM의 최대 한계점으로 꼽히는 할루시네이션 방지에 특화된 모델이다. 프라이빗 LLM은 범용 모델과 달리 기업 내부 데이터로 학습 대상을 제한한다. 그만큼 거짓 정보를 생성할 가능성이 낮아져 사용성을 향상시킨다.

또한, 작은 사이즈로도 비용 대비 효과를 극대화한다. 프라이빗 LLM은 보통 100B (1조) 사이즈 이하의 경량 모델로, 흔히 ‘ss(small-scale) LLM’으로 불린다. 이에 비해 오픈AI의 GPT-4 매개변수(파라미터)는 5000억 개로 추산되고, 구글의 ‘제미니’는 조 단위에 이르는 등 모델 사이즈가 상당하다. 매개변수가 큰 만큼 모델 서빙 비용이 상당할 수 밖에 없는 구조다.

프라이빗 LLM은 훨씬 작은 모델 사이즈로도 성능은 빅테크에 필적한다. 예를 들어, 업스테이지는 지난 8월 700억 매개변수 모델로 글로벌 머신러닝 플랫폼 ‘허깅페이스’에서 운영하는 ‘오픈 LLM 리더보드’ 평가 순위에서 챗GPT의 기반인 GPT-3.5 성능을 뛰어넘고 세계 1위를 차지하기도 했다. 추론과 상식 능력, 언어 이해 종합능력 및 할루시네이션 방지 등 4가지 지표 평균에서 빅테크의 거대 모델을 능가한 것이다. 특히, 업스테이지는 자사의 LLM 활용 시 GPT-3.5 대비 비용은 40% 감축하고, 처리 속도는 30% 빠른 것으로 추산했다.  

이에 많은 기업들은 프라이빗 LLM의 강점을 내세운 다양한 어플리케이션으로 영토를 확장하고 있다. 일례로 세일즈포스는 최근 대화형 AI 어시스턴트 ‘아인슈타인 코파일럿’을 선보였다.

세일즈포스 데이터 클라우드에 저장된 각종 정형·비정형 데이터를 토대로 콘텐츠와 코드를 생성해 준다. 기업이 보유한 정확한 고객 데이터에 기반해 할루시네이션(환각) 현상이 적고, 데이터는 세일즈포스의 고객관계관리(CRM) 데이터 클라우드에 보관함으로써 안전성도 담보했다.

국내에서는 업스테이지가 독보적이다. 업스테이지는 최근 챗GPT를 뛰어넘은 자사의 허깅페이스 1위 모델을 기반으로 자체 LLM ‘SOLAR (Specialized and Optimized Llm and Applications with Reliability)’를 발표했다. 솔라는 이름처럼 도메인 특화와 최적화에 촛점을 맞추고 기업 데이터를 학습, 정보 유출과 환각 현상을 방지할 수 있는 프라이빗 LLM을 지향한다. 

국내 플랫폼 업계에서는 커넥트웨이브와 롯데쇼핑이 생성형 AI 도입에 적극적으로 나서고 있다. 특히 두 기업은 세계 최고 오픈 LLM 모델을 만든 업스테이지와의 협력을 통해 플랫폼 특화 생성 AI를 구축할 계획이다.

커넥트웨이브는 일찍이 업스테이지와 손잡고 국내 이커머스 업계 최초로 프라이빗 LLM 구축을 알렸다. 자사 데이터 커머스 플랫폼인 다나와와 에누리를 방문하는 소비자가 프라이빗 LLM을 통해 주관적이거나 추상적인 속성을 입력해도 원하는 상품을 손쉽게 찾고 추천받을 수 있게 하여 쇼핑 만족도를 극대화할 전망이다. 또한, 프라이빗 LLM에 자사의 쇼핑몰 제작 솔루션인 메이크샵의 데이터를 학습시켜 배송조회부터 문의 사항, 반품 상담, 리뷰 요약, 상품 카피(copy) 개발까지 자동으로 가능하게 할 예정이다.

또한, 롯데쇼핑은 업스테이지와의 생성형 AI 활용 업무협약 체결을 통해 서비스 운영 비용 절감은 물론 생산성 향상과 추가 수익 창출, 신규 사업 추진의 기반으로 활용할 청사진을 세웠다.

양사는 이미 지난 2년 간의 협업을 통해 개발한 개인화된 AI 상품 추천 서비스를 올 6월 롯데온에 도입하여 1월에 실시한 테스트 대비 구매전환율 30% 증가의 효과를 입증한 바 있다. 앞으로도 적극적으로 AI를 도입하여 차별화된 초개인화 트렌드를 선도해 디지털 혁신을 이뤄간다는 포부이다.

생성형 AI 도입을 통한 디지털 체질 개선은 이제 대세를 넘어 필수로 자리 잡는 추세다. 하지만 이를 자체 개발하기 위해서는 전문 인력 확보를 포함한 막대한 투자 비용이 필요하고, 외부의 AI 기술 도입을 고려할 때에도 데이터 보안 문제와 할루시네이션 등을 염두에 둬야 하는 것이 큰 허들이다. 자연스레 그 기반인 LLM을 구축하는 데 신중을 기할 수밖에 없는 이유다. 때문에 도메인 특화 프라이빗 LLM을 구축하는 것은 좋은 대안이 될 수 있다. 기업들은 이제 LLM을 도입할지 망설이기보다는, 어떤 LLM을 니즈에 맞게 도입해 경쟁 우위를 달성할 것인가를 고민할 때다.