LG유플러스 AI 에이전트 비용 90% 절감, ‘토큰 최적화 레시피’로 내년 사업화 추진

LG유플러스가 대규모 실전 서비스에서 검증을 마친 독보적인 ‘AI 토큰 최적화 레시피’를 무기로 내년 B2B AI 시장에 본격 출격한다. AI 에이전트의 성능을 고도화하면서도 토큰 사용 비용을 무려 90% 이상 파격적으로 낮추는 완성형 기술을 앞세워, 고비용 구조로 도입을 망설이는 기업 고객(B2B) 시장을 단숨에 선점하겠다는 전략이다. 

LG유플러스(www.lguplus.com)는 12일 기자들을 대상으로 'AI 토큰 최적화 스터디'를 개최하고, 실제 상용 환경에서 입증한 AI 비용 절감 핵심 기술과 연구 성과, 향후 사업 추진 방향을 공개했다고 밝혔다. 

이번 발표의 핵심은 LG유플러스의 기술이 이미 AI 통화 에이전트 '익시오(ixi-O)', AICC, 전사 업무 혁신AX 등 치열한 상용 및 실무 환경에서 검증해 왔고, 올 연말 카카오와 협력하는 '모두의 AI'의 상용화를 통해 축적되는 방대한 운영 데이터와 최적화 노하우를 집약해 내년부터 기업 고객의 AI 운영 비용을 낮추는 사업을 추진한다는 구상이다. 

■ 전화 AI·AICC·사내 AX로 다진 ‘실전 레시피’… “기술 검증은 끝났다, 이제는 시장이다” 

LG유플러스가 토큰 사업에서 내세우는 강점은 실제 대규모 트래픽을 운영하며 고객의 이용 패턴과 업무 특성에 맞춰 체득한 ‘AI 모델 운영 레시피’다. 

대표적인 사례가 '익시오'와 AICC로 LG유플러스는 익시오 출시 초기 LG AI연구원의 온디바이스 모델과 구글 제미나이(Gemini)를 병행 활용했으나, 지속적인 실전 튜닝을 거쳐 자체 AI 모델과 엑사원(EXAONE) 등의 비중을 정교하게 조합해 서비스 품질과 비용 효율을 동시에 끌어올렸다. 고성능 AI가 필요한 작업과 상대적으로 가벼운 작업을 구분해 처리함으로써 불필요한 비용을 줄이는 방식이다. 카카오와 함께하는 '모두의 AI'에서도 핵심인 AI 모델 운영을 전담하며 대규모 오케스트레이션 역량을 한층 고도화하고 있다. 

사내 AX에도 토큰 최적화 기술을 적용하고 있다. 특히 개발자들이 사용하는 AI 코딩 도구에 자체 AI 모델을 활용해 기존 업무 환경을 유지하면서도 AI 이용 비용을 줄이고 있어, 이미 '비용 절감 최적 공식'을 만들어 가고 있는 셈이다. 이를 통해 LG유플러스는 단순한 ‘토큰당 단가’ 인하 경쟁을 넘어, ‘고객이 AI로 하나의 업무를 완결하는 데 드는 총비용(Task Cost)’을 낮추는 데 승부수를 던졌다. 

이상엽 LG유플러스 CTO는 "AI 시장의 패권은 누가 더 큰 모델을 만드느냐를 넘어, 고객이 원하는 비즈니스 결과를 얼마나 정교하고 경제적으로 완수하느냐로 이동했다"며 "AI 에이전트가 확산될수록 모델 단가가 아무리 저렴해도 불필요한 검색과 분석을 반복하면 전체 비용은 눈덩이처럼 불어나기 때문이다"고 설명했다. 

이어 "LG유플러스는 전화 AI와 사내 AX 등 실제 현장에서 치열하게 부딪히며 완성한 최적화 기술력이야말로 누구도 쉽게 따라올 수 없는 지속 가능한 AI 사업의 핵심 해자(Moat)가 될 것"이라고 말했다. 

■ 코딩 에이전트 비용 90% 이상 절감·처리 효율 4배↑… 지능형 ‘모델 라우팅’의 위력 

LG유플러스의 기술적 완성도는 구체적인 숫자로 증명 중이다. 자체 기술 검증 결과, 토큰 소모가 가장 심한 코딩 영역에서 통상적으로 쓰는 모델 대비 LG유플러스 자체 AI 모델의 운영 비용을 약 90% 절감한 사례를 확인했다. 또한 AI 모델의 연산 처리 방식을 혁신해 동일 인프라 대비 처리 효율을 약 4배까지 끌어올렸다. 

내부 테스트에서는 모델 라우팅을 통해 일반적인 질문 처리 비용을 25% 이상, 코딩 에이전트 비용을 30% 이상 절감하는 효과를 확인했다. AI 에이전트가 업무를 수행하는 과정에서 불필요한 검색이나 검증을 반복하지 않도록 하는 기술도 개발하고 있다. AI가 같은 작업을 여러 차례 수행하지 않고 효율적으로 결과를 도출하도록 해 토큰 사용량을 줄이는 방식이다.

LG유플러스는 이 같은 기술을 결합해 AI의 답변 품질을 유지하면서도 고객이 실제 업무를 완료하는 데 필요한 전체 비용을 낮출 계획이다. 

■ 모델 크기 1/3로 줄이고 생성 속도 2배↑… 에이전트 Harness에서 Chip-Mix까지 ‘풀스택 최적화’ 

LG유플러스는 AI 모델 자체를 가볍게 만들고 답변 생성 속도를 높이는 기술에서도 성과를 확보했다. 자체 온디바이스 AI 모델 크기를 기존 2.4~3GB에서 약 3분의 1 수준인 800MB 수준으로 줄이면서도, 비교 대상 클라우드 모델 대비 95% 이상의 성능을 확보했다. 

또한 작은 모델이 답변을 빠르게 생성하고 큰 모델이 이를 검증하는 기술(Speculative Decoding 등)을 고도화해 토큰 생성 속도를 2배 이상 높였다. 이 같은 연구 성과는 세계 최고 권위의 AI 학술대회인 ‘뉴립스(NeurIPS)’에 논문 2편이 동시 채택되며 글로벌 학계에서도 기술적 완성도를 공인받았다. 

인프라 단에서는 특정 고가 칩에 종속되지 않는 Chip-Mix 전략을 지향한다. 엔비디아와 AMD의 GPU는 물론, 국산 AI 반도체 기업인 퓨리오사AI와 2년 이상 밀착 협력하며 NPU를 검증 중이다. 대규모 연산이 필요한 작업과 메모리 대역폭이 중요한 작업을 쪼개어 각각 가장 가성비가 높은 반도체에 분산 처리함으로써 인프라 원가 자체를 낮추는 구조다. 내부 실전 검증과 글로벌 학계 검증을 기반으로 LG유플러스는 협력사와의 제휴형 모델 및 자체 인프라 구축 방식을 통해, 내년부터 본격적으로 B2B 기업 고객들의 AI 비용 고민을 해결하는 토큰 사업을 전개할 방침이다. 

이상엽 CTO는 "LG유플러스의 토큰 최적화는 이론적 효율화를 넘어, 이미 수많은 실전 서비스에서 검증을 끝낸 즉시 전력감 기술"이라며 "글로벌 수준의 모델 경량화·추론 기술과 AI 업무 수행 궤적을 반영한 운영 레시피를 결합해, 내년부터 기업 고객들이 가장 합리적인 비용으로 최고의 AI 성과를 낼 수 있도록 시장을 주도해 나가겠다"고 포부를 밝혔다.