클레온, 엔비디아 GTC 2024에서 획기적인 디지털 휴먼 기술 공개

디지털 휴먼 기술 분야의 선두주자인 클레온(www.klleon.io, 대표 진승혁)이 2024년 3월 18일부터 21일까지 진행되는 글로벌 AI 컨퍼런스인 ‘엔비디아 GTC’에서 최신 혁신 기술을 공개한다. 

이번에 공개하는 기술은 인간과 같은 다양한 감정을 표현하고 대화가 가능한 ‘디지털 휴먼’으로, 엔비디아 기술을 기반으로 2년 이상 진행한 연구 개발의 결과물이다. 이 기술은 2024년 상반기 출시 예정인 클레온의 실시간 대화형 디지털 휴먼 채팅 솔루션인 ‘크리챗(www.crechat.io)’에 적용된다. 크리챗은 유명인 IP와 클레온의 기술을 결합한 디지털 휴먼과 사용자와 음성 및 영상을 통해 실제와 같은 대화를 나눌 수 있는 앱이다.

클레온은 감정 데이터를 기반으로 자연스러운 표정과 움직임 구현에 주력하며 디지털 휴먼 기술의 선두에 서 왔다. 클레온은 특히 엔비디아 A2F (Audio2Face) 애플리케이션을 활용해 디지털 휴먼의 미묘한 감정 표현을 구현하는 데 성공했으며, 이외에도 엔비디아의 최첨단 GPU와 전문 기술을 활용해 이 분야에서 상당한 발전을 이뤘다.

클레온은 기술 발전을 통한 산업 혁신적인 스타트업 육성 프로그램인 ‘엔비디아 인셉션’의 멤버이기도 하다. 이 프로그램은 클레온의 감정 데이터를 기반으로 다양한 표정과 움직임을 표현하는 디지털 휴먼 개발을 위한 연구, 리소스 및 협업 혁신을 지원하고 있다.

사진 한 장과 30초 분량의 음성 데이터로 디지털 휴먼을 생성하는 클레온의 핵심 기술은 생성 AI 분야에서의 중요한 도약을 의미한다. 지난해 11월 클레온은 세계 최초로 ‘헤드스왑’ 기술을 상용화해 이를 자체 개발한 디지털 휴먼 영상 제작 솔루션인 ‘클론’에 완벽하게 통합하는데 성공했다. 헤드스왑은 사람의 얼굴을 포함한 전체 두상 이미지를 원하는 대상의 두상으로 교체하는 기술이다.

클레온 ‘헤드 스왑’ 기술의 핵심은 단 한 장의 얼굴 사진만으로 얼굴형, 머리카락, 피부 질감까지 얼굴 특징과 구조를 자동 인식하고, 이 정보를 바탕으로 고도의 정밀한 디지털 휴먼을 생성한다는 점이다. 이를 통해 디지털 휴먼 제작 시간과 비용을 크게 줄일 수 있다.

클레온이 엔비디아 GTC에서 그간의 연구 결실을 공개할 준비를 하면서 업계의 기대감이 커지고 있다. 엔터테인먼트, 교육, 상담 등 감정 표현이 가능한 디지털 휴먼에 대한 시장성은 점점 더 확대되고 있으며, 잠재력은 무궁무진하다.

강지수 클레온 CRO는 “엔비디아 기술 기반의 개인화된 디지털 휴먼 구현은 단순 기술 개발의 수준이 아니라 업계를 선도하는 기업임을 보여주는 것”이라며 엔비디아와의 2년여 간의 연구 여정에 자부심을 드러냈다.