엔비디아 AI 아바타, 토이 젠슨으로 연말 인사 전해

엔비디아(www.nvidia.co.kr, CEO 젠슨 황)가 AI 기반 아바타인 토이 젠슨(Toy Jensen, 이하 TJ)이 부르는 징글 벨 공연 영상을 통해 연말 인사를 보내왔다.  

엔비디아 옴니버스 아바타 클라우드 엔진(NVIDIA Omniverse Avatar Cloud Engine(ACE))으로 만든 TJ

엔비디아 창립자 겸 CEO인 젠슨 황(Jensen Huang)은 AI 기반 아바타인 TJ의 도움을 받아 유쾌한 연말 테마 공연을 선보였다. 엔비디아의 크리에이티브 팀은 엔비디아 옴니버스 아바타 클라우드 엔진 플랫폼의 핵심 기술을 보여주는 기술 데모인 TJ의 연말 공연을 신속하게 개발했다. 

옴니버스 ACE는 개발자가 멋진 대화형 아바타를 쉽게 구축, 사용자 지정, 배포할 수 있는 클라우드 네이티브 AI 마이크로서비스와 워크플로의 모음이다. 현재의 아바타 개발은 전문 지식과 장비, 수작업 집약적인 워크플로가 필요하다. 이와 달리 옴니버스 ACE는 옴니버스 플랫폼 및 엔비디아의 UCF(Unified Compute Framework)를 기반으로 구축되어, 최소한의 코딩으로 AI 파이프라인을 빠르게 생성하고 구성할 수 있다. 

엔비디아의 기술 프로그램 매니저인 사이러스 호그(Cyrus Hogg)는 “옴니버스 ACE는 정말 놀라운 기술이며, 우리가 이를 구현했다는 것이 믿을 수 없다"고 말했다. 

옴니버스 ACE 기술을 실현하기 위해 엔비디아 팀은 최근에 개발된 음성 변환 모델을 사용해 전문 가수의 샘플에서 음성을 추출하고 이를 TJ의 음성으로 변환했다. 원래 TJ의 목소리는 실제 녹음을 바탕으로 수 시간 동안 훈련시켜 개발됐다. 이번에는 샘플의 음정을 사용해 TJ의 디지털 음성에 적용해, 아바타가 원래 가수와 동일한 음정과 리듬으로 노래하도록 했다. 

엔비디아 옴니버스 생성 AI로 사실적인 얼굴 표정과 신체 움직임 구현

엔비디아 팀은 그 다음의 과정으로 옴니버스 오디오2페이스(Audio2Face), 오디오2제스처(Audio2Gesture) 기술과 함께 엔비디아 옴니버스 ACE를 사용해 TJ의 오디오만을 기반으로 애니메이션 공연을 위한 사실적인 얼굴 표정과 신체 움직임을 생성했다. 

옴니버스 ACE 기술팀은 이번 공연에서 선보인 기술을 개발하고 미세 조정하는 데 수 년을 보냈지만, 이들이 만든 음악 트랙을 세련된 영상으로 바꾸는 데는 단 몇 시간밖에 걸리지 않았다. 

팬들을 즐겁게 한 TJ의 '징글벨' 공연

엔비디아 팀은 이 놀라운 공연을 준비할 시간이 충분했고, 심지어 마이클 부블레(Michael Bublé), 데이빗 포스터(David Foster)와 함께 작업한 작곡가 겸 프로듀서인 요헴 반 데르 사그(Jochem van der Saag)와 협력해 TJ가 부를 수 있는 완벽한 MR도 만들었다. 

호그는 "우리는 반 데르 사그에 작곡을 요청했고, 그는 편곡도 맡을 예정이다. 이는 팀에 정말 큰 도움이 됐고, 우리는 그가 합류하게 되어 정말 기쁘다”고 말했다. 

ACE로 가상 경험 혁신

그 결과, 엔비디아 옴니버스 ACE와 가상 이벤트, 온라인 교육, 고객 서비스, 비디오 게임, 소셜 미디어, 가상 현실 경험을 위한 맞춤형 아바타 제작 등 다양한 산업 분야에서 사용할 수 있는 애플리케이션을 위한 완벽한 쇼케이스가 탄생했다. 엔비디아 옴니버스 ACE는 곧 얼리 액세스로 파트너에게 제공될 예정이다. 

젠슨 황은 대만 타이페이의 한 광장에서 온라인으로 공연을 스트리밍하는 듀오 가수인 라 일레 리(Lah Yileh Lee)와 신팅 리(Xinting Lee)의 공연을 우연히 마주친 적이 있다. 젠슨 황은 이들의 레이디 가가의 “Always Remember Us This Way” 녹음을 응원했으며, 이 영상은 젠슨 황이 요청했던 노래인 레이디 가가의 “Hold My Hand”를 부른 후속 영상과 함께 높은 조회수를 얻었다.