생성형 AI와 옴니버스 오디오투페이스 접목, 엔비디아 크리에이터 위한 RTX 시스템 업데이트

엔비디아(www.nvidia.co.kr, CEO 젠슨 황)가 엔비디아(NVIDIA) 창립자 겸 CEO인 젠슨 황(Jensen Huang)이 GTC 2023 키노트에서 크리에이터의 워크플로우를 보다 매끄럽게 해줄 여러 업데이트를 발표했다고 밝혔다. 

여기에는 생성형 AI와 옴니버스 오디오투페이스(Omniverse Audio2Face) 애플리케이션을 접목하는 등의 업데이트가 포함된다.

강력한 AI 테크놀로지가 3D 콘텐츠 제작을 혁신하고 있다. 사실적인 캐릭터에 생명력을 불어넣어 감정을 표현하거나, 단순한 텍스트를 이미지로 바꾸기도 한다. 

메타버스 애플리케이션의 구축과 운영을 위한 플랫폼인 엔비디아 옴니버스(NVIDIA Omniverse)는 언리얼 엔진 커넥터(Unreal Engine Connector)와 오픈 베타 유니티 커넥터(Unity Connector) 업데이트, 새로운 심레디(SimReady) 3D 에셋으로 저변을 더욱 확대했다. 

에이다 러브레이스(Ada Lovelace) 아키텍처 기반의 신형 엔비디아 RTX GPU는 차세대 노트북과 데스크톱이 AI와 디자인, 산업 메타버스의 요구에 부응할 수 있도록 지원한다. 

3월 엔비디아 스튜디오 드라이버(Studio Driver)는 RTX 비디오 슈퍼 레졸루션(RTX Video Super Resolution) 기능의 지원을 추가했으며, 이 기능은 지포스(GeForce) RTX 40과 30 시리즈 GPU에서 사용이 가능하다. 

이번주 ‘In the NVIDIA Studio’에서는 어도비 서브스턴스 3D(Adobe Substance 3D)의 창작개발팀이 옴니버스 USD 컴포저(Omniverse USD Composer)(기존의 크리에이트(Create))를 사용해 만든 애니메이션 쇼트인 <여름의 끝(End of Summer)>의 협업 과정을 살펴본다.

더욱 강력해진 옴니버스

전문화된 생성형 AI 툴은 크리에이터의 생산성을 향상시킬 수 있으며, 높은 수준의 기술력을 보유하지 못한 사용자의 경우도 예외는 아니다. 생성형 AI는 창의적인 아이디어에 생명력을 불어넣고, 품질과 반복작업의 고도화를 달성한다. 전통적인 에셋 개발에 소요되던 시간과 비용도 극적으로 줄일 수 있다. 

옴니버스 오디오투페이스 AI 기반 애플리케이션을 사용하면 오디오 파일만으로도 사실적인 얼굴 애니메이션을 생성할 수 있다. 따라서 많은 시간과 에너지가 드는 보조 캐릭터들의 애니메이션화를 효율적으로 마무리할 수 있다. 

이번 릴리스는 새로운 헤드리스(headless) 모드와 REST API 등 품질과 사용성, 성능을 크게 업그레이드했다. 이를 통해 게임 개발자와 크리에이터가 옴니버스 오디오투페이스 AI를 실행하고 데이터센터 내 여러 사용자의 수많은 오디오 파일을 처리할 수 있게 됐다. 

엔비디아가 유니티 워크플로우를 위해 새롭게 개발한 옴니버스 커넥터(Connector)가 오픈 베타로 제공된다. 유니티의 장면들을 옴니버스 뉴클리어스(Nucleus) 서버에 직접 추가하고 딥서치(DeepSearch) 툴과 썸네일, 북마크 등의 플랫폼 기능에 액세스할 수 있다. 단방향의 라이브 동기화 워크플로우를 통해 실시간 업데이트가 가능하다. 

언리얼 엔진 커넥터(Unreal Engine Connector)의 최신 릴리스를 통해 옴니버스의 사용자들은 언리얼 엔진의 USD 가져오기 유틸리티(import utilities)로 골격 메시 블렌드 셰이프 가져오기(skeletal mesh blend shape importing)를 추가하고, 파이썬(Python) USD 바인딩으로 옴니버스 뉴클리어스의 스테이지에 액세스할 수 있다. 이번 릴리스는 가져오기와 내보내기, 실시간 워크플로우의 개선을 비롯해 소프트웨어 개발 키트 업데이트도 함께 제공한다. 

이와 더불어 1,000개가 넘는 새로운 심레디 에셋도 만나볼 수 있다. 심레디 에셋은 옴니버스 피직스(PhysX)에서 사용해 극사실적인 비주얼과 정확한 움직임을 구현할 수 있도록 질량과 물리 머티리얼, 무게 중심을 정확히 맞춰 실세계 규모로 구축된다.

3월 스튜디오 드라이버가 선사하는 매력적인 초해상도

엔비디아 RTX GPU 사용자들이 보는 온라인 영상의 90% 이상이 1080p 이하 해상도에 해당하며, 이로 인한 업스케일링 때문에 하드웨어의 처리 능력이 아직 남아 있는데도 화질이 저하되는 상황이 종종 발생한다. 

이 문제의 해결책이 바로 RTX 비디오 슈퍼 레졸루션이다. 이 신기능은 지포스 RTX 30과 40 시리즈 GPU에서 사용 가능한데, 구글 크롬과 마이크로소프트 엣지 브라우저로 스트리밍되는 모든 영상의 품질을 AI로 개선한다.

바이큐빅 업스케일링(좌측)과 RTX 비디오 슈퍼 레졸루션의 차이를 확인할 수 있다.

이는 영상의 정밀도와 선명도 향상으로 이어진다. 사용자는 고해상도 디스플레이에서도 온라인 콘텐츠 자체의 기본 해상도로 영상을 감상할 수 있다.

전문 크리에이터를 위한 신형 엔비디아 RTX GPU

새로운 전문가급 엔비디아 RTX GPU(에이다 러브레이스 아키텍처 기반) 6종이 노트북과 데스크톱을 사용하는 크리에이터들의 까다로운 워크로드를 해결한다.

엔비디아 RTX 5000과 RTX 4000, RTX 3500, RTX 3000, RTX 2000 에이다 제너레이션(Ada Generation) 노트북 GPU는 이전 세대보다 최대 2배 강력해진 성능을 제공한다. 엔비디아 RTX 4000 스몰 폼팩터(Small Form Factor, SFF) 에이다 제너레이션 데스크톱 GPU는 새 RT 코어(Core)와 텐서 코어(Tensor Core), 쿠다(CUDA) 코어, 그리고 최대 20GB의 그래픽 메모리를 갖추고 있다.

여기에는 최신 엔비디아 맥스Q(Max-Q)와 RTX 테크놀로지가 포함되며 110개가 넘는 크리에이티브 애플리케이션에서 RTX 최적화를 제공하는 엔비디아 스튜디오 플랫폼, 최고 수준의 안정성과 성능을 위한 엔비디아 RTX 엔터프라이즈 드라이버(Enterprise Driver)가 함께 지원된다. 옴니버스와 캔버스(Canvas), 브로드캐스트(Broadcast) 등의 AI 기반 엔비디아 전용 툴도 사용할 수 있다.

이 같은 노트북 GPU를 사용하는 전문가들은 DLSS 3 등의 진일보한 기술을 실행해 프레임률을 이전 세대 대비 4배까지 올릴 수 있으며, 실시간 협업과 시뮬레이션을 위한 옴니버스 엔터프라이즈도 활용 가능하다.

엔비디아 RTX GPU를 탑재한 차세대 모바일 워크스테이션은 이번달에 출시가 시작된다

GTC 2023의 창의력 부스트

GTC 2023의 기발한 콘텐츠와 전문가 세션, 키노트를 시청하고 창작 작업을 가속할 수 있다.

옴니버스와 AI, 3D 워크플로우 관련 세션들은 라이브 또는 온디맨드 영상으로 만나볼 수 있다.

오픈AI(OpenAI)의 설립자 일리야 수츠케버(Ilya Sutskever)와 젠슨 황 CEO의 대담: AI의 오늘과 미래의 비전 [S52092]

생성형 AI가 창작 프로세스를 혁신하는 방법: 어도비의 스콧 벨스키(Scott Belsky)와 엔비디아 브라이언 카탄자로(Bryan Catanzaro)의 대담 [S52090]

생성형 AI 이해하기 [S52089]

AI가 만드는 3D: 생성형 AI가 가상 세계의 구축을 돕는 법 [S52163]

AI 아바타로 맞춤형 세계 구축하기: 리틀 마션(Little Martians)의 공상과학 프로젝트 [S51360]

AI 기반, 실시간, 마커리스(markerless): 모션 캡처의 새 시대 [S51845]

3D와 그 너머: 메타버스 시대 3D 아티스트의 부업 [SE52117]

엔비디아 옴니버스 사용자 그룹 [SE52047]

버추얼 프로덕션 파이프라인 가속화로 수상의 영예에 빛나는 단편 SF 제작하기 [S51496]

집으로 돌아가는 아버지와 딸의 여정

어도비 서브스턴스 3D의 창작개발팀이 만든 단편 애니메이션 <여름의 끝>은 놀라울 정도로 마음을 흔들어 놓는다.

개발팀의 웨스 맥더모트(Wes McDermott)는 “작품이 감정을 자극하고, 보는 이가 자기 눈앞의 장면에 담긴 이야기를 나름대로 만들어내게 한다는 아이디어가 좋았다”고 말한다.

<여름의 끝>의 디자인 보드.

라이카(Laika) 같은 스톱모션 애니메이션 스튜디오에 보내는 찬사이기도 한 <여름의 끝>은 어도비 서브스턴스 3D의 내부 프로젝트로 두 가지 목표를 달성하고자 시작됐다.

첫째는 창작 프로젝트를 통해 상대적으로 새로운 그룹의 아티스트들이 팀으로 협업할 수 있게 장려하는 것이었다. 다음으로는 이들의 파이프라인 피처 세트(pipeline feature set)를 테스트해 USD(Universal Scene Description) 프레임워크의 잠재력을 확인하고자 했다.

<여름의 끝>의 초기 콘셉트 작업.

이 그룹은 어도비 서브스턴스 3D 모델러(Modeler)와 오토데스크 3ds 맥스(Autodesk 3ds Max), 오토데스크 마야(Maya), 블렌더(Blender), 맥손 시네마 4D(Maxon Cinema 4D) 등의 인기 있는 3D 애플리케이션 전반에서 에셋을 생성하는 작업을 분담했다. 이때 지포스 RTX GPU에 힘입어 뷰포트에서 AI 디노이징(denoising)을 실행하고 신속한 인터랙티브 렌더링을 구현하는 한편, GPU 가속 필터로 머티리얼 생성의 가속화와 간소화를 달성했다.

맥더모트는 “내보내기의 포맷뿐 아니라 에셋 구축의 방식으로서도 USD가 얼마나 막강한지 확인하게 됐다”면서 “USD 덕분에 팀의 아티스트들은 본인이 가장 편안히 느끼는 3D 애플리케이션으로 작업할 수 있었다”고 설명한다.

어도비 팀은 서브스턴스 3D 에셋 라이브러리의 머티리얼과 모델, 조명에 주로 의지해 스튜디오 환경을 만들었다. 모든 텍스처는 서브스턴스 3D 페인터(Painter)에서 적용했으며, 여기서 RTX 가속 조명과 앰비언트 오클루전(ambient occlusion) 베이킹으로 에셋 최적화를 단시간에 완료했다.

다음으로 모든 모델을 옴니버스 USD 컴포저로 가져와 에셋을 동시에 수정하고 조합했다.

맥더모트는 “코로나 유행기에 진행된 작업인 만큼 팀원들이 각자의 집에 뿔뿔이 흩어져 있는 상황이었다. 팀으로 함께할 수 있는 프로젝트가 있어 소통과 창의력 발휘에 도움이 됐다. 엔비디아 옴니버스는 장면의 계획과 설정, USD의 워크플로우와 협업에 대해 배우기에 훌륭한 툴이다. 우리는 그림과 엔비디아 피직스 콜리전 툴을 사용해 에셋들을 배치했다”고 전했다.

옴니버스 USD 컴포저로 장면 구성을 가속하고 3D 장면의 조합, 시뮬레이션, 렌더링을 실시간으로 진행했다.

마지막으로 이 장면을 언리얼 엔진으로 가져와 조명과 렌더링 단계를 거쳤다.

언리얼 엔진으로 작업한 최종 편집본

맥더모트는 팀의 워크플로우에서 하드웨어의 중요성을 강조한다. “서브스턴스 페인터의 베이커들은 GPU로 가속됐으며, 이 과정에서 엔비디아 RTX GPU의 덕을 톡톡히 보았다. 또한 언리얼 엔진에서 작업의 다수를 진행하면서 실시간 렌더링에도 크게 의존했다”고 말했다.

이 워크플로우에 대한 자세한 내용은 GTC 2023의 “3D 아트는 멀티플레이어: 옴니버스와 함께한 어도비 서브스턴스의 <여름의 끝> 프로젝트 이야기” 세션에서 만나볼 수 있다.

어도비 서브스턴스 3D 팀을 이끌고 있는 아티스트 웨스 맥더모트.

여기에서 맥더모트의 포트폴리오를 확인할 수 있다.

엔비디아의 파트너 80LV와 함께하는 ‘워치 앤드 런’ 행사의 일환으로 크리에이터를 위한 옴니버스 세션에 등록하거나 3월 30일 전에 온디맨드 영상을 시청하는 참가자들은 강력한 지포스 RTX 4080 GPU의 주인공이 될 수 있다. 이 양식을 작성하고 #GTC23 태그와 참여 세션의 이름을 적어 @NVIDIAOmniverse로 보내면 된다. 

GTC 2023 세션 카탈로그에서 “미디어와 엔터테인먼트”나 “Omniverse”를 검색하면 추가적인 크리에이터 세션을 확인할 수 있다.

엔비디아 GTC 2023에 아티스트와 크리에이터들의 이목이 집중되고 있다. AI와 메타버스를 주제로 한 이 글로벌 컨퍼런스는 3월 24일 금요일까지 온라인으로 진행된다. GTC 2023의 등록은 여기에서 할 수 있다.

엔비디아 스튜디오 계정은 인스타그램, 트위터, 페이스북에서 확인할 수 있다. Studio 유튜브 채널의 튜토리얼에 액세스하고 Studio 뉴스레터를 구독하면 업데이트 소식을 메일로 받아볼 수 있다. 인스타그램과 미디엄, 트위터와 유튜브에서 옴니버스와 관련한 추가 리소스와 아이디어를 만나볼 수 있다. 옴니버스 포럼은 여기서 확인할 수 있다. 디스코드 서버와 트위치 채널에 참여하면 커뮤니티와 소통할 수 있다.