쉽고 빠르게 3D 콘텐츠 제작, 엔비디아 메타버스 콘텐츠 제작 돕는 ‘뉴럴 그래픽 SDK’ 출시

엔비디아(www.nvidia.co.kr, CEO 젠슨 황)가 뉴럴(Neural) 그래픽 SDK를 출시했다. 뉴럴 그래픽 SDK는 새로운 연구와 3D 객체 및 세계의 생성과 애니메이션에 뉴럴 그래픽의 힘을 적용하는 광범위한 도구 제품군이다.  

게임, 메타버스와 같은 가상 세계, 제품 설계 또는 시각 효과를 위한 3D 객체 생성은 전통적으로 숙련된 아티스트가 마감 시간과 예산에 맞춰 디테일과 리얼리즘의 균형을 맞추는 세심한 과정이다.

실제 세계처럼 보이고 행동하도록 만드는 데는 오랜 시간이 걸리는데, 여기에 여러 개체와 캐릭터가 가상 세계에서 상호 작용해야 하는 경우 문제는 더 어려워진다. 또한 물리학을 시뮬레이션하는 것은 빛을 시뮬레이션하는 것만큼 중요한데, 예를 들어 가상 공장의 로봇은 외형뿐만 아니라 중량과 제동 능력도 물리적 로봇과 동일해야 한다. 

이는 어려운 작업이지만 제품 설계 외에도 운송, 헬스케어, 통신, 엔터테인먼트 등 수조 달러 규모에 이르는 다양한 산업에도 영향을 미치고 있다. 궁극적으로는 실제 세계보다 가상 세계에서 더 많은 콘텐츠가 생성될 것이다. 

엔비디아가 새롭게 출시한 뉴럴 그래픽 SDK는 업계 표준 오픈(Open)VDB에 대한 획기적인 업데이트인 뉴럴(Neural)VDB와 신경 분야 연구를 위한 프레임워크를 구축하는 파이토치(Pytorch) 라이브러리인 카올린 위스프(Kaolin Wisp)를 포함한다. 이는 디자이너의 창작 과정을 용이하게 하는 동시에 설계 전문가가 아닌 수백만 명의 사용자가 3D 콘텐츠를 쉽게 만들 수 있도록 돕는다. 

뉴럴 그래픽은 AI와 그래픽을 결합해 데이터에서 학습하는 가속 그래픽 파이프라인을 생성하는 새로운 분야이다. AI를 통합하면 결과 향상, 설계 선택 자동화를 통해 아티스트와 크리에이터에게 상상조차 할 수 없는 새로운 기회가 제공된다. 뉴럴 그래픽은 사용자가 가상 세계를 만들고 시뮬레이션하고 경험하는 방법을 재정의할 것이다. 

이러한 SDK 및 연구는 다음을 포함해 콘텐츠 제작 파이프라인의 각 단계에 기여한다.

3D 콘텐츠 제작

· 카올린 위스프(Kaolin Wisp) – 새로운 기술을 테스트하고 구현하는 데 필요한 시간을 몇 주에서 며칠로 단축해 더 빠른 3D 딥 러닝 연구를 가능하게 하는 파이토치 라이브러리인 카올린(Kaolin)에 추가됐다. 카올린 위스프는 신경 분야에 대한 연구 지향적인 라이브러리로, 신경 분야의 새로운 연구를 가속화하기 위한 공통 도구 및 프레임워크를 구축한다.

· 인스턴트 뉴럴 그래픽 프리미티브(Instant Neural Graphics Primitives) – 실제 개체의 모양을 포착하는 새로운 접근 방식과 스틸 이미지 모음을 디지털 3D 장면으로 바꾸는 인버스 렌더링 모델인 엔비디아 인스턴트(Instant) NeRF의 영감을 제공한다. 이 기술과 관련 깃허브(GitHub) 코드는 프로세스를 최대 1,000배까지 가속화한다.

· 3D 모마(MoMa) – 사용자가 2D 개체를 그래픽 엔진으로 신속하게 가져와 사실적인 재료, 조명 및 물리학으로 수정할 수 있는 3D 개체를 만들 수 있는 새로운 인버스 렌더링 파이프라인이다.

· 고갱(GauGAN)360 – 거친 낙서를 사실적인 명작으로 만드는 AI 모델인 엔비디아 고갱(GauGAN)의 차세대 진화 버전이다. 고갱(GauGAN)360은 옴니버스(Omniverse) 장면으로 포팅할 수 있는 8K, 360도 파노라마를 생성한다.

· 옴니버스 아바타 클라우드 엔진(Omniverse Avatar Cloud Engine, Omniverse ACE) – 디지털 휴먼 애플리케이션을 생성, 사용자 지정 및 배포하기 위한 새로운 클라우드 API, 마이크로 서비스 및 도구 모음이다. ACE는 엔비디아의 통합 컴퓨팅 프레임워크에 구축돼 개발자가 핵심 엔비디아 AI 기술을 아바타 애플리케이션에 원활하게 통합할 수 있다. 

물리학 및 애니메이션

· 뉴럴(Neural)VDB – 볼륨 데이터 스토리지에 대한 현재 업계 표준인 오픈(Open)VDB의 획기적인 개선 버전이다. 뉴럴(Neural)VDB는 머신 러닝을 사용해 소형 신경 표현을 도입해 메모리 공간을 크게 줄여 고해상도 3D 데이터를 가능하게 한다.

· 옴니버스 오디오투페이스(Omniverse Audio2Face) – 단일 오디오 소스에서 표정이 풍부한 얼굴 애니메이션을 생성하는 AI 기술이다. 대화형 실시간 애플리케이션과 기존의 얼굴 애니메이션 제작 도구로 유용하다.

· 애니메이션 스킬 임베딩(Animation Skills Embedding) – 물리적으로 시뮬레이션된 캐릭터가 익숙하지 않은 상황에서 보다 반응적이고 실제와 같은 방식으로 행동할 수 있도록 하는 접근 방식이다. 딥 러닝(deep learning)을 사용해 캐릭터에게 새로운 작업과 행동에 대응하는 방법을 가르친다.

· TAO 툴킷(Toolkit) – 사용자가 정확한 고성능 포즈 추정 모델을 생성할 수 있도록 하는 프레임워크로, 현재 방법보다 훨씬 더 빠르게 컴퓨터 비전을 사용해 장면에서 사람이 무엇을 하고 있는지 평가할 수 있다. 

경험

· 이미지 기능 아이 트래킹(Image Features Eye Tracking) – 픽셀 렌더링 품질과 사용자 반응 시간을 연결하는 연구 모델이다. 렌더링 품질, 디스플레이 속성 및 보기 조건의 최상 조합을 예측해 지연 시간을 최소화함으로써 경쟁 게임과 같이 빠른 속도의 대화형 컴퓨터 그래픽 애플리케이션에서 더 나은 성능을 제공할 수 있다.

· 가상 현실을 위한 홀로그램 안경(Holographic Glasses for Virtual Reality) – 스탠포드 대학교와 협력해 획기적인 2.5mm 두께의 광학 스택에서 풀 컬러 3D 홀로그램 이미지를 제공하는 새로운 VR 안경 디자인을 개발했다.