엔비디아 시뮬레이션·피지컬 AI, 혁신적 그래픽 연구 접목

엔비디아(www.nvidia.co.kr)가 컴퓨터 그래픽 콘퍼런스 ‘시그라프 2026(SIGGRAPH 2026)’에서 현실적으로 동작하고 실시간으로 반응하는 가상 세계 구현을 위한 연구 성과를 선보였다.

시그라프에서 채택된 엔비디아의 기술 논문 21편은 가상 세계를 생성하고 현실 세계의 머신 훈련을 구동하는 실시간 시스템의 기반을 제시한다.

결과물이 게임이나 영화, 로봇, 공장 디지털 트윈인지와 관계없이 목표는 동일하다. 3D에 기반하고 물리 법칙을 따르며 크리에이터가 직접 제어하는 AI 생성 세계를 통해 창작의 영역을 확장하는 것이다.

이를 가장 잘 보여주는 사례가 모션브릭스(MotionBricks)다. 모션브릭스는 35만 개 이상의 모션 클립으로 훈련되고 게임 엔진 수준의 속도로 실행되는 실시간 모션 모델이다. 크리에이터가 캐릭터의 움직임을 연출하고 연결할 수 있도록 지원한다. 화면 속 애니메이션 캐릭터를 구동하는 것과 동일한 모델이 유니트리(Unitree) G1 휴머노이드 로봇도 제어한다. 이를 통해 컴퓨터 그래픽과 시뮬레이션을 활용한 피지컬 AI 개발을 가속한다. 

GPC는 대규모 모션 데이터셋을 활용해 생성형 컨트롤러를 훈련하는 프레임워크다. 엔비디아는 방대한 인간 동작 데이터를 기반으로 하나의 컨트롤러를 사전 훈련시켜, 새로운 작업에도 적용할 수 있는 운동 능력을 제공한다. 이는 운동 제어를 위한 파운데이션 모델의 출발점으로 볼 수 있다.

이러한 움직임을 검증할 가상 세계를 구축하기 위해, 아티픽서(ArtiFixer)는 정리되지 않은 실제 환경의 3D 캡처 데이터를 깨끗하고 완전한 가상 장면으로 변환한다. 또한 단 한 번의 레이 트레이싱을 거치지 않고도 장면의 기하학적 정보만으로 사실적인 글로벌 일루미네이션(global illumination)을 예측하는 새로운 기술도 함께 제공한다. 

가상 세계가 현실 세계와 동일한 방식으로 동작하도록 하기 위한 새로운 솔버도 공개됐다. 이 솔버는 엔비디아 뉴턴(Newton) 물리 엔진에서 눈과 모래, 탄성 고체처럼 시뮬레이션하기 어려운 물질을 사실적으로 표현한다. 

또한 비디오뉴맷(VideoNeuMat) 파이프라인은 생성형 비디오 모델에서 재사용과 재조명이 가능한 재질을 추출할 수 있도록 지원해 크리에이터의 주도권을 보장한다. 한편 ARDY 자기회귀 확산(autoregressive diffusion) 모델은 텍스트 프롬프트를 기반으로 3D 캐릭터의 움직임을 실시간으로 제어할 수 있도록 한다. 

관련 연구 논문은 공개돼 있으며, 코드와 모델은 무료로 다운로드할 수 있다. 자세한 내용은 시그라프 엔비디아 행사에서 확인할 수 있다.