AI 에이전트 시뮬레이션 준비형 환경 구축 지원, 엔비디아 새로운 옴니버스 라이브러리로 에이전트 툴킷 확장

엔비디아(www.nvidia.co.kr)가 엔비디아 에이전트 툴킷(NVIDIA Agent Toolkit)에 엔비디아 옴니버스TM(OmniverseTM) 라이브러리를 추가했다고 발표했다. 

엔비디아 옴니버스 라이브러리는 AI 에이전트에 도구와 기술을 제공해 기존 애플리케이션에 피지컬 AI 기능을 추가하고, 3D 콘텐츠를 시뮬레이션용으로 준비할 수 있도록 지원하는 소프트웨어 구성 요소 모음이다. 

로봇과 공장, 자율 시스템은 실제 환경에서 작동하기 전에 시뮬레이션 환경에서 설계·테스트·학습돼야 한다. 3D 콘텐츠를 시뮬레이션용으로 준비하려면 사실적인 시각적 표현만으로는 충분하지 않다. 에셋에는 적절한 구조와 재질, 크기, 라벨, 센서, 물리적 속성이 필요하다. 엔비디아 에이전트 툴킷에 포함된 엔비디아 옴니버스 라이브러리는 AI 에이전트에 워크플로우를 구축하고, 장면을 검사하고, 문제를 표시하고, 에셋을 준비할 수 있는 도구와 스킬을 제공한다. 이를 통해 개발자는 3D 콘텐츠를 시뮬레이션 준비형 환경으로 보다 빠르게 전환할 수 있다. 

엔비디아 창립자 겸 CEO 젠슨 황(Jensen Huang)은 “피지컬 AI 시대는 먼저 시뮬레이션 환경에서 구축될 것이다. 옴니버스 라이브러리를 갖춘 엔비디아 에이전트 툴킷은 개발자들이 이미 사용하는 3D 도구에 AI 에이전트를 도입한다. 이를 통해 로봇, 공장, 자율 시스템이 실제 환경에 도달되기 훨씬 전부터 학습되고 테스트되는 시뮬레이션 준비형 환경을 구축할 수 있도록 지원한다”고 말했다. 

사이드FX(SideFX)와 PTC를 비롯한 소프트웨어 기업들은 에이전트 지원형 센서 시뮬레이션과 물리 시뮬레이션, 에셋 검증을 위해 옴니버스 라이브러리를 통합하고 있다. 이를 통해 개발자와 테크니컬 아티스트가 3D 콘텐츠를 준비할 때 이미 사용하고 있는 애플리케이션과 워크플로우에 에이전틱 AI를 도입할 수 있도록 지원한다. 

옴니버스 라이브러리, 엔비디아 에이전트 툴킷에 피지컬 AI 기능 제공

엔비디아 에이전트 툴킷은 소프트웨어 기업이 도구와 스킬, 데이터 소스를 연결하는 AI 에이전트를 구축할 수 있도록 지원한다. 옴니버스 라이브러리는 기존 애플리케이션 내에서 센서 시뮬레이션과 GPU 가속 물리 시뮬레이션, 시뮬레이션 준비형 에셋 검증을 위한 호출 가능한 도구를 제공해, 이러한 에이전트의 활용 범위를 3D와 피지컬 AI 워크플로우로 확장한다. 

ovrtx, ovphysx, 캐드-투-심레디(CAD-to-SimReady) 기술을 포함한 새로운 옴니버스 라이브러리는 깃허브(GitHub)에 공개됐다. 이를 통해 AI 에이전트는 장면을 분석하고, 변경사항을 테스트하며, 3D 에셋을 시뮬레이션용으로 준비하는 워크플로우를 구축할 수 있다. 또한 블렌더(Blender)에 옴니버스 라이브러리를 통합할 수 있는 새로운 블루프린트도 깃허브에서 공개됐다. 

해당 라이브러리의 주요 기능은 다음과 같다.

l  엔비디아 RTX 센서 시뮬레이션: ovrtx는 애플리케이션이 3D 장면에서 카메라와 라이다, 레이더 등 다양한 센서의 출력을 생성할 수 있도록 지원한다. 이를 통해 개발자와 AI 에이전트는 피지컬 AI 시스템이 가상 환경을 어떻게 인식할 수 있는지 테스트할 수 있다.

l  물리적 동작: ovphysx는 GPU 가속 물리 시뮬레이션을 활용해 충돌과 질량, 마찰, 움직임 등의 속성을 기반으로 3D 장면에 사실적인 동작을 구현한다. 이를 통해 팀은 객체와 시스템이 상호작용하는 방식을 시뮬레이션 환경에서 먼저 테스트할 수 있다.

l  시뮬레이션 지원 3D 오브젝트: 캐드-투-심레디 기술은 컴퓨터 지원 설계(CAD) 데이터를 오픈USD(OpenUSD) 기반의 심레디 에셋으로 변환한다. 이를 통해 3D 콘텐츠에 피지컬 AI 시뮬레이션과 가상 테스트에 필요한 속성을 부여할 수 있다. 

소프트웨어 기업, 옴니버스 라이브러리 활용

사이드FX와 PTC를 비롯해 스타트업 포지캐드(ForgeCAD), 라이트휠(Lightwheel), 문레이크 AI(Moonlake AI), 팔라셜(Palatial)은 엔비디아 에이전트 툴킷에 새롭게 포함된 옴니버스 라이브러리를 가장 먼저 도입하고 이를 기반으로 개발하고 있는 기업들이다. 

사이드FX는 오픈USD 워크플로우와 ovrtx, ovphysx 라이브러리를 활용해 에이전트가 옴니버스 라이브러리를 후디니(Houdini)의 절차적 3D 콘텐츠 제작 워크플로우에 통합하는 방안을 모색하고 있다. 이를 통해 테크니컬 아티스트는 3D 콘텐츠를 생성하고, 테스트하며, 시뮬레이션에 적합한 콘텐츠를 준비할 수 있다. 

사이드FX 대표 겸 CEO 킴 데이비슨(Kim Davidson)은 “절차적 3D 제작은 시뮬레이션, 로보틱스, 산업용 AI에 필요한 복잡하면서도 제어 가능한 환경을 구축하는 데 필수적이다. 사이드FX는 엔비디아 옴니버스 라이브러리와 오픈USD를 활용해 에이전트 지원형 도구가 후디니 워크플로우를 지원할 수 있는 방안을 모색하고 있다. 이를 통해 테크니컬 아티스트는 창작 과정에 대한 제어권을 유지하면서도 절차적으로 생성된 콘텐츠를 검토하고, 테스트하며, 시뮬레이션용으로 준비할 수 있다”고 말했다. 

PTC 온쉐이프(Onshape) CAD 및 제품 데이터 관리(PDM) 플랫폼은 오픈USD와 ovrtx를 활용해 클라우드 네이티브 설계 워크플로우를 물리 시뮬레이션과 연결하고 있다. 이를 통해 제품 설계 콘텐츠가 CAD와 PDM, 협업, 시뮬레이션 워크플로우 전반에 걸쳐 연결된 상태를 유지할 수 있도록 지원한다. 

PTC 사장 겸 CEO 닐 바루아(Neil Barua)는 “엔지니어링 팀은 개발 과정 전반에서 설계, 협업, 시뮬레이션을 더욱 긴밀하게 연결할 수 있는 방식을 찾고 있다. PTC와 엔비디아의 협력은 이러한 광범위한 비전을 지원한다. 엔비디아 옴니버스 라이브러리는 제품이 설계되는 환경 가까이에서 검증과 테스트를 수행할 수 있는 시뮬레이션 준비형 워크플로우를 구현하도록 지원한다”고 말했다. 

시그라프(SIGGRAPH)에서 전시되는 ‘심레디 블렌더’는 엔비디아 옴니버스 라이브러리와 엔비디아 네모클로TM(NemoClawTM)를 기반으로 블렌더에서 구현한 샘플 워크플로우다. 이 워크플로우는 소프트웨어 기업이 크리에이터의 제어권을 유지하면서 엔비디아 RTX 센서 시뮬레이션과 물리 시뮬레이션, 검증 등의 에이전트 지원형 시뮬레이션 기능을 기존 3D 애플리케이션에 추가할 수 있는 방법을 보여준다. 해당 워크플로우는 현재 블렌더에 옴니버스 라이브러리를 통합하기 위한 블루프린트로 공개돼 있다. 

이번 데모는 엔비디아 에이전트 툴킷의 일부인 옴니버스 라이브러리로 구축된 워크플로우가 로컬에서 실행되는 방식도 선보인다. 지원 환경은 엔비디아 RTX 스파크TM(RTX SparkTM)가 탑재된 소형 RTX 시스템부터 엔비디아 DGX 스테이션TM(DGX StationTM) 기반의 엔비디아 GB300 시스템까지 다양하다.  RTX 스파크 시스템은 올가을 에이수스(ASUS), 델 테크놀로지스(Dell Technologies), HP, 레노버(Lenovo), 마이크로소프트 서피스(Microsoft Surface), MSI를 통해 출시될 예정이며, 이후 에이서(Acer)와 기가바이트(GIGABYTE) 모델도 출시될 계획이다. DGX 스테이션 시스템은 에이수스, 델, 기가바이트, HP, MSI, 슈퍼마이크로(Supermicro), 익잭트(Exxact)를 통해 구매 가능하다. 

엔비디아 인셉션(Inception) 프로그램에 참여하는 기업을 비롯한 스타트업들도 옴니버스 라이브러리와 기술을 활용해 에이전트 기반 에셋과 장면 준비 워크플로우를 구축하고 있다. 팔라셜은 옴니버스 캐드-투-심레디 스킬을 활용해 CAD 입력 데이터로부터 심레디 에셋을 대규모로 생성하고 검증하는 과정을 자동화하고 있다. 라이트휠은 자사의 심레디젠(Gen) 기술에 오픈USD 기반 옴니버스 콘텐츠 에이전트(Omniverse Content Agents)를 적용해 텍스트 프롬프트로부터 물리적으로 정확한 심레디에셋을 생성하고 있다. 

포지캐드와 문레이크 AI는 옴니버스 기능을 활용해 피지컬 AI 시뮬레이션용 에셋을 생성하고, 보강하고, 준비하는 에이전트 기반 3D 콘텐츠 워크플로우를 모색하고 있다. 

여기에서 시그라프 엔비디아 기조연설을 시청할 수 있다. 엔비디아 옴니버스 라이브러리에 대한 자세한 내용과 이용 가능한 샘플, 문서는 여기에서 확인할 수 있다.