로보틱스 개발 가속화, 엔비디아 신규 옴니버스 라이브러리·코스모스 WFM 발표

엔비디아(www.nvidia.co.kr, CEO 젠슨 황)가 글로벌 최대 컴퓨터 그래픽 콘퍼런스인 시그라프(SIGGRAPH)에서 새로운 엔비디아 옴니버스(NVIDIA Omniverse™) 라이브러리와 엔비디아 코스모스(Cosmos™) 월드 파운데이션 모델(world foundation model, WFM)을 발표했다. 이번 발표로 로보틱스 솔루션의 개발과 배포가 가속화될 것으로 기대된다.

새로운 엔비디아 RTX PRO 서버(RTX PRO™ Server)와 엔비디아 DGX 클라우드(DGX™ Cloud)를 기반으로 구동되는 이 라이브러리와 모델은 개발자가 어디서든 물리적으로 정확한 디지털 트윈을 구축하도록 돕는다. 또한 현실 세계를 시뮬레이션 환경에서 캡처하고 재구성하며, 피지컬 AI 모델 훈련을 위한 합성 데이터를 생성하고, 물리적 세계를 이해하는 AI 에이전트를 개발하도록 지원한다. 

엔비디아 옴니버스, 시뮬레이션 기술 부문 부사장인 레브 레바레디언(Rev Lebaredian)은 “컴퓨터 그래픽과 AI가 융합되며 로보틱스를 근본적으로 변화시키고 있다. AI 추론을 확장 가능하고 물리적으로 정확한 시뮬레이션과 결합함으로써, 우리는 개발자들이 수조 달러 규모 산업의 미래를 바꿀 로봇과 자율주행차(autonomous vehicle, AV)를 구축할 수 있도록 지원하고 있다”고 말했다. 

새로운 엔비디아 옴니버스 라이브러리로 더욱 정밀한 가상 환경 구축

새롭게 발표된 엔비디아 옴니버스 소프트웨어 개발 키트(software development kit, SDK)와 라이브러리는 산업용 AI와 로보틱스 시뮬레이션 애플리케이션의 구축과 배포를 가능하게 한다. 

새로운 옴니버스 SDK는 무조코(MuJoCo, MJCF)와 오픈USD(Universal Scene Description, OpenUSD) 간 데이터 상호 운용성을 제공해 25만 명 이상의 MJCF 기반 로봇 학습 개발자들이 여러 플랫폼에서 로봇을 원활하게 시뮬레이션할 수 있도록 지원한다.

새로운 옴니버스 누렉(NuRec) 라이브러리와 AI 모델은 옴니버스 RTX 레이 트레이싱 기반 3D 가우시안 스플래팅(Gaussian Splatting) 기법을 도입했다. 이 렌더링 기술은 개발자가 센서 데이터를 활용해 현실 세계를 3D로 캡처하고 재구성하며 시뮬레이션할 수 있게 해준다.

엔비디아 아이작 심(Isaac Sim™) 5.0과 엔비디아 아이작 랩(Isaac Lab) 2.2 오픈소스 로봇 시뮬레이션, 학습 프레임워크도 최근 깃허브(GitHub)에서 공개됐다. 아이작 심은 누렉 뉴럴 렌더링과 새로운 오픈USD 기반 로봇, 센서 도식을 포함한다. 이 기능들은 로봇 개발자가 시뮬레이션과 실제 환경 간의 간극을 줄이는 데 도움을 준다. 

옴니버스 누렉 렌더링은 15만 명 이상의 개발자가 사용하는 대표적인 오픈소스 시뮬레이터인 칼라(CARLA)에 통합된다. 또한, AV 툴체인 선도 기업인 포어텔릭스(Foretellix)는 누렉과 엔비디아 옴니버스 센서(Sensor) RTX™, 코스모스 트랜스퍼(Cosmos Transfer)를 통합해 물리적으로 정확한 시나리오를 기반으로 한 확장 가능한 합성 데이터 생성을 강화하고 있다. 아울러 복셀51(Voxel51)의 시각적, 멀티모달 AI용 데이터 엔진인 피프티원(FiftyOne)도 누렉을 지원해 재구성에 필요한 데이터 준비 과정을 간소화한다. 피프티원은 포드(Ford), 포르쉐(Porsche)를 비롯한 여러 고객사에서 사용되고 있다. 

보스턴 다이내믹스(Boston Dynamics), 피규어 AI(Figure AI), 헥사곤(Hexagon), RAI 연구소(RAI Institute), 라이트휠(Lightwheel), 스킬드 AI(Skild AI) 등도 옴니버스 라이브러리, 아이작 심, 아이작 랩을 도입해 AI 로보틱스 개발을 가속화하고 있다. 또한, 아마존 디바이스 앤 서비스(Amazon Devices & Services)는 이를 새로운 제조 솔루션에 적용하고 있다. 

로보틱스 월드 생성을 고도화하는 코스모스

2백만 회 이상 다운로드된 코스모스 WFM은 개발자가 텍스트, 사진, 영상 프롬프트를 활용해 로봇 훈련에 필요한 다양한 데이터를 대규모로 생성할 수 있도록 지원한다. 

올해 시그라프에서 발표된 새로운 모델은 합성 데이터 생성 속도, 정확도, 언어 지원, 제어 측면에서 큰 도약을 이뤘다. 

Ÿ   코스모스 트랜스퍼-2는 프롬프트 과정을 간소화하며, 지상 실측(ground-truth) 3D 시뮬레이션 장면이나 깊이, 분할, 엣지, 고해상도 지도 등 공간 제어 입력으로 사실적인 합성 데이터 생성을 가속화한다.

Ÿ   코스모스 트랜스퍼-2 디스틸드(distilled) 버전은 기존 70단계 증류 과정을 한 단계로 줄여, 개발자가 엔비디아 RTX PRO 서버에서 매우 빠른 속도로 모델을 실행할 수 있게 한다. 

라이트휠, 문 서지컬(Moon Surgical), 스킬드 AI 등 다양한 기업들이 코스모스 트랜스퍼를 활용해 다양한 환경을 대규모로 시뮬레이션하며 피지컬 AI 훈련을 가속화하고 있다. 

물리적 세계 이해의 한계를 넘는 코스모스 리즌

오픈AI(OpenAI)의 클립(CLIP) 모델이 등장한 이래로, 비전 언어 모델(vision language model, VLM)은 객체와 패턴 인식 같은 컴퓨터 비전 작업에 혁신을 가져왔다. 그러나 다단계 작업을 처리하거나, 모호하거나 새로운 상황에 적절히 대응하는 데에는 한계가 있었다. 

엔비디아 코스모스 리즌(Cosmos Reason)은 피지컬 AI와 로보틱스를 위한 새로운 개방형, 70억 파라미터 추론 VLM으로, 맞춤화가 가능하다. 이 모델은 로봇과 비전 AI 에이전트가 사전 지식, 물리 법칙, 상식을 바탕으로 사람처럼 추론하고 현실 세계를 이해하며 행동할 수 있도록 해준다. 

코스모스 리즌은 다음과 같은 로보틱스, 피지컬 AI 애플리케이션에 활용될 수 있다. 

Ÿ   데이터 큐레이션과 주석 처리: 개발자가 다양한 대규모 훈련 데이터 세트의 고품질 큐레이션과 주석 작업을 자동화할 수 있게 한다.

Ÿ   로봇 계획과 추론: 로봇 비전언어행동(vision language action, VLA) 모델에서 신중하고 체계적인 의사결정을 수행하는 두뇌 역할을 한다. 코스모스 리즌은 로봇이 환경을 해석하고, 복잡한 명령을 받아 이를 세부 작업으로 나눈 뒤, 상식을 활용해 익숙하지 않은 환경에서도 이를 실행할 수 있게 한다.

Ÿ   영상 분석 AI 에이전트: 영상 검색과 요약을 위한 엔비디아 블루프린트(Blueprint)를 토대로 대규모 영상 데이터에서 유의미한 인사이트를 도출하고 근본 원인을 분석할 수 있다. 

엔비디아의 로보틱스 팀과 엔비디아 드라이브(DRIVE™) 팀은 데이터 큐레이션과 필터링, 주석 처리, VLA 사후 훈련에 코스모스 리즌을 활용하고 있다. 우버(Uber)는 코스모스 리즌으로 AV 훈련 데이터에 주석을 달고 캡션을 추가하고 있다. 

마그나(Magna)는 시티 딜리버리 플랫폼의 일환으로 코스모스 리즌과 협력해 개발 중이다. 이 플랫폼은 완전 자율주행 기반의 저비용 즉각 배송 솔루션을 제공하며, 차량이 새로운 도시 환경에 더 빠르게 적응할 수 있도록 지원한다. 코스모스 리즌은 차량의 장기적 경로 계획에 월드 이해 기능을 추가한다. 바스트 데이터(VAST Data), 마일스톤 시스템즈(Milestone Systems), 링커 비전(Linker Vision)은 코스모스 리즌을 도입해 도시와 산업 환경에서 교통 모니터링을 자동화하고, 안전을 개선하며 시각적 검사 효율을 높이고 있다. 

새로운 엔비디아 AI 인프라, 어디서나 로보틱스 워크로드 지원

개발자가 이러한 첨단 기술과 소프트웨어 라이브러리를 최대한 활용할 수 있도록, 엔비디아는 가장 까다로운 워크로드를 처리할 수 있는 AI 인프라를 새롭게 발표했다. 

Ÿ   엔비디아 RTX PRO 블랙웰(Blackwell) 서버는 훈련, 합성 데이터 생성, 로봇 학습, 시뮬레이션 등 모든 로봇 개발 워크로드를 위한 단일 아키텍처를 제공한다.

Ÿ   엔비디아 DGX 클라우드는 옴니버스 개발자에게 클라우드에서 오픈USD와 엔비디아 RTX 기반 애플리케이션을 대규모로 손쉽게 스트리밍할 수 있는 완전관리형 플랫폼을 제공해 인프라 조정과 관리를 최소화한다. 이는 현재 마이크로소프트 애저 마켓플레이스(Microsoft Azure Marketplace)에서 이용 가능하며, 액센츄어(Accenture)와 헥사곤은 이 플랫폼을 도입한 최초의 선도 기업들이다. 

개발자 생태계 가속화

엔비디아는 로보틱스, 피지컬 AI 개발자들이 3D와 시뮬레이션 기술을 더욱 빠르게 도입할 수 있도록 다음과 같은 내용을 발표했다. 

Ÿ   오픈USD 커리큘럼과 인증(OpenUSD Curriculum and Certification): USD 전문 인력 수요에 대응하기 위한 교육 과정이다. 오픈USD 얼라이언스(Alliance for OpenUSD, AOUSD) 회원사인 어도비(Adobe), 아마존 로보틱스(Amazon Robotics), 시놉시스(Synopsys) 산하 앤시스(Ansys), 오토데스크(Autodesk), 픽사(Pixar), PTC, 로크웰 오토메이션(Rockwell Automation), 사이드FX(SideFX), 지멘스(Siemens), TCS, 트림블(Trimble)의 지원을 받아 운영되며, 헥사곤과 같은 업계 리더들도 참여하고 있다.

Ÿ   라이트휠과의 오픈 소스 협업: 로봇 행동 전략 훈련과 평가 프레임워크를 엔비디아 아이작 랩에 통합하기 위한 협업이다. 이는 병렬 강화 학습 훈련 기능, 벤치마크, 로봇 조작과 이동을 위한 시뮬레이션 지원 애셋을 포함한다. 

여기 시그라프에서 진행된 엔비디아 리서치(Research) 특별 발표를 확인할 수 있다.