오픈USD 활용 확대, 엔비디아 새로운 생성형 AI 모델과 NIM 마이크로서비스 발표

엔비디아(www.nvidia.co.kr, CEO 젠슨 황)가 오픈USD(Universal Scene Description, OpenUSD)의 주요 발전 사항을 발표했다. 이를 통해 로보틱스, 산업 디자인, 엔지니어링 분야에서 범용 3D 데이터 교환 프레임워크의 채택이 확대되고, 개발자들이 차세대 AI를 위해 고정밀 가상 세계를 구축할 수 있는 역량이 가속화될 것으로 기대된다.  

엔비디아 옴니버스™ (Omniverse™) 플랫폼에서 구축된 새로운 오픈USD 기반 생성형 AI와 엔비디아 가속 개발 프레임워크를 통해, 더 많은 산업에서 산업 디자인과 엔지니어링 프로젝트를 시각화할 수 있게 됐다. 또한, 차세대 물리 AI와 로봇을 구축하기 위한 환경을 시뮬레이션할 수 있는 애플리케이션의 개발도 가능하다. 

새로운 서비스에는 사용자 쿼리에 응답하기 위한 오픈USD 언어 생성, 오픈USD 파이썬(Python) 코드 생성, 3D 개체에 머티리얼 적용, 3D 공간과 물리학을 통해 디지털 트윈 개발을 가속화할 수 있는 AI 모델용 엔비디아 NIM™ 마이크로서비스가 포함된다. 아울러 로보틱스와 산업 시뮬레이션 데이터 형식과 개발자 도구에 대한 새로운 USD 커넥터를 통해 사용자는 대규모의 완전한 엔비디아 RTX™ 레이 트레이싱 데이터 세트를 애플 비전 프로(Apple Vision Pro)로 스트리밍할 수 있다. 

엔비디아 옴니버스와 시뮬레이션 기술 담당 부사장인 레브 레바레디언(Rev Lebaredian)은 “중공업 분야의 생성형 AI 붐이 시작됐다. 최근까지 디지털 세계는 주로 크리에이티브 산업에서 사용돼 왔지만, 이제 엔비디아 NIM 마이크로서비스가 오픈USD에 향상된 기능과 접근성을 제공해 모든 종류의 산업에서 물리 기반 가상 세계와 디지털 트윈을 구축할 수 있게 됐다. 이로써 혁신을 주도하는 동시에 차세대 AI 물결인 로보틱스를 준비할 수 있게 됐다”고 말했다. 

엔비디아 NIM과 함께 USD에 도입되는 생성형 AI

엔비디아가 개발한 세계 최초의 오픈USD 개발용 생성형 AI 모델은 엔비디아 NIM 마이크로서비스로 제공될 예정이다. 개발자는 이 모델을 통해 생성형 AI 코파일럿과 에이전트를 USD 워크플로우에 통합해 3D 세상의 가능성을 넓힐 수 있다. 아울러 제조, 자동차, 로보틱스 등 새로운 산업 분야에서 USD의 도입을 가속화할 수 있다. 

프리뷰로 제공되는 마이크로서비스는 다음과 같다. 

l  USD 코드 NIM(USD Code NIM) 마이크로서비스: 일반적인 오픈USD 관련 질문에 응답한다. 또한, 텍스트 프롬프트에 따라 오픈USD-파이썬 코드를 자동으로 생성하고, 해당 3D 데이터를 시각화하기 위해 픽사(Pixar)의 USD뷰(USDView) 등의 오픈USD 보기 앱이나 엔비디아 옴니버스 키트 기반 애플리케이션에 입력할 수 있다.

l  USD 검색 NIM(USD Search NIM) 마이크로서비스: 개발자가 자연어 또는 이미지를 입력해 방대한 오픈USD, 3D, 이미지 데이터 라이브러리를 검색할 수 있다.

l  USD 검증 NIM(USD Validate NIM) 마이크로서비스: 업로드 된 파일의 오픈USD 릴리스 버전과의 호환성을 확인하고 엔비디아 옴니버스 클라우드 API나 API를 기반으로 완전히 RTX로 렌더링된 경로 추적 이미지를 생성한다. 

곧 출시될 새로운 마이크로서비스는 다음과 같다. 

l  USD 레이아웃 NIM(USD Layout NIM) 마이크로서비스: 공간 지능을 기반으로 일련의 텍스트 프롬프트에서 오픈USD 기반 장면을 합성할 수 있다.

l  USD 스마트머터리얼 NIM(USD SmartMaterial NIM) 마이크로서비스: 컴퓨터 지원 디자인 개체에 사실적인 머티리얼을 예측하고 적용한다.

l  fVDB 메시 생성 NIM(fVDB Mesh Generation NIM) 마이크로서비스: 포인트 클라우드 데이터(point-cloud data)에서 옴니버스 클라우드 API로 렌더링된 오픈USD 기반 메시를 생성한다.

l  fVDB 물리 슈퍼-레스 NIM(fVDB Physics Super-Res NIM) 마이크로서비스: 프레임 또는 연속된 프레임에서 AI 초해상도를 구현해 오픈USD 기반의 고해상도 물리 시뮬레이션을 생성한다.

l  fVDB 신경방사장-XL NIM(fVDB NeRF(Neural Radiance Fields)-XL NIM) 마이크로서비스: 옴니버스 클라우드 API를 사용해 오픈USD에서 대규모 NeRF를 생성한다. 

전 세계 170개 이상의 공장을 보유한 글로벌 제조 선도 기업인 폭스콘은 NIM 마이크로서비스와 옴니버스를 사용해 개발 중인 공장의 디지털 트윈을 제작하며, 이미 엔비디아의 컴퓨팅 플랫폼의 이점을 누리고 있다. 

폭스콘 최고 디지털 책임자이자 스마트 제조 플랫폼 책임자인 저 스(Zhe Shi)는 "디지털 트윈은 우리가 산업 제조와 자율 기계의 차세대 물결을 가속화하는 데 도움이 될 것이다. 엔비디아 옴니버스와 새로운 NIM 마이크로서비스는 디지털 트윈 개발 능력을 대중화해 폭스콘이 물리적 기반 가상 공장을 그 어느 때보다 빠르게 구축할 수 있도록 지원할 것”이라고 말했다. 

마케팅, 커뮤니케이션 서비스 분야의 세계적인 선도 기업인 WPP는 USD 검색 NIM과 USD 코드 NIM 마이크로서비스를 빠르게 도입했다. 이들은 코카콜라 컴퍼니(The Coca-Cola Company)와 유사하게 고객을 위해 엔비디아 옴니버스에 구축된 생성형 AI 지원 콘텐츠 제작 파이프라인에 이를 적용하고 있다. 

WPP 최고 기술 책임자 스테판 프레토리우스(Stephan Pretorius)는 “이 혁신의 장점은 우리가 일하는 방식과 호환되며, 개방형 표준을 활용해 향후 작업을 가속화할 뿐만 아니라 오픈USD와 같은 표준에 대한 이전 투자의 유용성을 계속 구축하고 확장할 수 있다는 점이다. 엔비디아 옴니버스와 함께 엔비디아 NIM 마이크로서비스를 사용함으로써 코카콜라 컴퍼니와 같은 기업과 함께 놀라운 속도로 혁신적인 새로운 제작 툴을 출시할 수 있게 됐다”고 말했다. 

더 많은 산업에 생성형 AI를 제공하는 USD 커넥터

로보틱스 데이터 형식과 애플 비전 프로의 스트리밍을 위한 새로운 USD 커넥터 시리즈는 더 많은 산업에 오픈USD 상호 운용성과 고급 저작 기능의 가능성을 열어준다. 

산업 자동화와 소프트웨어 분야의 글로벌 리더인 엔비디아와 지멘스(Siemens)는 오픈USD를 사용해 더 많은 산업 워크로드를 촉진하기 위해 협력을 확대하고 있다. 지멘스는 오픈USD 파이프라인을 자사의 시뮬레이션 기술 포트폴리오인 심센터(Simcenter)를 통합해 증거 기반 의사 결정과 주요 이해관계자 간의 협업을 지원할 예정이다. 

이러한 통합으로 복잡한 시뮬레이션 데이터를 고품질의 사실적인 시각화로 구현해 실제 운영 환경 내에서 제품의 성능에 대한 깊은 통찰력을 제공할 수 있다. 이 작업은 팀센터 제품수명관리 포트폴리오(Teamcenter Product Lifecycle Management, PLM)에 옴니버스를 통합하려는 지멘스의 노력을 기반으로 이루어질 계획이다. 

또한 엔비디아는 통합 로봇 표현 규칙(Unified Robot Description Format, URDF)에서 오픈USD로의 커넥터를 발표했다. 이를 통해 로봇 전문가들이 설계, 시뮬레이션, 강화 학습 등을 비롯한 여러 애플리케이션에서 로봇 데이터를 원활하게 가져올 수 있도록 지원한다.

오픈USD 생태계 확장을 더욱 강화하기 위해 엔비디아는 개발자가 자체적으로 강력한 오픈USD 데이터 커넥터를 구축할 수 있는 오픈USD 익스체인지(OpenUSD Exchange) 소프트웨어 개발 키트를 발표했다. 

이제 엔비디아 그래픽 전송 네트워크를 통해 옴니버스 플랫폼에 구축된 애플리케이션에서 대규모 오픈USD 장면을 애플 비전 프로로 스트리밍하는 새로운 개발자 도구와 API를 얼리 액세스로 이용할 수 있다. 

픽사 최고기술책임자(CTO) 겸 오픈USD 얼라이언스(AOUSD)의 위원장 스티브 메이(Steve May)는 “오픈USD는 3D 콘텐츠를 제작하고 상호 작용하는 혁신적인 방식을 추구하고 있다. 이제 엔비디아가 구축한 오픈USD용 새로운 서비스와 API를 통해 USD의 성장과 채택이 가속화되고, 새로운 사용자와 업계가 우리 생태계에 더 쉽게 참여할 수 있는 길이 열릴 것으로 기대한다"고 말했다. 

추진력을 얻은 오픈USD 생태계

엔비디아는 작년 픽사, 어도비(Adobe), 애플, 오토데스크(Autodesk)와 함께 AOUSD를 설립했다. 엔비디아와 다른 협력사들은 AOUSD를 통해 새로운 오픈USD 출시, 오픈USD 핵심 사양의 진척 상황과 새로운 멤버를 발표했다.

USD 검색, USD 코드, USD 검증 NIM 마이크로서비스는 엔비디아 API 카탈로그에서 프리뷰로 제공된다. 이제 엔비디아 아이작 심(Isaac Sim)과 함께 오픈USD에서 URDF로의 커넥터를 사용할 수 있다. 

개발자는 새로운 옴니버스 개발자 도구와 오픈USD로 생성형 AI 지원 합성 데이터 파이프라인을 구축하기 위한 레퍼런스 워크플로우를 통해 생성형 AI를 오픈USD 워크플로우에 통합할 수 있다. 

8월 1일까지 미국 덴버에서 열리는 글로벌 최대 컴퓨터 그래픽 콘퍼런스인 시그라프(SIGGRAPH)에서 엔비디아 창립자 겸 CEO인 젠슨 황의 좌담회를 통해 최신 생성형 AI와 가속 컴퓨팅에 대해 자세히 알아볼 수 있다.