로보틱스·자율주행차·비전 AI·산업용 디지털 트윈 위한, 엔비디아 피지컬 AI 위한 대규모 오픈소스 에이전트 도구·스킬 모음 출시

엔비디아(www.nvidia.co.kr)가 아시아 최대 ICT 전시회 컴퓨텍스(COMPUTEX) 2026을 맞이해 개최한 엔비디아 GTC 타이베이(NVIDIA GTC Taipei)에서 대규모 오픈소스 피지컬 AI 스킬과 도구 모음을 발표했다. 이를 통해 개발자는 복잡한 로보틱스, 자율주행차, 비전 AI, 산업용 디지털 트윈 워크플로우를 에이전트가 즉시 실행 가능한 작업으로 전환할 수 있다. 또한 대규모 피지컬 AI 워크플로우 구축에 필요한 비용, 시간, 복잡성을 크게 줄일 수 있다. 

AI 에이전트는 단순히 코드를 작성하는 수준을 넘어 개발 작업 전반을 조율하는 단계로 진화하고 있다. 이 흐름 속에서 피지컬 AI가 핵심 분야로 부상하고 있다. 엔비디아 에이전트 툴킷(Agent Toolkit)의 일부로 제공되는 엔비디아 피지컬 AI 스킬은 에이전트가 엔비디아 라이브러리, 모델, 프레임워크를 활용해 로봇, 자율주행차, 공장, 연구실 전반의 데이터 생성, 시뮬레이션, 훈련, 평가, 배포 파이프라인을 가속하도록 지원한다. 

엔비디아 창립자 겸 CEO 젠슨 황(Jensen Huang)은 “AI 에이전트가 소프트웨어 개발에 혁신을 가져오고 있다. 이제 이러한 변화는 피지컬 AI로 확장되며 교통, 제조, 의료, 로보틱스를 혁신할 새로운 시스템으로 이어지고 있다. 에이전트가 엔비디아 라이브러리, 모델, 프레임워크를 직접 활용할 수 있게 되면서 피지컬 AI 개발은 더욱 가속화될 것이다. 이에 따라 개발자들은 차세대 로봇, 자율주행차, 산업용 시스템을 이전보다 훨씬 빠르게 구축할 수 있게 될 것”이라고 말했다. 

피지컬 AI 개발에 최적화된 에이전트 도구와 스킬

엔비디아는 라이브러리, 모델, 프레임워크를 에이전트가 직접 호출해 사용할 수 있는 도구로 전환함으로써, 피지컬 AI 스택 전반을 에이전트 중심으로 최적화하고 있다. 여기에는 물리적 세계의 추론과 생성을 위한 엔비디아 코스모스™(Cosmos™) 월드 파운데이션 모델, 시뮬레이션과 디지털 트윈을 위한 엔비디아 옴니버스™(Omniverse™) 라이브러리, 로보틱스 시뮬레이션과 로봇 학습을 위한 엔비디아 아이작™(Isaac™), 비전 AI를 위한 엔비디아 메트로폴리스(Metropolis), 자율주행을 위한 엔비디아 알파마요(Alpamayo), 엣지 AI 개발을 위한 엔비디아 젯슨™(Jetson™) 플랫폼 등이 포함된다. 

개발자들의 도구 활용을 지원하기 위해, 엔비디아는 엔비디아 에이전트 툴킷의 일부로 새로운 스킬을 출시한다. 이를 통해 피지컬 AI 개발 프로세스를 코딩 에이전트가 따라 수행할 수 있는 반복 가능한 지침으로 전환할 수 있다. 여기에는 호출해야 할 도구, 생성해야 할 출력 결과, 개발자가 결과를 검증하는 방법 등이 포함된다. 

또한 개발자는 이 스킬들을 엔비디아 네모클로™(NemoClaw™) 블루프린트, 엔비디아 오픈쉘™(OpenShell™) 런타임과 결합해 자율 에이전트를 안전하게 구축, 배포할 수 있다. 해당 시스템은 로컬, 클라우드 환경에서 정책 기반의 보안과 개인정보 보호 거버넌스를 제공한다. 

엔비디아의 피지컬 AI 스킬과 도구는 다음과 같은 분야에서 에이전틱 개발을 가속하고 있다. 

   로보틱스, 엣지 AI: 로봇 개발자는 스킬을 활용해 인식과 이동성 훈련 데이터 생성을 비롯한 시뮬레이션, 내비게이션 훈련 자동화, 로봇 학습 고도화, 배포를 위한 젯슨 기반 엣지 시스템 최적화 등 로보틱스 개발 파이프라인 전반을 가속할 수 있다.

   자율주행차: 자율주행차 개발자의 경우, 기술은 에이전트가 차량에서 수집한 데이터를 가상 시뮬레이션 환경으로 재구성하고, 실제와 유사한 주행 시나리오를 대규모로 생성할 수 있다. 또한 폐쇄 루프 강화 학습을 실행함으로써 훈련과 평가 범위를 크게 확장할 수 있다.

   실시간 비전 AI 에이전트: 자동 검사와 비디오 인텔리전스 분야에서 에이전트 스킬은 합성 훈련 데이터 생성과 모델 파인튜닝에 활용될 수 있다. 또한 데이터 라벨링을 자동화하고, 실시간 또는 녹화 비디오를 검색, 요약, 분석하는 비디오 AI 에이전트 구축에도 활용 가능하다.

   산업용 AI: 산업용 소프트웨어 개발자는 스킬을 활용해 엔지니어링 데이터를 디지털 트윈 시뮬레이션용 컴퓨터 지원 설계(computer-aided design, CAD) 에셋으로 쉽게 변환할 수 있다. 동시에 수작업 설정 작업을 최소화해 대규모 오픈USD(Universal Scene Description, OpenUSD) 장면을 효율적으로 최적화할 수 있다.

   의료: 의료 기관은 임상 환경에 자동화를 도입하기 전에 에이전트를 활용해 병원 환경의 디지털 트윈을 구축하고, 심 투 리얼(sim-to-real) 데이터 생성과 소프트웨어 인 더 루프(software-in-the-loop, SIL) 정책 테스트를 수행할 수 있다. 

이러한 스킬은 서로 결합되며 더 큰 규모의 에이전틱 시스템에 통합될 수 있다, 이를 통해 개발자는 데이터 생성, 시뮬레이션, 최적화, 추론 튜닝, 지속적 평가 등 복잡한 워크플로우 전반을 조정하고 자동화할 수 있다. 

글로벌 선도기업, 엔비디아 피지컬 AI 기술 도입

제조, 자율주행차, 의료, 산업용 소프트웨어 등 전 산업 분야의 선도기업은 엔비디아 피지컬 AI 라이브러리를 활용해 자율 시스템과 산업용 AI 개발을 고도화하고 있다. 

이들 라이브러리가 에이전트 활용에 최적화됨에 따라, 개발자는 엔비디아 스킬을 활용해 복잡한 피지컬 AI 워크플로우 전반의 설정, 실행, 반복 작업을 에이전트가 자동화하도록 지원할 수 있다. 

전자 제조 분야에서 TSMC와 페가트론(Pegatron)은 시각 검사 모델을 파인튜닝하고 있다. 페가트론은 결함 이미지 생성(Defect Image Generation) 스킬로 생성한 합성 데이터를 활용해 AI 모델 훈련과 배포 시간을 기존 대비 67% 단축했다. 

델타 일렉트로닉스(Delta Electronics)는 스킬을 활용해 합성 결함 데이터를 생성했다. 금속 버스바(busbar)의 과도한 납땜 불량을 잡아냄으로써 불량 검출율을 17% 향상시켰다. 인벤텍(Inventec)은 결함 이미지 생성 스킬을 통합한 시각 검사 파이프라인 관찰 에이전트(Observation Agent)를 개발함으로써, 노트북 섀시 제조 공정 결함 데이터 수집에 소요되는 부담을 30% 줄였다. 폭스콘은 딥하우(DeepHow)와 협력해 스킬을 활용해 제조 초기 단계에서 오류를 탐지함으로써 효율을 극대화하고, 초도 수율을 약 3% 향상시켰다. 

자율주행차 분야에서 리오토(Li Auto), 아파리(Afari), 딥루트.ai(DeepRoute.ai)는 엔비디아 옴니버스 누렉(NuRec) 모델을 활용해 뉴럴 장면 재구성과 렌더링을 수행하고 있다. 이들 기업은 하루 1,000건 이상의 재구성과 30만 건 이상의 렌더링, 시뮬레이션을 생성하고 있으며, 새로운 에이전트 스킬 리포지토리를 활용해 보다 안전하고 고도화된 자율주행 시스템 개발을 가속하고 있다. 

산업용 AI 분야에서 케이던스(Cadence), 다쏘시스템(Dassault Systèmes), 지멘스(Siemens), 시높시스(Synopsys)는 엔비디아 옴니버스 라이브러리와 기술을 활용해 엔지니어링 데이터 검사, 시뮬레이션, 인터랙티브 디지털 트윈을 구현하고 있다. 또한 PTC, 멧AI(MetAI), 라이트휠(Lightwheel)은 엔비디아 아이작 심™(Isaac Sim™) 프레임워크와 오픈USD 기반 워크플로우를 활용해 CAD 데이터를 시뮬레이션 가능한 에셋과 환경으로 전환하고 있다. 한편 SK하이닉스(SK hynix)는 ‘자율형 팹 2030(Autonomous Fab 2030)’ 로드맵의 일환으로 엔비디아 옴니버스 기반 반도체 팹 디지털 트윈을 구축하고 있다. 또한 엔비디아, SK텔레콤(SK Telecom)과 ㄸ협력해 제조 특화 피지컬 AI를 위한 엔비디아 에이전트 툴킷 검증을 진행하고 있다. 

1x, 애자일 로봇(Agile Robots), 어질리티(Agility), 필드AI(FieldAI), 헥사곤 로보틱스(Hexagon Robotics), 뉴라 로보틱스(NEURA Robotics), 스킬드 AI(Skild AI), 유니버설 로봇(Universal Robots) 등 글로벌 로보틱스 선도기업들은 데이터 생성부터 배포에 이르기까지, 로보틱스 개발의 모든 과정을 가속화하는 데 엔비디아의 에이전트 최적화 피지컬 AI 스택을 전격 활용하고 있다. 

폭스콘과 컴팔(Compal)은 엔비디아 헬스케어용 아이작(Isaac for Healthcare)을 활용해 병원 로보틱스 분야의 개발을 가속하고 있다. 폭스콘은 환자 진료에 AI 기반 로보틱스를 적용하기 위해 누라봇(Nurabot)을 여러 병원과 장기 요양 시설로 확대 보급하고 있다. 또한 수술실 워크플로우 최적화를 위해 스크럽 간호 협동 로봇(Scrub Nurse Collaborative Robot)을 새롭게 선보였다. 컴팔은 폴리메드X(PolyMedX) 로봇 개발을 고도화하며, 시뮬레이션, AI, 실제 의료 현장 운영이 통합된 병원 전반의 종합 플랫폼으로 발전시키고 있다. 

사용 정보

엔비디아 피지컬 AI 에이전트 도구와 스킬은 현재 깃허브(GitHub)와 스킬스.sh(skills.sh)를 통해 이용 가능하며, 모든 코딩 에이전트와 함께 사용할 수 있다. 

뉴럴 리컨스트럭션(Neural Reconstruction), 비디오 증강(Video Augmentation), 결함 이미지 생성 등 합성 데이터 생성을 위한 에이전트 스킬과 도구는 엔비디아 브레브(Brev)에서 피지컬 AI 런처블(Physical AI Launchables)로 즉시 체험할 수 있다. 피지컬 AI 런처블은 에이전트 스킬과 도구를 사전 구성된 환경으로 제공해 합성 데이터 생성과 평가를 더욱 빠르게 수행할 수 있도록 지원한다. 

마이크로소프트(Microsoft), 코어위브(CoreWeave), 네비우스(Nebius)는 이러한 에이전트 스킬과 도구를 자사 클라우드 서비스에 통합해 개발자가 합성 데이터 생성과 배포를 보다 효율적으로 수행하고 확장할 수 있도록 지원하고 있다. 

여기에서 엔비디아 창립자 겸 CEO 젠슨 황의 기조연설을 시청하고, 엔비디아 GTC 타이베이에 대한 자세한 내용을 확인할 수 있다. 여기에서 피지컬 AI 관련 세션을 살펴볼 수 있다.