차세대 헬스케어 로보틱스 위한 오픈소스 인프라, 엔비디아 오픈소스 피지컬 AI 모델 공개

엔비디아(www.nvidia.co.kr)가 미국 새너제이에서 열린 세계 최대 AI·가속 컴퓨팅 콘퍼런스인 ‘엔비디아(NVIDIA) GTC 2026’에서 헬스케어 로보틱스를 위한 최초의 도메인 특화 피지컬 AI 플랫폼을 출시했다고 발표했다. 

엔비디아 헬스케어 피지컬 AI 도구는 수술용 로봇 선도 기업인 CMR 서지컬(CMR Surgical), 존슨앤드존슨 메드테크(Johnson & Johnson MedTech)와 수술용 피지컬 AI 플랫폼 개발사 페리타스AI(PeritasAI), 프록시미(Proximie)가 가장 먼저 도입한다.

헬스케어 분야의 AI는 지난 수년간 주로 화면 속에서 의료 영상을 분석하고, 환자 예후를 예측하는 역할에 머물러 있었다. 이제 엔비디아가 헬스케어 로보틱스를 위한 최초의 도메인 특화 피지컬 AI 플랫폼을 출시함에 따라, AI는 화면을 넘어 물리적 세계로 확장되고 있다. 

페리타스AI는 이러한 기술을 통합해 수술용 피지컬 AI 플랫폼을 구축한다. 이는 로봇과 멀티 에이전트 지능을 결합해 실시간으로 상황을 감지하고, 조정하며, 실행할 수 있도록 지원한다. 또 다른 피지컬 AI 플랫폼 개발사인 프록시미는 수술실에서 수술팀을 지원할 수 있는 비전 언어 모델(vision language model, VLM)을 개발하고 있다. 

GTC에서 발표된 이러한 도구들은 차세대 헬스케어 로봇을 통해 의료 서비스 제공 방식을 혁신하려는 개발자들에게 강력한 개방형 인프라를 제공한다. 주요 내용은 다음과 같다.

l  오픈-H(Open-H): 세계 최대 규모의 헬스케어 로보틱스 데이터셋이다. 약 30개의 협력 기관과 함께 구축된 오픈-H는 수술 절차의 실제 다양성과 복잡성을 반영하며, 700시간 이상의 수술 영상을 제공해 첨단 범용 로봇 시스템 개발을 가속화한다.

l  코스모스-H(Cosmos-H): 엔비디아 코스모스(Cosmos) 기반의 오픈 모델 제품군으로, 물리 기반 합성 데이터를 대규모로 생성할 수 있는 코스모스-H-서지컬(Cosmos-H-Surgical)을 포함한다. 프롬프트, 참고 이미지 또는 영상, 로봇 운동학 데이터를 기반으로 수술 영상을 생성하는 3가지 모델을 제공한다. 개발자는 코스모스-H를 통해 실제 데이터셋을 사실적인 시뮬레이션으로 보완하고, 수술 환경의 미래 상태를 예측해 로봇 동작 정책을 평가할 수 있다.

l  GR00T-H: 엔비디아 아이작 GR00T N(Isaac GR00T N) 기반의 VLA 모델로 임상 작업을 설명하는 텍스트 명령을 처리해, 동작 토큰이라 불리는 동작 명령을 생성한다. 오픈-H로 훈련됐으며, 의료 환경에서 복잡한 물리적 동작을 수행하도록 개발된 로봇을 훈련하고 평가하는 데 사용할 수 있다.

l  리오(Rheo): AI 헬스케어 로보틱스를 위한 아이작 포 헬스케어(Isaac for Healthcare) 개발자 프레임워크 내에서 제공되는 개발자 블루프린트다. 병원 환경에 대한 물리적으로 정확한 시뮬레이션을 생성하고, 이를 통해 개발자는 안전한 개발과 테스트를 진행할 수 있다.

35개 협력사와 함께 구축된 오픈-H 데이터셋은 776시간의 수술 영상, 11개의 로봇 시스템 구현체, 4개의 수술 적응증을 포함한다. 

수술용 로보틱스, 영상 진단, 병원 자동화 분야 선도 기업들은 이미 헬스케어 로보틱스를 위해 엔비디아 피지컬 AI 기술을 활용하고 있다. 

l  CMR 서지컬은 GR00T-H 사전 훈련을 지원하기 위해 오픈-H에 500시간에 가까운 수술 영상을 제공한다. 또한 코스모스-H를 사용해 물리적으로 정확한 합성 수술 데이터를 생성하고, 새로운 로봇 제어 정책을 평가한다.

l  존슨앤드존슨 메드테크는 코스모스 기반 파운데이션 모델과 아이작 포 헬스케어의 해부학적 시뮬레이션을 활용해 비뇨기과용 모나크(MONARCH) 플랫폼의 사후 훈련 워크플로우 데이터를 생성하고 개선한다.

l  페리타스AI는 아이작 포 헬스케어와 리오를 활용해 수술 환경에 체화된 인텔리전스를 도입하는 휴머노이드 로봇과 VLA 모델을 훈련시킨다. 이를 통해 실시간 상황 인식, 무균 환경 내 협업, 수술 기구·임플란트·수술실 워크플로우의 지능형 관리를 지원한다. 이를 위해 라이트휠(Lightwheel), 어드벤트 헬스 병원(Advent Health Hospitals)과 협력하고 있다.

l  프록시미는 코스모스-H를 기반으로 수술실 이미지와 수술 영상을 결합한 멀티모달 VLA 모델을 훈련시킨다. 이러한 모델은 수술 전 과정에 걸쳐 수술적 인사이트와 조정을 제공하는 실시간 AI 에이전트의 기반이 된다. 

엔비디아 헬스케어 로보틱스 기술을 추가로 도입한 기업으로는 문 서지컬(Moon Surgical)과 롭 서지컬(Rob Surgical)이 있다. 

오픈-H, 코스모스-H, GR00T-H는 현재 깃허브(GitHub)와 허깅 페이스(Hugging Face)를 통해 제공되며, 개발자들은 이를 활용해 특정 수술 시나리오에 맞게 사후 훈련과 맞춤 설정을 진행할 수 있다. 이러한 도구들은 엔비디아 아이작 포 헬스케어와 리오 블루프린트와 결합돼, 수술 로봇의 훈련과 평가를 위한 시뮬레이션 파이프라인을 지원한다. 

여기에서 리오 블루프린트에 대한 자세한 내용을 확인할 수 있다.