엔비디아 메트로폴리스, 코스모스 기반 비전 AI 에이전트 개발 가속하는 에이전트 지원 라이브러리 제공

엔비디아(www.nvidia.co.kr)가 엔비디아 메트로폴리스(NVIDIA Metropolis)를 통해 엔비디아 코스모스 기반 비전 AI 에이전트 개발을 가속하는 에이전트 지원 라이브러리를 제공한다고 밝혔다. 

기업들이 물리적 세계 전반에서 더 많은 영상 데이터를 수집하면서, 비전 AI는 수동적인 인식과 대시보드를 넘어 실시간으로 이해하고 추론하며 행동할 수 있는 에이전틱 시스템으로 발전하고 있다. 엔비디아 코스모스(Cosmos) 오픈 모델 제품군과 같은 추론형 비전 언어 모델(VLM)을 기반으로 하는 이러한 에이전틱 시스템은 운영 상황과 환경적 맥락, 문제의 근본 원인 등에 관한 풍부한 인사이트를 영상에서 도출한다.

실제 운영에 투입할 수 있는 고정확도 비전 AI 에이전트를 구축하려면 데이터 수집, 모델 학습, 검증, 배포 전반에 걸쳐 수천 시간의 개발 작업이 필요할 수 있다. 엔비디아 메트로폴리스는 엔비디아 VSS 블루프린트(VSS Blueprint) 3.2, 엔비디아 딥스트림(DeepStream) 9.1, 엔비디아 TAO 7, 피지컬 AI 데이터 팩토리(Physical AI Data Factory)를 포함한 80개 이상의 새로운 스킬을 패키지로 제공한다. 이를 통해 개발자는 코딩 에이전트를 활용해 해당 개발 프로세스를 최소 6배 가속할 수 있다. 

아실라(Asilla), AWL, 후지쯔(Fujitsu), 히타치(Hitachi), 오므론(OMRON), 시미즈 건설(Shimizu Corporation), 야자키 노스 아메리카(Yazaki North America)를 포함한 일본의 산업과 스마트 공간 선도 기업들은 메트로폴리스를 활용해 공장, 건설 현장, 매장, 건물, 공공장소에 비전 AI 에이전트를 도입하고 있다. 

메트로폴리스 오픈 라이브러리와 스킬로 비전 AI 라이프사이클 전반 지원

메트로폴리스는 데이터 파이프라인 구축부터 합성 데이터 생성, 모델 파인튜닝, 대규모 에이전트 배포에 이르기까지 전체 비전 AI 개발 라이프사이클을 아우르는 포괄적인 오픈 라이브러리와 스킬을 제공한다. 

새로운 라이브러리는 다음과 같다. 

엔비디아 VSS 블루프린트 3.2는 개발자가 자연어를 사용해 실시간 또는 녹화 영상에서 보고, 추론하고, 행동할 수 있는 비전 AI 에이전트를 구축하고 운영하도록 지원한다. 코딩 에이전트를 위한 새로운 스킬은 대규모 카메라 네트워크 전반에서 알림을 제공하고, 요약하고, 검색하는 맞춤형 상시 작동 영상 에이전트를 더욱 빠르게 구축하고 운영할 수 있도록 한다.

엔비디아 딥스트림 9.1은 개발자가 대규모 데이터 수집, 다중 카메라 추적, 운영 분석을 위해 엣지에서 클라우드까지 실시간 다중 센서 영상 분석 파이프라인을 생성하고 배포하도록 지원한다.

엔비디아 TAO 7은 라벨링, 성능 진단, 미세 조정, 데이터 생성, 자동화된 머신러닝을 위한 에이전트 스킬을 통해 개발자가 엔비디아 코스모스와 기타 비전 AI 모델을 맞춤화하고 최적화하도록 지원한다.

엔비디아 피지컬 AI 데이터 팩토리 스킬은 개발자가 엔비디아 코스모스를 활용해 합성 이미지와 영상 데이터를 자동으로 생성하고 증강하도록 지원한다. 이를 통해 드물거나 새롭게 나타난 제품 결함, 환경 변화와 기타 엣지 케이스에 대한 학습 데이터의 공백을 보완하고, 비전 모델의 정확도를 새로운 수준으로 높일 수 있다. 

엔비디아 메트로폴리스로 에이전틱 비전 AI 발전 가속

일본 기업들은 새로운 엔비디아 메트로폴리스 기술을 활용해 물리적 운영 환경에 실시간 인텔리전스를 도입하고 있다.

산업 검사와 운영 분야에서 오므론은 VSS 기반 영상 분석 에이전트를 활용해 자동 검사를 강화하고 있다.

딥하우(DeepHow)는 야자키 노스 아메리카가 시간·동작 연구를 자동화를 지원하고 있다. 이를 통해 기존에 몇 주가 걸리던 프로세스를 며칠로 단축하고 연간 수백만 달러의 비용 절감 효과를 창출하고 있다.

스마트 공간과 공공 안전 분야에서 여러 히타치 HMAX 솔루션이 VSS 기반 에이전트를 활용해 실행 가능한 인사이트를 생성하고 건물과 철도 인프라의 문제를 식별하고 있다. 이를 통해 철도 애플리케이션에서만 유지보수 비용과 에너지 소비를 15% 줄이는 데 기여한다. 후지쯔 코즈치 AI 플랫폼(Fujitsu Kozuchi AI platform)은 VSS와 자체 에이전틱 메모리 기술을 결합해 장시간 영상을 운영 지식으로 전환한다. 이를 통해 제조, 물류, 리테일, 스마트 공간 전반에서 의사결정을 가속한다. 한편, 시미즈 건설은 건설 작업자의 안전을 위해 VSS를 시범 운영하고 있다. 

아실라는 딥스트림과 VLM을 활용해 공공장소와 상업 시설을 모니터링하며 사고를 감지하고 대응 시간을 단축하고 있다. 한편, AWL은 딥스트림을 활용해 리테일과 제조 분야를 위한 솔루션을 구축하고 있다.

개발자는 깃허브(GitHub)에서 엔비디아 VSS 블루프린트 3.2 스킬, 엔비디아 딥스트림 9.1 스킬, 엔비디아 TAO 7 스킬을 이용할 수 있다. 엔비디아 피지컬 AI 데이터 팩토리와 합성 데이터 생성 스킬도 깃허브를 통해 제공되며, 엔비디아 브레브(Brev)의 피지컬 AI 런처블(Physical AI Launchables)을 통해 직접 체험할 수 있다.