AI 에이전트 혁신 가속, 엔비디아 네모트론·코스모스 추론 모델 확장

엔비디아(www.nvidia.co.kr)가 글로벌 최대 컴퓨터 그래픽 콘퍼런스인 시그라프(SIGGRAPH)에서 추론 기능을 갖춘 2개의 모델 제품군인 엔비디아 네모트론(NVIDIA Nemotron)과 엔비디아 코스모스(Cosmos)의 확장을 발표했다. 

캡제미니(Capgemini)에 따르면 AI 에이전트는 2028년까지 매출 증가와 비용 절감을 통해 최대 4,500억 달러의 가치를 창출할 것으로 예상된다. 이러한 에이전트를 개발하는 개발자들은 AI 에이전트 플랫폼과 피지컬 AI 시스템을 개선하기 위해 성능이 더 우수한 추론 모델을 활용하고 있다.

업계 선도 기업들은 AI 에이전트와 휴머노이드 로봇을 통해 생산성을 높이는 데 엔비디아의 확장된 모델 제품군을 활용하고 있다. 크라우드스트라이크(CrowdStrike), 우버(Uber), 마그나(Magna), 넷앱(NetApp), 줌(Zoom)이 그 대표적인 기업들이다. 

새로운 엔비디아 네모트론 나노 2(Nemotron Nano 2)와 라마 네모트론 슈퍼 1.5(Llama Nemotron Super 1.5) 모델은 과학적 추론, 수학, 코딩, 툴 호출, 명령어 준수, 채팅 분야에서 해당 크기 범주 내 최고 정확도를 제공한다. 이 새로운 모델은 AI 에이전트가 더 깊이 생각하고 효율적으로 작업할 수 있도록 지원한다. 이를 통해 더 폭넓은 옵션을 탐색하고, 연구 속도를 높이며, 설정된 시간 내에서 더 우수한 결과를 제공한다. 

모델은 AI 에이전트의 두뇌와 같다. 핵심 지능을 제공하는 것이다. 그러나 이 두뇌가 비즈니스에 유용하려면 특정 워크플로우뿐 아니라 산업과 비즈니스 용어를 파악하고 안전하게 작동하는 에이전트에 탑재돼야 한다. 엔비디아는 선도적인 라이브러리와 AI 블루프린트(AI Blueprint)를 제공해 기업이 AI 에이전트를 대규모로 도입하고 맞춤화하며 관리할 수 있도록 지원한다. 

코스모스 리즌(Cosmos Reason)은 피지컬 AI 애플리케이션을 위해 개발된 새로운 추론 비전 언어 모델(vision language model, VLM)이다. 이는 구조화된 추론을 통해 물리학, 객체 영속성, 시공간 정렬과 같은 개념을 이해하는 데 탁월하다. 

코스모스 리즌은 로봇 비전언어행동(vision language action, VLA) 모델의 추론 기반 구조로 설계됐으며, 로보틱스와 자율주행 차량을 위한 훈련 데이터의 평가와 캡션 생성에 활용된다. 또한 공장이나 도시와 같은 환경에서 물리적 작업에 대한 시공간 이해와 추론 능력을 런타임 시각 AI 에이전트에 제공한다. 

엔터프라이즈 AI 에이전트를 위한 최고 수준의 정확도와 효율성을 제공하는 네모트론

기업들은 복잡한 다단계의 작업에 대응하기 위해 AI 에이전트를 개발하고 있다. 이에 따라 강력한 추론 정확도와 효율적인 토큰 생성을 제공하는 모델은 지능적이고 자율적인 의사결정을 대규모로 수행하고 있다. 

엔비디아 네모트론은 선도적인 모델과 엔비디아가 선별한 오픈 데이터세트 그리고 첨단 AI 기술을 활용해 AI 에이전트에 정확하고 효율적인 출발점을 제공하는 고급 오픈 추론 모델 제품군이다. 

최신 네모트론 모델은 세 가지 방식으로 업계 최고의 효율성을 제공한다. 새로운 하이브리드 모델 아키텍처, 소형 양자화 모델 그리고 토큰 생성 과정을 개발자가 제어할 수 있는 구성 가능한 사고 예산(thinking budget)이다. 이를 통해 추론 비용을 약 60% 절감할 수 있다. 이 조합은 모델이 더 깊이 추론하고 더 빠르게 응답할 수 있도록 하며, 추가적인 시간이나 컴퓨팅 파워를 요구하지 않는다. 즉, 더 낮은 비용으로 더 나은 결과를 제공하는 것이다. 

네모트론 나노 2는 동급의 다른 주요 모델 대비 최대 6배 높은 토큰 생성 성능을 제공한다. 

라마 네모트론 슈퍼 1.5는 동급 최고 성능과 가장 높은 추론 정확도를 달성해, AI 에이전트가 더 뛰어난 추론을 수행하고, 더 현명한 결정을 내리며, 복잡한 작업을 독립적으로 처리할 수 있도록 한다. 현재 NVFP4(4비트 부동소수점) 버전으로 제공되며, 엔비디아 B200 GPU에서 엔비디아 H100 GPU 대비 최대 6배 높은 처리량을 제공한다.

더 낮은 추론 비용으로 뛰어난 정확도를 제공하는 엔비디아 라마 네모트론 슈퍼 1.5 

위 도표는 네모트론 모델이 동일한 시간과 동일한 컴퓨팅 예산 내에서 최고 수준의 추론 정확도를 제공하며, 달러당 최고 정확도를 달성함을 보여준다. 

두 개의 새로운 네모트론 모델과 함께 엔비디아는 첫 번째 오픈 VLM 훈련 데이터세트인 라마 네모트론 VLM 데이터셋 v1도 발표했다. 이 데이터세트는 광학 문자 인식, 시각적 질의응답, 캡션 데이터 등 300만 개의 샘플을 포함하며, 이전에 공개된 라마 3.1 네모트론 나노 VL 8B 모델을 구동하는 데 사용된다. 

추론 모델의 정확도 외에도, 에이전트는 다양한 소스에 연결된 데이터에서 가장 관련성이 높은 최신 정보를 검색해 의사결정을 내리기 위해 검색 증강 생성(retrieval-augmented generation, RAG)에 의존한다. 최근 공개된 라마 3.2 네모 리트리버(NeMo Retriever) 임베딩 모델은 ViDoRe V1, ViDoRe V2, MTEB 비주얼도큐먼트리트리버(MTEB VisualDocumentRetrieval) 등 세 개의 시각 문서 검색 리더보드에서 모두 1위를 차지하며 에이전트 기반 시스템의 정확도를 향상시키는 데 기여했다.

엔비디아 모델, 데이터세트, 에이전트의 상위 리더보트 차트

이러한 논리적 추론과 정보 검색 모델을 활용해 AI-Q 엔비디아 블루프린트로 구축된 심층 연구 에이전트는 현재 딥리서치 벤치(DeepResearch Bench)에서 개방형과 이동식 에이전트 부문 1위를 차지하고 있다. 

엔비디아 네모와 엔비디아 NIM 마이크로서비스는 개발과 배포부터 에이전트 시스템의 모니터링과 최적화까지 AI 에이전트의 전체 라이프사이클을 지원한다.

피지컬 AI에 혁신을 가져올 코스모스 리즌

VLM은 컴퓨터 비전과 로보틱스 분야에서 혁신을 가져오며, 기계가 사물과 패턴을 식별할 수 있도록 했다. 그러나 비추론 VLM은 현실 세계를 이해하고 상호작용하는 능력이 부족하다. 이는 곧 모호하거나 새로운 상황을 처리하지 못하고, 복잡한 다단계 작업을 해결할 수 없다는 것을 의미한다. 

엔비디아 코스모스 리즌은 피지컬 AI와 로보틱스를 위해 설계된 새로운 개방형 맞춤화 가능 70억 파라미터 추론 VLM이다. 코스모스 리즌은 로봇과 비전 AI 에이전트가 사전 지식, 물리학 이해, 상식을 활용해 실제 인간처럼 물리적 세계를 이해하고 행동할 수 있도록 한다. 

코스모스 리즌은 로보틱스와 피지컬 AI 애플리케이션 전반에 걸쳐 고급 기능을 제공한다. 여기에는 훈련 데이터 평가와 캡션 생성, 로봇 의사결정, 영상 분석 AI 에이전트 구축 등이 있다. 

이 모델은 방대하고 다양한 훈련 데이터세트의 큐레이션과 주석 작업을 자동화해 고정밀 AI 모델 개발을 가속화할 수 있다. 또한 새로운 환경에서도 복잡한 지시를 실행 가능한 단계로 해석해 VLA 모델에 전달하는 고급 추론 엔진으로 작동해 로봇 계획 수립을 지원할 수 있다. 

또한 엔비디아 메트로폴리스(Metropolis) 플랫폼을 기반으로 하는 영상 검색과 요약(video search and summarization, VSS)용 엔비디아 블루프린트를 통해 구축된 영상 분석 AI 에이전트를 구동한다. 이를 통해 저장된 대규모 또는 실시간 영상 데이터에서 유용한 인사이트를 도출할 수 있다. 이러한 시각 인식과 상호작용형 AI 에이전트는 공장, 물류창고, 소매점, 공항, 교통 교차로 등에서 이상 현상을 탐지함으로써 운영 효율성을 높이는 데 도움을 준다. 

엔비디아 로보틱스 연구팀은 코스모스 리즌을 데이터 필터링과 큐레이션에 이용하고 있다. 또한, 차세대 엔비디아 아이작 GR00T NX(Isaac GR00T NX)와 같은 VLA 모델의 ‘시스템 2(System 2)’ 추론 VLM으로도 활용하고 있다. 

AI 에이전트와 로봇을 위해 어디서나 제공되는 엔비디아 추론 모델

다양한 기업과 컨설팅 선도 기업들이 엔비디아의 최신 추론 모델을 채택하고 있다. 사이버 보안부터 통신 분야까지 다양한 분야의 리더들이 엔터프라이즈 AI 에이전트 구축을 위해 네모트론을 활용 중이다. 

줌은 줌 AI 컴패니언(Zoom AI Companion)과 네모트론 추론 모델을 결합해 줌 미팅(Zoom Meetings), 줌 챗(Zoom Chat), 줌 문서 전반에서 사용자를 대신해 의사결정을 내리고 다단계 작업을 관리, 실행할 계획이다. 

크라우드스트라이크는 네모트론 모델을 테스트해 샬롯(Charlotte) AI 에이전트가 크라우드스트라이크 팔콘(Falcon) 플랫폼에서 쿼리를 작성할 수 있도록 지원하고 있다. 

암독스(Amdocs)는 어메이즈 스위트(amAIz Suite)에서 엔비디아 네모트론 모델을 활용해 의료, 판매, 네트워크, 고객 지원 등 복잡한 다단계 자동화를 처리하는 AI 에이전트를 구동하고 있다. 

EY는 높은 처리량을 제공하는 네모트론 나노 2를 도입해 대규모 조직의 세금, 리스크 관리, 재무 분야에 적용되는 에이전트형 AI를 지원하고 있다. 

넷앱은 현재 AI 에이전트가 비즈니스 데이터를 검색하고 분석할 수 있도록 네모트론 추론 모델을 테스트 중이다. 

데이터로봇(DataRobot)은 자사의 에이전트 워크포스 플랫폼(Agent Workforce Platform)에서 엔드-투-엔드 라이프사이클 관리를 위해 네모트론 모델을 활용하고 있다. 

탭나인(Tabnine)은 개발자를 대신해 코딩 작업을 제안하고 자동화하기 위해 네모트론 모델을 활용하고 있다. 

오토메이션애니웨어(Automation Anywhere), 크루AI(CrewAI), 데이터이쿠(Dataiku) 등도 네모트론 모델을 자사 플랫폼에 통합하는 에이전트형 AI 소프트웨어 개발사 중 일부이다. 

운송, 안전, AI 인텔리전스 분야를 선도하는 기업들은 코스모스 리즌을 활용해 자율 주행, 영상 분석, 도로와 작업장 안전을 발전시키고 있다. 

우버는 자율주행 차량의 행동을 분석하기 위해 코스모스 리즌을 활용 중이다. 또한 코스모스 리즌을 사후 훈련(post-training)해 시각적 데이터를 요약하고, 보행자가 고속도로를 건너는 상황과 같은 시나리오를 분석해 품질 분석을 수행하며 자율주행 차량의 행동을 개선하고 있다. 

코스모스 리즌은 자율주행 차량의 두뇌 역할을 할 수 있다. 이 시스템은 로봇이 주변 환경을 해석하고, 복잡한 명령을 받아 이를 작업으로 세분화해 상식적인 판단을 바탕으로 실행할 수 있도록 한다. 이는 심지어 익숙하지 않은 환경에서도 가능하다. 

센티픽(Centific)은 AI 기반 비디오 인텔리전스 플랫폼을 강화하기 위해 코스모스 리즌을 테스트 중이다. 이 VLM은 플랫폼이 복잡한 영상 데이터를 실행 가능한 인사이트로 처리해 허위 경보를 줄이고 의사결정 효율성을 높이는 데 도움을 준다. 

바스트(VAST)는 엔비디아 코스모스 리즌과 자사의 AI 운영 체제를 결합해 대규모 영상 스트림을 실시간으로 처리하는 도시 인텔리전스 기술을 개발하고 있다. VSS 블루프린트를 통해 바스트는 사건을 식별하고 대응하는 에이전트를 구축할 수 있으며, 이를 통해 영상 스트림과 메타데이터를 실행 가능하고 선제적 공공 안전 도구로 전환할 수 있다. 

앰비언트.에이아이(Ambient.ai)는 코스모스 리즌의 시간적, 물리적 요소를 고려한 추론 기술을 활용해 개인 보호 장비 미착용을 자동으로 감지하고, 위험한 환경을 모니터링하는 기능을 구현하고 있다. 이는 건설, 제조, 물류 등 산업 현장에서 환경 보건과 안전을 강화하는 데 기여한다. 

마그나는 자사의 완전 자율주행, 저비용 즉시 배송 솔루션인 시티 딜리버리 플랫폼(City Delivery Platform) 개발에 코스모스 리즌을 적용해 차량이 새로운 도시 환경에 더 빠르게 적응할 수 있도록 지원한다. 해당 모델은 차량의 장기 경로 계획에 월드 이해(world understanding) 기능을 추가한다. 

이 모델들은 엔비디아 NIM 마이크로서비스로 제공돼, 엔비디아 가속 인프라 어디서든 안전하고 신뢰성 있게 배포할 수 있으며, 높은 수준의 개인정보 보호와 제어 권한을 보장한다. 이 모델들은 곧 아마존 베드록(Amazon Bedrock)과 아마존 세이지메이커 AI(Amazon SageMaker AI)를 통해 네모트론 모델로, 애저 AI 파운드리(Azure AI Foundry), 오라클 데이터 사이언스 플랫폼(Oracle Data Science Platform), 구글 버텍스 AI(Google Vertex AI)를 통해 제공될 예정이다. 

코스모스 리즌은 build.nvidia.com에서 사용해 보거나 허깅페이스(Hugging Face) 또는 깃허브(GitHub)에서 다운로드할 수 있다.

네모트론 나노 2와 라마 네모트론 슈퍼 1.5(NVFP4)는 곧 다운로할 수 있으며, 여기에서 네모트론 모델에 대해 더 자세히 알아보고, 이전 버전을 다운로드할 수 있다.

허깅페이스에서 라마 네모트론 VLM 데이터세트 v1을 다운로드할 수 있다. 

여기에서 시그라프에서 진행된 엔비디아 리서치(Research) 특별 발표를 확인할 수 있다.

여기에서 소프트웨어 제품 정보에 대한 공지사항을 확인할 수 있다.