엔비디아 베라 루빈 NVL72, AI 에이전트 위한 새로운 효율성 기준 제시

엔비디아(www.nvidia.co.kr)가 엔비디아 베라 루빈 NVL72(NVIDIA Vera Rubin NVL72)의 새로운 에이전틱 AI 성능 측정 결과를 공개했다. 실제 에이전틱 코딩 작업을 기반으로 한 측정에서 베라 루빈 NVL72는 엔비디아 GB300 NVL72 대비 메가와트당 처리량을 최대 30배 높이고 100만 토큰당 비용을 최대 35배 낮췄다. 

오픈라우터(OpenRouter) 데이터에 따르면 에이전틱 AI 워크로드는 단순한 채팅 요청보다 15배 많은 토큰을 소비한다.

AI 에이전트가 투자 결정을 위해 한 기업을 조사하는 상황을 예로 들어보자. 에이전트는 금융 데이터베이스를 조회하고 뉴스와 공시 자료를 검색하며, 하위 에이전트(sub-agent)를 호출해 동종 기업 비교와 기업가치 모델링을 수행한 뒤 모든 결과를 종합해 투자 의견을 제시한다. 에이전트와 하위 에이전트는 작업이 완료될 때까지 지속적으로 추론하기 때문에 토큰 수요도 증가한다. 각 단계에서 누적된 토큰은 다음 단계의 입력으로 이어지므로, 긴 컨텍스트를 효율적으로 처리하는 능력이 에이전틱 AI 성능의 핵심 요소가 된다.

투자 조사를 위한 에이전틱 워크플로우 내부 구조

이러한 패턴은 소프트웨어 개발부터 고객 서비스, 심층 연구에 이르기까지 모든 에이전틱 AI 활용 사례에서 동일하게 나타난다. 

에이전틱 AI가 다양한 산업에서 실제 운영 환경에 도입되면서, 이를 구동하는 인프라는 급증하는 토큰 수요를 효율적으로 처리해야 한다. 

새롭게 측정된 성능 데이터에 따르면 엔비디아 베라 루빈(Vera Rubin) NVL72 시스템은 에이전틱 워크로드에서 엔비디아 GB300 NVL72 대비 메가와트당 처리량을 최대 30배 높인다. 엔비디아는 실제 에이전틱 코딩 세션을 기록한 세미애널리시스 에이전트X(SemiAnalysis AgentX) 워크로드를 사용해 추론 처리량을 측정했으며, 실제 컨텍스트 증가와 툴 호출, 하위 에이전트 생성 과정까지 그대로 반영했다. 전력 제약이 있는 AI 팩토리에서는 동일한 전력으로 최대 30배 더 많은 에이전틱 AI 작업을 처리할 수 있다는 의미다. 

베라 루빈 NVL72의 이러한 초기 결과는 엔비디아의 빠른 혁신 속도를 보여준다. 지속적인 소프트웨어 최적화를 통해 베라 루빈 NVL72와 GB300 NVL72 모두 성능이 계속 향상될 예정이다. 

베라 루빈 NVL72, 메가와트당 처리량 최대 30배 향상·토큰 비용 최대 35배 절감

에이전틱 워크로드는 일반적으로 입출력 시퀀스가 1,000~8,000개 토큰 수준인 채팅이나 문서 요약과 근본적으로 다르다. 에이전틱 세션에서는 여러 단계에 걸쳐 컨텍스트가 누적되며, 입력 토큰 수가 수십만 개에 이를 수 있다. 또한 요청마다 입력과 출력 길이의 편차도 크다. 따라서 성능 측정 방식 역시 단일 추론 요청이 아닌 에이전트의 전체 워크플로를 반영할 수 있도록 발전해야 한다.

복잡한 에이전틱 벤치마크가 필요해진 추론 성능 평가 

아래 결과는 실제 에이전틱 코딩 작업 경로를 기반으로 측정한 성능을 보여준다. 

세미애널리시스 에이전트X에서 엔비디아 블랙웰(Blackwell) 플랫폼은 키미 K3(Kimi K3) 미니맥스 M3(MiniMax M3), GLM5.3, 큐원3.5(Qwen3.5), 딥시크 V4 프로(DeepSeek V4 Pro) 등 다양한 에이전틱 모델에서 업계 최고 수준의 성능을 제공한다. 

예를 들어 GB300 NVL72는 딥시크 V4 프로 모델에서 엔비디아 호퍼(Hopper) 아키텍처 대비 메가와트당 처리량을 최대 15배 높여, 에이전틱 워크로드를 실행하기 위한 고성능 기반을 제공한다. 이러한 성능 향상은 더 큰 스케일업 GPU 도메인과 공동 설계된 소프트웨어를 통해 추론 효율을 크게 높이는 엔비디아 플랫폼의 강점을 보여준다. 

베라 루빈은 이러한 이점을 한층 확대해 전체 파레토 곡선(Pareto curve)에서 성능을 높이며, 딥시크 V4 프로 모델에서 GB300 NVL72 대비 메가와트당 최대 30배 높은 처리량을 제공한다. 세미애널리시스 에이전트X 워크로드를 사용해 측정한 이번 초기 결과는 현재 세미애널리시스의 검토를 기다리고 있으며, 툴 호출 시 베라 CPU의 성능은 아직 반영되지 않았다.

엔비디아 베라 루빈 NVL72, 메가와트당 처리량 최대 30배 향상

엔비디아 DSX MaxLPS 기술은 GPU, 랙, 워크로드 수준에서 전력을 관리해 동일한 메가와트급 전력 예산 내에서 최대 40% 더 많은 GPU를 배치할 수 있도록 한다. 이를 통해 AI 팩토리 규모에서 메가와트당 처리량을 더욱 높인다. 

메가와트당 처리량은 생성되는 각 토큰의 비용에도 직접적인 영향을 미친다. 베라 루빈 NVL72는 GB300 NVL72 대비 100만 토큰당 비용을 최대 35배 낮춰, 다양한 고객 워크로드에서 AI 에이전트를 대규모로 지속 운영할 수 있도록 한다.

엔비디아 베라 루빈 NVL72, 토큰 비용 최대 35배 절감

전력 제약이 있는 AI 팩토리에서는 메가와트당 처리량이 AI 팩토리의 매출을 좌우하며, 100만 토큰당 비용은 해당 매출에서 얻을 수 있는 수익성을 결정한다. 

에이전틱 AI 규모 확장을 위한 극한의 공동 설계

현대적인 추론 최적화에는 에이전틱 AI에서 특히 중요한 다양한 기술이 활용된다. 엔비디아 베라 루빈 NVL72는 플랫폼의 모든 계층에 걸친 극한의 공동 설계를 통해 이러한 기술을 비롯한 다양한 최적화를 지원하며, 여러 배의 성능 향상을 제공한다. 

l   분리형 서빙(Disaggregated serving)은 컨텍스트 처리인 프리필(prefill)과 응답 생성인 디코드(decode)를 분리해 각각 독립적으로 확장할 수 있도록 한다.

l   레이트 매칭(Rate matching)은 프리필 GPU와 디코드 GPU가 토큰을 생성하는 속도를 동기화해 효율을 극대화한다.

l   대규모 전문가 병렬화(Large-scale expert parallelism)는 전문가 혼합(Mixture-of-Experts, MoE) 모델의 전문가 서브네트워크를 스케일업 GPU 도메인 전반에 분산한다.

l   분산 KV 캐싱(Distributed KV-caching)은 스케일업 GPU 도메인 전반으로 메모리를 확장한다. KV 캐시 오프로딩(KV-cache offloading)은 사용 빈도가 낮은 컨텍스트를 호스트와 스토리지로 계층화해, 이미 처리된 컨텍스트를 재연산 없이 계속 활용할 수 있도록 한다.

l   KV 인식 라우팅(KV-aware routing)은 관련 캐시 컨텍스트를 이미 보유하고 있는 GPU로 들어오는 요청을 전달해 긴 세션에서 불필요한 중복 연산을 줄인다.

l   메가MoE(MegaMoE)와 같은 융합 쿠다(CUDA) 커널은 다수의 연산과 GPU 간 통신 작업을 하나의 실행 단계로 결합해 GPU가 데이터를 기다리지 않고 지속적으로 작업할 수 있도록 한다.

엔비디아 루빈 GPU에 탑재된 향상된 5세대 텐서 코어(Tensor Core)와 3세대 트랜스포머 엔진(Transformer Engine)은 추론의 프리필과 디코드 단계를 모두 가속한다. NVFP4 양자화는 모델 가중치를 4비트 정밀도로 압축해 출력 품질 저하 없이 메모리 사용량을 줄이고 처리량을 높인다. 

NVL72 스케일업 도메인은 베라 루빈과 그레이스 블랙웰(Grace Blackwell)을 대표하는 핵심 아키텍처로, 대규모 전문가 병렬화와 분산 KV 캐싱 같은 기술에 필수적인 고대역폭·저지연 GPU 간 통신을 지원한다. 이 스케일업 도메인을 구동하도록 특수 설계된 엔비디아 NV링크(NVLink) 인터커넥트 기술과 NV링크 스위치는 현재 6세대에 이르렀으며, 범용 이더넷(Ethernet) 대안 대비 10배 높은 패킷 처리율과 3배 낮은 지연 시간을 제공한다. 

엔비디아 소프트웨어 스택은 최적화된 쿠다 커널부터 엔비디아 텐서RT LLM과 같은 추론 런타임, 엔비디아 다이나모(Dynamo)와 같은 서빙 프레임워크에 이르기까지 하드웨어와 공동 설계돼 다양한 추론 최적화를 구현한다. 

위 결과는 현재 베라 루빈 NVL72의 성능을 보여주지만, 전체 플랫폼은 엔비디아 베라 CPU, 그록 3 LPU(Groq 3 LPU), NV링크 6 스위치, 블루필드-4(BlueField-4) DPU, 스펙트럼-6 SPX(Spectrum-6 SPX), 커넥트X-9 슈퍼NIC(ConnectX-9 SuperNIC)를 포함하는 7칩 아키텍처로 구성된다. 모든 칩은 AI 에이전트를 대규모로 구축하는 AI 팩토리를 위해 특수 설계됐다. 

이러한 극한의 공동 설계는 엔비디아와 파트너의 공동 엔지니어링까지 확장된다. 베라 루빈은 현재 본격적으로 양산되고 있으며 생태계 전반으로 확장되고 있다. 

엔비디아 베라 루빈 플랫폼에 대한 자세한 내용은 관련 페이지에서 확인할 수 있다.