엔비디아 베라 루빈·블랙웰, 와트당 에이전틱 AI 성능의 새로운 기준 제시

엔비디아(www.nvidia.co.kr)가 베라 루빈 NVL72와 블랙웰 GB300 NVL72의 세미애널리시스 에이전트X(SemiAnalysis AgentX) 벤치마크 결과를 공개하며, 에이전틱 AI 추론 성능과 전력 효율의 새로운 기준을 제시했다. 

AI 에이전트는 추론을 단일 턴 상호작용에서 여러 단계에 걸친 추론, 도구 호출, 하위 에이전트 조정, 턴 사이 다량의 컨텍스트 연결 등 다단계 워크플로우로 확장했다. 이러한 변화의 규모는 실제 소비량에서도 뚜렷하게 나타난다. 오픈라우터(OpenRouter)의 State of AI 보고서가 실제 사용 데이터 100조 토큰을 분석한 결과, 요청당 평균 프롬프트 토큰 수가 약 4배 증가했으며, 단일 에이전트 요청이 일반 채팅에 비해 15배 더 많은 토큰을 소비하는 것으로 나타났다.

이러한 워크로드에서 하드웨어 성능을 정확하게 평가하는 것은 새로운 과제를 제시한다. 유용한 벤치마크는 현실적인 동시성 조건 하에서 긴 컨텍스트 프리필(prefill), KV 캐시 재사용, 인터랙티브 디코딩, 툴 호출 간격, 분산형 전문가 혼합(mixture of experts, MoE) 실행을 모두 반영해야 한다. 또한 적절한 사용자 경험을 유지하면서 AI 팩토리의 전력 예산 중 얼마나 많은 부분이 유용한 에이전트 처리량으로 전환되는지도 보여줘야 한다. 

본 자료에서는 실제 운영 환경과 유사한 세션을 재현해 에이전틱 코딩 추론을 위한 AI 인프라를 평가하는 벤치마크인 세미애널리시스 에이전트X를 다룬다. 베라 루빈 NVL72의 프리뷰 결과에서는 GB300 NVL72 대비 메가와트당 AI 팩토리 처리량이 최대 30배 높은 성능을 보였다. 또한 블랙웰 GB300 NVL72는 이전 세대 대비 메가와트당 처리량에서 압도적인 성능 우위를 동적 에이전틱 워크로드에서도 이어가는 것으로 나타났다. 

에이전트X란 무엇인가?

에이전트X는 세미애널리시스의 오픈소스 벤치마크 모음인 인퍼런스X(InferenceX)에 포함된 에이전틱 코딩 벤치마크다. 이 벤치마크는 실제 코딩 에이전트가 생성하는 요청 패턴에 대해 가속기가 얼마나 효율적으로 대응하는지 측정한다. 

에이전트X 테스트 및 측정 방법론

에이전틱 세션은 길고, 상태를 유지하며, 가변적이다. 아래 그림 1과 같이 고정된 프롬프트-응답 패턴을 따르는 대신 모델 호출과 도구 사용을 연속적으로 수행하고, 컨텍스트를 지속적으로 확장한다. 따라서 에이전트X는 플랫폼이 재현된 에이전트 트래픽을 신속하게 처리하고, 이전에 처리된 컨텍스트를 재사용하며, 설비 전력 기준 메가와트당 에이전트 처리량을 극대화할 수 있는지를 측정한다.

그림 1. 에이전틱 세션은 가변적인 추론 시퀀스를 생성한다. 

아래 그림 2는 딥시크-R1-0528(DeepSeek-R1-0528)을 대상으로 기존 인퍼런스X의 정적 8K/1K 시퀀스 길이에서 측정한 결과를 보여준다. GB300 NVL72는 H200 대비 메가와트당 토큰 처리량이 최대 40배 높다. 그러나 이 시나리오는 실제 운영 환경에서 에이전트가 생성하는 트래픽이 아닌, 통제된 고정 길이의 서빙 환경을 나타낸다.

그림 2. GB300 NVL72는 8K ISL / 1K OSL 딥시크 R1 0528 테스트에서 더 넓은 인터랙티브 성능 범위에 걸쳐 H200 대비 전체 유틸리티 전력 기준 메가와트당 더 높은 토큰 처리량을 제공한다. 

실제 에이전트 세션에서는 요청 길이가 턴마다 달라진다. 작업이 진행되는 동안 컨텍스트가 누적되고, 이전에 처리된 토큰을 재사용할 수 있으며, 모델 호출은 도구 실행이나 위임된 작업으로 인해 중단되기도 한다. 

에이전틱 AI가 주요 워크로드로 자리 잡으면서 고정된 시퀀스 길이 시나리오는 실제 서빙 성능을 충분히 반영하기 어려웠으며, 이에 따라 인퍼런스X 제품군에서는 유지 관리 모드(maintenance mode)로 전환됐다. 

에이전트X는 추론과 도구 사용이 교차하는 사전 녹화된 클로드 코드(Claude Code) 세션 전반의 서빙 성능을 측정함으로써 이러한 격차를 해소한다. 에이전트X는 AIPerf 클라이언트를 사용해 각 세션을 턴 단위로 재현한다. 모든 시스템에 동일하게 기록된 트래픽이 적용되므로, 측정된 성능 차이는 벤치마크에 특화된 튜닝이 아닌 서빙 스택 자체의 차이를 반영한다. 아래 그림 3은 사전 녹화된 세션의 예시를 보여준다.

그림 3. 세션이 진행됨에 따라 컨텍스트가 누적된다. 

리플레이는 각 세션의 컨텍스트와 입출력 시퀀스 길이는 물론, 원래의 실행 과정에서 기록된 추론 시간과 도구 호출 지연 시간도 그대로 유지한다. 이러한 시간 간격을 보존함으로써 원래 세션의 타이밍을 재현하며, 실제 환경을 반영하는 벤치마크에서 반드시 고려해야 하는 KV 캐시 용량에 대한 부하를 재현한다. 

에이전트X는 동시 실행 수준을 조정해 처리량과 인터랙티브 성능 간의 상충 관계를 측정한다. 각 운영 지점에서 할당된 메가와트당 지속 처리량과 함께 각 스택이 반복되는 컨텍스트를 재사용하는 능력을 측정해 보고한다. 

에이전트X 결과 해석 방법

AI 팩토리에서 가장 중요한 에이전트X 지표는 메가와트당 토큰 수다. 이 벤치마크는 해당 지표를 E2E 정규화 인터랙티브 성능(E2E normalized interactivity), 표준 인터랙티브 성능(standard interactivity), E2E 지연 시간(E2E latency), 첫 토큰 생성 시간(time to first token, TTFT) 등 네 가지 사용자 경험 지표와 함께 제시한다.

표 1. 에이전트X 주요 성능 지표 

엔비디아 베라 루빈 NVL72 결과

다음 베라 루빈 NVL72 결과는 엔비디아가 세미애널리시스 에이전트X 워크로드를 사용해 측정한 것으로, 현재 세미애널리시스의 검토 대기 중이다. 아래 그림 4와 같이 에이전트X 딥시크 V4-프로(DeepSeek V4-Pro) 워크로드에서 사용자당 초당 160토큰을 기준으로 베라 루빈 NVL72는 GB300 NVL72 대비 메가와트당 AI 팩토리 처리량을 최대 30배 높인다. 이는 동일한 응답성 수준을 유지하면서 에이전틱 추론 용량을 크게 향상시킬 수 있음을 보여준다.

그림 4. 베라 루빈, 인터랙티브 성능 160에서 메가와트당 30배 높은 처리량 제공 

엔비디아 베라 루빈 NVL72가 메가와트당 최대 성능을 제공하도록 어떻게 설계됐는지 자세히 알아보려면 엔비디아 루빈 GPU 아키텍처 살펴보기: 에이전틱 AI 시대를 위한 동력(Inside NVIDIA Rubin GPU Architecture: Powering the Era of Agentic AI)을 참조하면 된다. 

엔비디아 GB300 NVL72 결과

에이전트X 워크로드에서 딥시크 V4 프로 1.6T(DeepSeek V4 Pro 1.6T)를 실행한 결과, GB300 NVL72는 H200 NVL8 대비 메가와트당 AI 팩토리 처리량을 최대 15배 높인다. 즉, GB300 NVL72는 동일한 전력 예산 내에서 훨씬 더 높은 응답성을 유지하면서 더 많은 에이전틱 추론 처리량을 제공한다.

그림 5. GB300 NVL72, H200 NVL8 대비 메가와트당 AI 팩토리 처리량 최대 15배 향상 

이러한 처리량 우위는 단위 경제성으로 직결된다. GB300 NVL72는 H200 NVL8 대비 100만 토큰당 비용을 최대 10분의 1 수준으로 낮춘다. 운영자 입장에서는 동일한 전력 및 인프라 예산으로 훨씬 더 많은 인터랙티브 에이전틱 AI 용량을 지원하거나, 동일한 용량을 훨씬 낮은 운영 비용으로 제공할 수 있음을 의미한다.

그림 6. GB300 NVL72, H200 NVL8 대비 토큰 비용 최대 10분의 1 수준으로 절감 

모델 규모가 커질수록 GB300 NVL72의 이점은 더욱 두드러진다. 아래 그림 7은 에이전트X 워크로드에서 키미 K3 2.8T(Kimi K3 2.8T)의 메가와트당 처리량을 보여준다. 비슷한 수준의 인터랙티브 성능에서 GB300 NVL72는 H200 NVL8 대비 메가와트당 약 80배 높은 처리량을 제공한다. 또한 사용자당 인터랙티브 성능을 초당 약 215토큰까지 확장해 H200 NVL8이 도달한 운영 범위를 크게 넘어선다.

그림 7. GB300 NVL72, 키미 K3 2.8T에서 H200 NVL8 대비 메가와트당 80배 높은 처리량 제공 

이러한 GB300 NVL72 결과는 서빙 런타임, 모델 커널, 스케일업 패브릭 전반에 걸친 시스템 수준의 최적화를 반영한다. 이러한 요소들이 함께 작동해 에이전트 세션에서 컨텍스트가 누적되고 동시 실행이 증가하며 디코딩 수요가 높아지는 상황에서도 대규모 MoE 모델이 높은 응답성을 유지하면서 처리량을 지속적으로 제공할 수 있도록 지원한다. 

l  MoE 서빙 런타임: SGLang, 텐서RT-LLM(TensorRT-LLM), vLLM 등의 프레임워크는 NVL72 도메인 전반에 전문가 실행을 분산할 수 있다. 와이드 엑스퍼트 패러렐리즘(Wide Expert Parallelism)과 DeepEP 등의 기술은 더 많은 GPU에 전문가 워크로드를 균형 있게 분산해 동시 에이전트 요청에 활용할 수 있는 유효 배치 크기를 늘린다.

l  MoE 커널 및 통신 오버랩: DeepGEMM 기반 커널, MXFP4와 MXFP8 등의 혼합 정밀도 형식, 융합 MoE 실행 경로는 전문가 단계 간 데이터 이동에 소요되는 시간을 줄인다. 전문가 병렬 통신과 텐서 코어(Tensor Core) 연산을 중첩함으로써 서빙 스택은 추론 및 코딩 워크로드의 토큰 처리량을 향상시킬 수 있다.

l  엔비디아 다이나모(Dynamo): 다이나모는 프리필(prefill)과 디코드(decode)를 독립적으로 확장 가능한 워커 풀로 분리해 각 단계를 개별적인 성능 요구사항에 맞게 구성할 수 있도록 한다. 또한 관련 모델 호출, 도구 실행 구간, 트레이스를 에이전트 실행 전반에서 연계하는 세션 ID를 통해 세션 인식형 서빙(session-aware serving)을 지원한다. 이와 별도로 KV 캐시 인식 라우터는 캐시 중복도와 워커 부하를 기반으로 처리 대상을 선택해 불필요한 프리필 연산을 줄이고, 에이전트 세션에서 컨텍스트를 재사용할 때에도 멀티턴 서빙의 높은 응답성을 유지하도록 지원한다.

l  엔비디아 NV링크(NVLink) 스케일업 패브릭: NV링크는 GB300 NVL72의 72개 GPU를 고대역폭 스케일업 도메인으로 연결한다. 이를 통해 대규모 모델을 하나의 통합된 랙 스케일 시스템으로 서빙하는 데 필요한 컴퓨팅, 메모리, 전문가 병렬 통신, KV 캐시 이동을 지원한다. 

에이전틱 AI의 다음 단계

베라 루빈 NVL72는 랙 스케일 시스템을 에이전틱 추론의 긴 컨텍스트, 인터랙티브, 분산 실행 패턴에 맞게 최적화했을 때 구현할 수 있는 가능성을 보여준다. 베라 루빈 플랫폼은 이러한 접근 방식을 전체 워크플로우로 확장한다. 루빈 GPU는 대규모 컨텍스트 처리와 디코딩을 효율적으로 수행하고, 베라 CPU는 도구 실행과 KV 캐시 오프로딩을 처리하며, 그록 3 LPX(Groq 3 LPX)는 초고속 인터랙티브 성능을 구현한다. 

AI 팩토리 전반에서 NV링크 6(NVLink 6), 커넥트X-9(ConnectX-9), 블루필드-4(BlueField-4), 스펙트럼-X(Spectrum-X)는 리소스 간 토큰, 컨텍스트, 도구 실행 결과의 이동을 지원한다. 다이나모, 어텐션-FFN 분리(Attention-FFN Disaggregation), NVFP4, 텐서RT-LLM WideEP, 추측 디코딩(speculative decoding)은 가장 적합한 프로세서 전반에서 실행을 조율한다. 이를 통해 재연산과 대기 시간을 줄이고, 에이전트 세션이 확장되는 환경에서도 인터랙티브 성능을 유지하며, 동일한 전력 예산으로 더 높은 에이전틱 AI 처리량을 구현할 수 있다. 

이번 결과를 뒷받침하는 기술과 벤치마크에 대한 자세한 내용은 아래 자료에서 확인할 수 있다.

l  엔비디아 루빈의 아키텍처와 주요 기능 살펴보기

l  세미애널리시스 인퍼런스X 대시보드(SemiAnalysis InferenceX Dashboard)에서 실시간 벤치마크 결과 확인하기

l  극한의 공동 설계로 증가하는 에이전틱 시스템의 복잡성에 대응하기(Building for the Rising Complexity of Agentic Systems with Extreme Co-Design)에서 엔비디아의 극한의 공동 설계가 에이전틱 시스템의 증가하는 복잡성, 지연 시간, 경제성 문제를 어떻게 해결하는지 알아보기