엔비디아 베라 루빈 NVL72, 세미애널리시스 에이전트X서 메가와트당 처리량 최대 30배 달성

엔비디아(www.nvidia.co.kr)가 엔비디아 베라 루빈 NVL72(NVIDIA Vera Rubin NVL72)의 에이전틱 AI 성능 결과가 세미애널리시스 에이전트X(SemiAnalysis AgentX) 대시보드에 공개됐다고 밝혔다. 딥시크 V4 프로(DeepSeek V4 Pro) 모델에서 베라 루빈 NVL72는 엔비디아 GB300 NVL72 대비 메가와트당 처리량을 최대 30배 높였다.

세미애널리시스 에이전트X는 단일 요청 벤치마크가 아닌 실제 기록된 에이전틱 코딩 세션을 기반으로 추론 성능을 측정하며, 실제 컨텍스트 증가와 툴 호출 지연 시간, 하위 에이전트 생성 과정까지 그대로 반영한다. 

에이전틱 워크로드는 추론 벤치마크가 그동안 측정해 온 요청-응답형 작업과 다른 구조를 가진다. 에이전트가 추론하고 툴을 호출하며 하위 에이전트를 생성하는 과정에서 한 번의 세션에 수십만 개의 입력 토큰이 누적될 수 있다. 이는 단순한 채팅 요청 대비 약 15배 많은 토큰을 사용하는 규모이며, 요청마다 입력과 출력 길이의 편차도 크다. 이러한 과정을 엔드투엔드로 측정하려면 에이전트의 전체 작업 경로를 기반으로 설계된 벤치마크가 필요하다. 에이전트X는 이러한 특성을 반영해, 다양한 모델과 시나리오에서 요청 단위 성능을 측정하는 MLPerf 추론(MLPerf Inference)과 같은 표준화된 벤치마크 체계를 보완한다. 

이러한 효율성 향상은 AI 팩토리의 경제성으로 직접 이어진다. 메가와트당 처리량이 최대 30배 높아지면 동일한 에너지 사용량으로 최대 30배 더 많은 에이전틱 작업을 처리할 수 있다. 또한 에이전트X 결과에서는 100만 토큰당 비용도 최대 45배 낮아졌다. 전력 제약이 있는 환경에서는 메가와트당 처리량이 AI 팩토리가 창출할 수 있는 매출 규모를 결정하고, 100만 토큰당 비용은 해당 매출의 수익성을 좌우한다. 

이러한 성능은 NVL72 스케일업 도메인과 6세대 NV링크(NVLink) 인터커넥트, 5세대 텐서 코어(Tensor Core)의 NVFP4 정밀도, 엔비디아 텐서RT LLM과 엔비디아 다이나모(Dynamo)를 아우르는 추론 스택 등 플랫폼 전반의 긴밀한 공동 설계를 통해 구현됐다. 베라 루빈은 현재 본격 양산 중이며 생태계 전반으로 확장되고 있다. 향후 지속적인 소프트웨어 최적화를 통해 성능도 계속 향상될 예정이다. 

여기에서 이번 성능 결과를 구현한 엔비디아 베라 루빈 플랫폼 아키텍처에 대한 자세한 내용을 확인할 수 있다.