엔비디아 그록 3 LPX, 긴 컨텍스트에서도 에이전틱 AI 위한 초고속 상호작용 구현

엔비디아(www.nvidia.co.kr)가 엔비디아 그록 3 LPX(NVIDIA Groq 3 LPX)를 통해 엔비디아 베라 루빈(Vera Rubin)에서 긴 컨텍스트를 유지하면서 초고속 상호작용을 구현할 수 있다고 발표했다. 

엔비디아 그록 3 LPX는 엔비디아 베라 루빈 플랫폼을 위한 인터랙티브 AI 추론 가속기이다. 이 플랫폼의 핵심에는 지금까지 구축된 가장 범용성이 높은 시스템인 엔비디아 베라 루빈 NVL72가 있다. 엔비디아 베라 루빈 NVL72는 소형 모델부터 대형 모델까지 개방형 모델과 폐쇄형 모델을 아우르는 가장 폭넓은 AI 워크로드에서 높은 처리량과 상호작용성을 제공한다. 엔비디아 그록 3 LPX를 엔비디아 베라 루빈 NVL72와 함께 사용하면 최고 수준의 상호작용성이 요구되는 서빙 티어(serving tier)까지 지원하도록 플랫폼의 역량을 확장할 수 있다. 이를 통해 베라 루빈은 AI 팩토리에서 사용자 경험을 구동하는 역량을 한층 강화한다.

엔비디아 그록 3 LPX 시스템을 대상으로 한 최초의 서드파티 성능 벤치마크에서 아티피셜 애널리시스(Artificial Analysis)는 엔비디아 그록 3 LPX에서 젬마 4(Gemma 4) 31B 모델을 대상으로 100K 컨텍스트 벤치마크를 실행했으며, 초당 3,431개의 출력 토큰이라는 세계적 최고 수준의 상호작용 성능을 측정했다. 이러한 성능을 구현하는 기술을 기반으로 엔비디아 그록 3 LPX와 엔비디아 베라 루빈 NVL72를 결합하면, 엔비디아 베라 루빈 플랫폼은 2조 개 이상의 파라미터를 갖춘 모델로 구동되는 멀티 에이전트 시스템을 높은 상호작용성과 긴 컨텍스트로 서비스할 수 있다. 

높은 상호작용성에서 긴 컨텍스트가 중요한 이유

에이전틱 세션은 멀티턴(multiturn) 추론을 특징으로 한다. 각 턴이 끝날 때마다 에이전트의 응답이 지속적으로 확장되는 컨텍스트에 추가되며, 이 컨텍스트는 이후의 모든 턴에 입력된다.

그림 1. 멀티턴 에이전틱 세션이 진행됨에 따라 각 턴으로 전달되는 컨텍스트가 지속적으로 증가한다. 

그림 1에서 볼 수 있듯이 전체 에이전틱 세션에 걸쳐 컨텍스트는 수십만 개의 토큰으로 증가할 수 있으며, 특히 세션이 수백 턴을 넘어설수록 그 규모가 더욱 커진다. 즉, 작업이 진행됨에 따라 에이전트는 지금까지 축적한 모든 정보를 반복적으로 처리해야 한다. 

긴 컨텍스트가 없다면 에이전트는 이전에 발생한 일과 관련된 컨텍스트 중 극히 일부만 고려할 수 있다. 기반 모델이 아무리 빠르고 뛰어나더라도, 컨텍스트가 제한적이라면 에이전트의 능력도 제한될 수밖에 없다. 가장 뛰어난 에이전트는 세션이 진행됨에 따라 긴 컨텍스트를 유지하는 동시에 빠른 처리 속도를 보장해야 한다. 

긴 컨텍스트에서 초고속 상호작용성으로 모델을 서빙하기 어려운 이유

사용자당 초당 3,000개 이상의 토큰으로 모델을 서빙하는 동시에 10만 개 입력 토큰에 대한 KV 캐시를 관리하려면 고유한 시스템 과제를 해결해야 한다. 추론 시스템에서는 텐서 병렬화(Tensor Parallelism, TP)와 같은 분할 정복 기법을 활용해 성능을 약 10배 수준으로 크게 높일 수 있지만, 이를 위해서는 시스템이 필요한 조정 작업, 즉 집합 연산(collective operations)을 효율적으로 관리할 수 있어야 한다. 그러나 최고 수준의 상호작용성을 구현하려면 매우 작은 배치 크기가 필요한데, 이 경우 고정적으로 발생하는 조정 비용이 텐서 병렬화를 통해 절감되는 시간보다 더 커질 수 있다. 

텐서 병렬화는 두 단계로 이뤄진다. 일련의 연산을 여러 칩에 나눠 병렬로 수행하는 단계와 그 결과를 다시 결합하는 단계다. 높은 상호작용성이 필요한 추론에서는 배치 크기가 매우 작기 때문에 TP를 효과적으로 활용하기 위해 긴밀한 조정이 필요하다. 수많은 작은 텐서가 컴퓨팅 유닛 사이를 오가며, 각 텐서는 정확히 필요한 위치와 시점에 전송되고 도착해야 한다. 이 과정에서 통신하고 결과를 결합하는 데 걸리는 시간이 연산을 분산함으로써 절감한 시간과 비슷해지거나 오히려 더 길어질 수 있다.

그림 2. 모든 시스템에서 두 칩 또는 코어 간 데이터 전송에 걸리는 시간을 나타내는 방정식. 텐서 병렬화를 활용한 소규모 배치 추론에서는 일반적으로 첫 비트 레이턴시(A)가 병목으로 작용한다. 이는 전송되는 데이터의 양(N)이 사용 가능한 네트워크 대역폭(B)에 비해 매우 적기 때문이다. 

어떤 시스템에서든 프로세서 간 네트워크는 이러한 일련의 전송 과정을 조정해야 한다. 그림 2와 같이, 각 개별 전송에 걸리는 전체 시간은 두 가지 요소로 구성된다. 

첫 비트 레이턴시: 전송에 사용할 특정 통신 링크를 결정하고, 송신 측과 수신 측 링크의 엔드포인트를 동기화하며, 충돌을 조정하는 데 걸리는 시간이다. 예를 들어 두 칩이 동시에 하나의 링크를 통해 데이터를 전송하려는 경우가 이에 해당한다.

전송 시간: 네트워크를 통해 실제로 데이터를 전송하는 데 걸리는 시간으로, 네트워크 대역폭 대비 전송되는 데이터 양에 따라 결정된다. 

텐서 병렬화를 통해 약 10배 수준의 속도 향상을 얻기 위해서는 첫 비트 레이턴시를 가능한 한 최소 수준으로 낮춰야 한다. 모델 가중치와 긴 컨텍스트 KV 캐시 모두에 병렬화를 적용하면서 전체 순전파 과정에서 이를 구현하려면, 낮은 레이턴시와 긴 컨텍스트를 모두 고려해 설계된 접근 방식이 필요하다. 

엔비디아 그록 3 LPX가 긴 컨텍스트에서 초고속 상호작용성으로 모델을 서빙하는 방법

엔비디아 그록 3 LPX는 컴파일러 기반 워크로드 스케줄링 계획을 활용해 긴 컨텍스트에서도 초고속 상호작용성으로 모델을 서빙한다. 여기에는 랙 내부 칩 투 칩(chip-to-chip, C2C) 네트워킹과 연산을 프로세서 간 통신과 상당 부분 중첩해 수행하는 기능이 포함된다. 

정밀하게 스케줄링된 칩 간 통신

엔비디아 그록 3 LPX는 결정론적 실행 모델을 사용한다. 즉, 컴파일러는 다음 요소를 파악할 수 있다. 

256개의 LP30 LPU(Local Processing Unit) 각각에 포함된 개별 컴퓨팅 유닛

칩 전체에 탑재된 총 128GB의 SRAM 기반 메모리

칩당 96개씩 제공되며 각각 112Gbps로 작동하는 C2C 링크 

컴파일러는 이 정보를 활용해 워크로드가 실제로 실행되기 전에 어떤 방식으로 동작할지 클록 사이클 단위까지 정확하게 스케줄링할 수 있다. 

이러한 방식은 여러 이점을 제공한다. 특히 높은 상호작용성을 구현하는 데 중요한 점은 실시간으로 데이터 전송을 중재할 필요가 없다는 것이다. 워크로드가 시작되기 전에 각 데이터가 어느 시점에 각 C2C 링크를 통해 이동할지 미리 계획해 그림 3과 같은 데이터 전송 스케줄을 생성할 수 있기 때문이다.

그림 3. 엔비디아 그록 3 LPX 컴파일러가 워크로드 실행 전에 생성하는 C2C 전송 스케줄 예시. 스마트 시티에서 보행자, 자전거 이용자, 자동차가 서로의 이동을 위해 멈출 필요 없이 실시간으로 최적의 경로로 이동하는 것과 같은 방식이다. 

또한 이러한 워크로드 실행 전 스케줄링은 데이터 전송 방식 자체를 근본적으로 바꾼다. 많은 시스템에서는 적은 양의 데이터를 전송할 때조차 각각의 전송 과정에서 여러 단계를 거쳐야 한다.

한 칩이 데이터 전송을 요청할 수 있다.

다른 칩은 해당 데이터를 전송할 수 있는지 확인한 후 데이터의 위치를 파악할 수 있다.

해당 데이터는 동시에 전송되는 다른 데이터와 전송 자원을 두고 충돌할 가능성이 있다. 

반면 컴파일러가 생성한 스케줄을 활용하면 그림 4와 같이 LPU는 데이터가 준비되는 바로 그 클록 사이클에 데이터를 전송하고, 데이터가 도착하는 클록 사이클에 즉시 이를 사용할 수 있다.

그림 4. LPU의 스케줄링된 라우팅은 전송 단계를 줄이고 충돌을 최소화해 첫 비트 레이턴시를 낮춘다. 

링크는 LPU 쌍 사이를 포인트 투 포인트 방식으로 연결하며, 각 LPU는 프로세서뿐 아니라 라우터 역할도 수행할 수 있다. 따라서 데이터는 필요에 따라 다른 LPU를 거쳐 대상 LPU로 라우팅될 수 있다. 

이러한 네트워킹 설계를 통해 LPX는 그림 2의 첫 비트 레이턴시를 절대적인 최소 수준까지 낮출 수 있다. 배치 크기가 큰 경우에는 실제로 네트워크를 통해 바이트를 전송하는 데 걸리는 시간에 비해 첫 비트 레이턴시가 차지하는 비중이 매우 작다. 그러나 파레토(Pareto) 곡선에서 높은 상호작용성이 요구되는 영역에서는 고정적으로 발생하는 전송 초기화 시간을 최소화하는 것이 매우 중요하다. 

세분화된 연산-통신 중첩

LPX 컴파일러는 소규모 배치 추론에 필요한 수많은 소규모 C2C 전송을 미리 스케줄링할 뿐만 아니라, 이러한 전송과 연산을 매우 세밀한 단위로 중첩해 수행할 수 있다. 

연산과 통신을 중첩하는 것은 모든 추론 시스템에서 최적의 성능을 확보하는 데 필수적이다. LPX는 여기서 한 단계 더 나아가, 컴파일러가 320바이트 벡터 단위로 컴퓨팅과 통신 유닛의 워크로드를 스케줄링한다. 그림 5와 같이 행렬 곱셈을 일련의 내적으로 표현할 수 있다는 점을 활용해, 컴파일러는 개별 LPU가 출력 행렬의 320개 열을 연산하고 연산이 끝나는 즉시 C2C 링크를 통해 전송하도록 스케줄링할 수 있다.

그림 5. 엔비디아 그록 3 LPX는 행렬 곱셈이 일련의 내적으로 구성된다는 점을 활용해, 일부 결과가 준비되는 즉시 전송을 시작한다. 

이를 통해 엔비디아 그록 3 LPX는 전체 행렬 연산이 완료될 때까지 기다리지 않고, 320바이트 벡터를 채울 만큼의 연산 결과가 준비되는 즉시 데이터 전송을 시작할 수 있다. 이는 연산과 통신의 중첩을 늘리며, 특히 작은 텐서를 처리할 때 중요하다(그림 6).

그림 6. 엔비디아 그록 3 LPX의 세분화된 C2C 스케줄링은 통신으로 인한 후속 지연을 최소화하면서 연산을 완료할 수 있도록 한다. 

이러한 기술을 결합하면 긴 컨텍스트 추론에서 연산 집약도가 가장 높은 어텐션 연산의 속도를 약 10배 수준으로 높일 수 있다. 엔비디아 그록 3 LPX는 칩 간 연산과 통신을 긴밀하게 조정하는 스케줄을 통해 텐서 병렬화의 분할 정복 방식을 활용하며, 파레토 곡선에서 소규모 배치와 높은 상호작용성이 요구되는 영역에서도 속도 향상을 제공할 수 있다. 

엔비디아 그록 3 LPX, 아티피셜 애널리시스 벤치마크 100K 컨텍스트에서 선도적 상호작용성 달성

아티피셜 애널리시스는 10K와 100K 입력 컨텍스트 길이에서 각 추론 제공업체가 제공하는 모델의 서빙 속도를 테스트하기 위한 표준 벤치마킹 제품군을 제공한다. 아티피셜 애널리시스는 이 제품군을 활용해 2026년 4월 출시된 310억 파라미터 규모의 덴스 모델 젬마 4를 100K 벤치마크에서 테스트했다. 엔비디아가 자체 데이터센터에 구축한 엔비디아 그록 3 LPX 시스템은 초당 3,431개의 출력 토큰 속도로 답변을 생성했다(그림 7).

그림 7. 아티피셜 애널리시스가 측정한, 입력 컨텍스트 길이가 100K 토큰인 젬마 4에서 엔비디아 그록 3 LPX의 속도

100K 입력 컨텍스트 길이의 샘플 전체에서 측정된 속도의 중앙값은 초당 3,431토큰이었다. 모든 모델과 제공업체에 동일하게 적용되는 “o200K_basetokens” 토크나이저를 사용했다.

랙 전반에서 SRAM에 낮은 레이턴시로 액세스할 수 있어, 수십만 토큰 규모에서도 이러한 속도를 유지할 수 있을 것으로 예상된다. 에이전틱 코딩 작업에서는 에이전트가 수백 개의 파일을 읽으면서 컨텍스트가 100K 토큰을 쉽게 넘어설 수 있으며, 5,000개의 추론과 출력 토큰을 생성할 때 이러한 컨텍스트를 활용할 수 있다. 이는 사용자에게 유용한 긴 컨텍스트를 제공할 뿐 아니라, 사용자 경험을 근본적으로 바꿀 수 있는 속도까지 지원한다. 이 속도로는 5,000개의 토큰을 디코딩하는 데 약 1.5초가 걸리는 반면, 초당 100토큰의 속도에서는 50초가 걸린다. 이조차도 비교적 후하게 잡은 수치인데, 현재 가장 널리 사용되는 에이전틱 툴의 속도는 초당 60토큰에 더 가깝기 때문이다.

그림 8. 모델을 초당 100토큰으로 서빙할 때와 100K 컨텍스트 길이에서 측정된 엔비디아 그록 3 LPX의 속도로 서빙할 때 5,000개 토큰을 생성하는 데 걸리는 시간 비교 

아티피셜 애널리시스는 LPX가 10K 컨텍스트 길이에서도 비슷한 성능을 낼 수 있는지 확인하기 위해 동일한 시스템을 벤치마크했다. 그 결과 엔비디아 그록 3 LPX는 초당 3,382개의 출력 토큰이라는 중앙값 속도로 응답한 것으로 나타났다. LPU의 결정론적 아키텍처와 높은 수준의 텐서 병렬화를 결합함으로써, 컨텍스트 길이가 달라져도 레이턴시와 초당 출력 토큰 수의 변동을 최소화할 수 있다.

그림 9. 아티피셜 애널리시스가 측정한, 입력 컨텍스트 길이가 10K 토큰인 젬마 4에서 엔비디아 그록 3 LPX의 속도 

10K 입력 컨텍스트 길이의 샘플 전체에서 측정된 속도의 중앙값은 초당 3,382토큰이었다. 앞선 사례와 동일하게 “o200K_basetokens” 토크나이저를 사용했다. 

아티피셜 애널리시스와 엔비디아의 테스트 결과, 두 벤치마크에 사용된 엔비디아 구성 모두 출력 결과에서 정밀도나 모델 품질의 손실이 없는 것으로 확인됐다. 아티피셜 애널리시스의 테스트 방법론에서 자세한 내용을 확인할 수 있다. 

보완적인 코딩 특화 성능 측정을 위해 오픈소스 스피드-벤치(SPEED-Bench) 벤치마크도 실행했다. 에이전틱 코딩 워크플로에서는 순수 생성 속도가 특히 중요하기 때문이다. 동일한 젬마 4 모델을 사용한 엔비디아 그록 3 LPX 시스템은 이러한 코딩 질문에 대해 초당 4,767개의 출력 토큰이라는 중앙값 속도와 초당 5,520개의 출력 토큰이라는 P80 속도로 답변을 생성했다. 즉, 이 데이터세트에서 작업의 20%는 초당 5,500토큰 이상의 속도로 완료됐다.

그림 10. 스피드-벤치 코딩 문제에서 젬마 4 기반 엔비디아 그록 3 LPX의 측정 속도 

출력 토큰 속도의 중앙값은 초당 4,767토큰이었으며, 전체 문제의 20% 이상에서 초당 5,500토큰이 넘는 속도로 솔루션이 생성됐다. 

엔비디아 그록 3 LPX와 베라 루빈 NVL72를 통한 긴 컨텍스트 에이전틱 AI 워크로드 가속

엔비디아 그록 3 LPX의 새로운 저지연 특성과 결정론적 실행 역량을 베라 루빈 NVL72 랙과 결합하면 다음과 같은 다양한 서빙 구성을 구현할 수 있다. 

표준 프리필-디코드 분리: 베라 루빈 NVL72가 프리필을 처리하고, 각 턴마다 한 번씩 KV 캐시를 전달한다. 엔비디아 그록 3 LPX는 이 KV 캐시와 SRAM에 저장된 가중치를 사용해 전체 디코드 단계를 수행한다.

어텐션-FFN 분리: 베라 루빈 NVL72는 어텐션을 연산하고 KV 캐시를 DRAM에 유지하는 한편, 엔비디아 그록 3 LPX는 FFN 레이어를 실행한다. 랙 간에는 각 풀 어텐션 레이어마다 한 번씩 중간 토큰만 전송된다.

외부 드래프터 기반 추측 디코딩: 엔비디아 그록 3 LPX는 베라 루빈 NVL72에서 실행되는 대규모 타깃 모델보다 앞서 소형 드래프트 모델을 실행한다. 타깃 모델은 토큰을 검증하고 확정한 뒤, 다음 청크를 위해 거부된 위치를 반환한다. 각 랙은 자체 모델의 KV 캐시를 유지하며, 링크를 통해서는 드래프트 토큰만 전송된다. 

위와 같은 구성은 각 랙이 가장 효율적으로 처리할 수 있는 워크로드 부분에 집중할 수 있도록 한다. 이처럼 완전히 공동 설계된 솔루션을 통해 LPX는 베라 루빈 플랫폼의 높은 상호작용성과 낮은 레이턴시를 새로운 수준으로 끌어올릴 수 있다. 그림 11은 GPT-OSS 모델을 2조 파라미터 규모로 확장해 베라 루빈 NVL72와 엔비디아 그록 3 LPX에서 실행할 경우의 예상 성능을 보여준다.

그림 11. 엔비디아 그록 3 LPX는 베라 루빈 플랫폼의 역량을 확장해 높은 상호작용성이 요구되는 에이전틱 AI 워크로드를 지원한다. 

추가 정보

현재 서드파티 벤치마크를 통해 엔비디아 그록 3 LPX의 속도가 측정됐으며, 에이전틱 워크로드에 중요한 컨텍스트 길이에서도 선도적인 상호작용성을 제공하는 것으로 확인됐다. 또한 엔비디아는 코딩 작업을 대상으로 한 오픈소스 벤치마크에서 이보다 더욱 뛰어난 성능을 측정했다. 

여기에서 엔비디아 그록 3 LPX에 대한 자세한 내용을 확인할 수 있다.