Arm 에이전틱 AI용 새로운 벤치마킹 방법론, Arm AGI CPU 독립 성능 검증 결과 발표

AI 에이전트는 아직 초기 단계에 있지만, 그 활동량은 빠르게 증가하고 있다. a16z가 소개한 데이터에 따르면, 오픈라우터(OpenRouter)의 에이전트 토큰 사용량은 2026년 2월 이후 약 14배 증가했다. 

인프라 관점에서 AI 에이전트는 상시 유지되는 자체 컴퓨팅 환경을 갖춘 가상 사용자처럼 작동한다. 에이전트는 작업이 완료될 때까지 상태 유지, 컨텍스트 검색, 툴과 서비스 호출, 업무 처리, 결과 평가 등을 수행한다.

이제 수백만, 나아가 수십억 개의 에이전트가 24시간 내내 가동되는 상황을 생각해볼 수 있다. 컴퓨팅, 메모리, 스토리지, 입출력(I/O)은 모두 높은 동시성 환경에서 지속적인 활동을 지원해야 한다. 이는 CPU에 새로운 요구사항을 부여하며, 에이전트가 실제로 완료하는 작업을 시스템이 얼마나 잘 처리하는지 측정해야 할 필요성을 높인다.

가상 사용자를 위한 데이터센터 구축

에이전틱 AI는 AI 데이터센터의 여러 영역에 걸쳐 컴퓨팅 수요를 창출한다. CPU는 에이전트가 컨텍스트를 유지하고, 툴을 호출하며, 데이터에 접근하는 과정에서 에이전트 워크로드를 실행한다. AI 헤드 노드에서 CPU는 작업을 스케줄링하고, 데이터를 준비 및 이동시키며, 고가의 가속기가 효율적으로 작동할 수 있도록 시스템을 조율한다. 

에이전트는 클라우드 네이티브 활동도 증가시킨다. 모든 검색, 서비스 호출, 코드 실행 또는 데이터 요청이 이뤄질 때마다 이를 뒷받침하는 인프라 전반에서 작업이 발생한다. 에이전틱 AI는 이러한 클라우드 네이티브 수요를 대체하는 것이 아니라, 여기에 새로운 수요를 더한다. 

에이전트의 자율성이 높아지고 더 많은 툴과 데이터에 접근하게 되면서, 런타임 보안 역시 그만큼 중요해지고 있다. 호스트 CPU는 에이전트 실행에 집중하는 한편, DPU 및 기타 인프라 프로세서는 네트워킹, 스토리지, 정책 시행, 텔레메트리 및 격리를 위한 별도의 계층을 제공한다. Arm은 클라우드 및 에이전틱 워크로드를 실행하는 CPU부터 보안 및 인프라 제어를 제공하는 DPU까지, 이러한 아키텍처의 양쪽을 모두 지원한다. 

OCP 글로벌 서밋(OCP Global Summit)에서는 이러한 아키텍처가 실제 시스템에서 구현되는 모습을 확인할 수 있다. Arm은 현재 Arm AGI CPU 레퍼런스 서버를 OCP에 기여하는 과정에 있으며, 메타의 요세미티 YV5(Yosemite YV5)는 Arm AGI CPU를 OCP 랙 스케일 설계에 도입하고 있다. 

중요한 작업을 측정하는 방법

이러한 변화는 CPU 성능의 의미도 바꾼다. 에이전틱 컴퓨팅에서는 응답성을 유지하면서 얼마나 많은 작업을 동시에 완료할 수 있는지가 핵심이다. AI 헤드 노드에서는 CPU가 가속기를 얼마나 효과적으로 활용할 수 있도록 지원하는지가 중요하다. 클라우드 네이티브 인프라에서는 각 작업을 얼마나 빠르고 예측 가능하게 처리할 수 있는지가 관건이다. 

에이전틱 워크로드에서는 지속적인 성능 유지의 중요성이 한층 커진다. 활용률이 높아질수록 처리량이 떨어진다면, 이론상 처리 용량이 늘어나더라도 완료되는 작업의 수가 반드시 증가하는 것은 아니다. 중요한 것은 인프라가 전력과 물리적 제약 안에서 얼마나 많은 유효한 작업을 꾸준히 처리할 수 있는지다. 

Arm은 오랜 기간 하이퍼스케일 데이터센터 전반에서 쌓아온 경험을 바탕으로 컴퓨팅 요구사항이 어떻게 변하는지 폭넓게 파악하고 있다. 이러한 관점을 토대로 Arm은 후지쯔, 메타, 오픈AI의 지원을 받아 에이전틱 AI를 위한 새로운 CPU 성능 평가 방법론을 개발했다. 이 프레임워크는 대표성 있는 에이전틱 활용 사례, 반복 가능한 CPU 측정, 엔드투엔드 결과에 대한 검증이라는 세 가지 원칙을 바탕으로 한다.

구성 요소 단위 측정은 모델 추론이나 네트워킹 같은 변수와 CPU 성능을 분리해 파악하는 데 도움이 된다. 이어 엔드투엔드 평가를 통해 이러한 성능 개선이 실제 작업 완료 결과의 향상으로 이어지는지 확인한다. 

에이전트 아키텍처와 소프트웨어는 계속 변화할 것이며, 방법론도 여기에 발맞춰 발전해야 한다. (Arm 방법론 백서 전문)

Arm AGI CPU 성능 검증

이러한 접근 방식에 부합하는 워크로드를 활용해, 시그널65(Signal65)가 툴링, 오케스트레이션, 추론 및 계획 영역에서 AMD EPYC 튜린(Turin) 대비 Arm AGI CPU의 성능을 독립적으로 검증했다. 두 플랫폼에는 동일한 벤치마크 스크립트를 적용했으며, 서버 단위 실측 성능을 바탕으로 랙 수준의 성능을 투명하게 모델링했다. 

주요 초기 검증 결과는 다음과 같다. 

랙당 약 2배의 작업 처리 성능: Arm AGI CPU는 7개 워크로드 전반에서 AMD EPYC 9755 대비 랙당 평균 1.99배의 모델링 성능을 제공했다. 이는 더 높은 컴퓨팅 집적도와 전력 효율에 기인한다.

에이전틱 워크로드 전반의 강력한 성능: Arm AGI CPU는 주요 에이전틱 워크로드에서 더 높은 랙 단위 모델링 성능을 보였다. 툴링에서 평균 1.7배, 에이전틱 워크플로우 및 오케스트레이션에서 2배, 추론 및 계획 수립에서 2.2배의 성능을 기록하며, 에이전틱 AI의 다양한 컴퓨팅 수요를 지원할 수 있는 역량을 입증했다.

더 빠르고 응답성이 뛰어난 에이전트 실행: Arm AGI CPU는 AMD EPYC 9965 대비 샌드박스 생성 지연시간을 최대 45% 단축했다. 이를 통해 에이전트가 격리된 실행 환경을 더 빠르게 시작할 수 있도록 지원하고, 에이전트 운용에 따른 오버헤드를 줄인다.

데이터센터는 정해진 전력, 발열, 물리적 제약 안에서 운영되기 때문에 랙 단위 관점이 중요하다. 특히 더 많은 에이전트와 작업이 동시에 실행될수록, 인프라 운영 기업은 이러한 제약 내에서 얼마나 유의미한 작업을 지속적으로 처리할 수 있는지 파악해야 한다.(시그널65의 독립 분석 보고서)

Arm AGI CPU는 이러한 워크로드 특성을 고려해 설계됐다. 높은 코어 밀도, 코어별 전용 메모리, 고대역폭 입출력을 갖춰 지속적인 실행을 뒷받침한다. 

에이전트가 프롬프트에 응답하는 단계를 넘어 지속적으로 작업을 완수하는 방향으로 발전함에 따라, 인프라는 개별 에이전트부터 랙 전체에 이르기까지 얼마나 효율적이고 일관되게 작업을 완료할 수 있는지를 기준으로 평가되어야 한다. 개선된 성능 측정은 업계가 병목 지점을 파악하고, 시스템을 비교하며, 에이전틱 인프라가 확장됨에 따라 이를 개선할 수 있는 보다 명확한 기준을 제공한다. 

에이전틱 AI 성능에 대한 업계의 시각

“에이전틱 AI가 발전함에 따라 CPU 성능을 평가하려면 기존 지표를 넘어 실제 워크로드를 반영하는 벤치마크가 필요하다. 후지쯔는 고성능, 고효율의 차세대 Arm 기반 CPU인 후지쯔-모나카(FUJITSU-MONAKA )를 개발하면서, 투명하고 재현 가능하며 대표성 있는 측정의 중요성을 인식하고 있다. 후지쯔는 업계 전반의 협력을 촉진하고 차세대 AI 인프라 최적화를 지원하려는 Arm의 이니셔티브를 환영한다.” - 요시다 토시오(Toshio Yoshida) 후지쯔 첨단컴퓨팅개발본부 부문장 겸 수석부사장(SVP) 

“에이전틱 AI가 실제 운영 단계로 진입하면서, 업계는 다양한 워크로드가 기반 인프라를 어떻게 활용하는지에 대한 명확한 파악이 필요하다. 메타는 보다 일관된 비교 기준을 마련하려는 Arm의 노력을 지지하며, 이것이 향후 시스템의 발전 방향을 설정하는 데 도움될 것으로 기대한다.” - 아바셰크 다노티아(Abhishek Dhanotia) 메타 소프트웨어 엔지니어 

“AI 시스템은 단순히 응답을 생성하는 데서 나아가 추론, 툴 사용, 소프트웨어 환경과의 상호작용을 통해 복잡한 작업을 완수하는 방향으로 진화하고 있다. 에이전트의 역량이 높아지고 활용이 확대됨에 따라, 오케스트레이션과 툴 실행을 비롯해 이러한 워크플로우를 뒷받침하는 인프라의 성능을 이해하는 것은 업계의 중요한 과제다. 새롭게 부상하는 워크로드의 특성을 파악하고 AI 시스템 전체의 성능을 최적화하려면, 대표성 있는 벤치마킹을 위한 업계 협력이 중요할 것이다.” - 콜린 자비스(Colin Jarvis) 오픈AI 글로벌 포워드 디플로이드 엔지니어링 총괄