피지컬 AI에 새로운 성능 기준이 필요한 이유, 답하는 AI에서 행동하는 AI로

살릴 라제(Salil Raje), AMD 어댑티브 및 임베디드 컴퓨팅 그룹 수석 부사장 겸 총괄 

세 가지 핵심 사항

피지컬 AI는 기계가 주변 환경을 인식하고, 의사결정을 내리며, 실제 행동을 수행할 수 있도록 합니다. 로보틱스 분야에서는 안전한 작동을 위해서는 예측 가능한 응답 시간이 필수적입니다.

성능은 센서 입력부터 실제 물리적 동작에 이르는 전 과정을 기준으로 평가해야 합니다. 최대 컴퓨팅 속도만으로는 로봇이 필요한 시간 내에 반응할 수 있는지 판단할 수 없습니다.

피지컬 AI는 단일 워크로드로 구성되지 않습니다. 인식, 추론 및 실시간 제어는 각각 요구사항이 다르므로, 데이터가 생성되고 실제 동작이 이루어지는 지점 가까이에 각 작업에 적합한 컴퓨팅 자원을 배치해야 합니다.

AI는 클라우드에서 첫 번째 큰 전환점을 맞이했습니다. 이제 AI의 다음 단계는 현실 세계에서 펼쳐지고 있습니다. 

클라우드 AI에서 피지컬 AI로의 전환은 기업들이 성능에 대한 기존의 관점을 재검토하도록 만들고 있습니다. AI가 주변 환경을 인식하고 추론하며 사람과 함께 작동하는 기계를 제어해야 하는 환경에서는 학습과 추론을 중심으로 수립된 기존 성능 지표만으로 전체 성능을 평가하기 어렵습니다. 이러한 시스템에서 성능은 시스템 차원의 과제가 되며, 이는 로봇의 성능 평가 방식과 설계 방식은 물론 궁극적으로 로봇을 구동하는 컴퓨팅 아키텍처에도 변화를 가져오고 있습니다. 

AMD는 지난 20년간 산업용 로봇 팔, 자율이동로봇(AMR), 수술용 시스템 및 항공우주 플랫폼 등 다양한 로보틱스 분야에서 풍부한 경험과 기술력을 쌓아왔습니다. AMD는 이러한 시스템 전반에 머신 비전, 센서 융합, 결정론적 모터 제어 및 기능 안전 기술을 제공해 왔습니다. AI는 이러한 기술적 기반 위에서 발전하고 있습니다.

변화하는 성능의 정의 

피지컬 AI 시스템은 단순히 답변을 생성하는 데 그치지 않고 실제 행동을 수행합니다. 이에 따라 응답성, 예측 가능성, 전력 효율성, 안전성, 실제 환경에서의 안정적인 작동 능력이 중요한 성능 요소로 부상하고 있습니다. 이 모든 요소에서 핵심은 시간입니다. 

제어를 위한 의사결정이 제때 이루어지지 않는 것은 단순한 성능 문제가 아닙니다. 충돌이나 불안정성, 안전하지 않은 동작을 초래할 수 있는 시스템의 실패를 의미합니다.

이러한 특성은 휴머노이드 로봇에서 특히 두드러집니다. 휴머노이드 로봇은 당초 예상보다 빠르게 산업 현장에 도입되고 있으며, 사람과 가까운 거리에서 함께 작업하는 사례도 점차 늘어나고 있습니다. 

로보틱스 OEM 기업들과의 논의에서 가장 자주 언급되는 요구사항은 최대 컴퓨팅 성능이 아닙니다. 핵심은 고도화된 AI 모델과 결정론적 실시간 제어를 동시에 실행하는 능력입니다. 즉, 시스템 차원에서 AI의 지능과 정해진 시간 내에 예측 가능한 응답을 제공하는 능력을 결합하는 것입니다. 현실 세계에서 정해진 응답 시간을 놓치는 것은 단순한 지연이 아니라 안전을 위협하는 결과로 이어질 수 있습니다. 

성능 평가 기준에 대한 재고 

업계는 여전히 잘못된 성능 지표를 중심으로 최적화를 추진하고 있습니다. TOPS(초당 테라 연산 횟수)는 피지컬 AI의 성능을 평가하기에 불완전한 지표입니다. TOPS는 얼마나 많은 연산을 수행할 수 있는지는 보여주지만, 시스템이 정해진 시간 내에 특정 상황을 감지하고 의사결정을 내린 뒤 적절한 행동을 수행할 수 있는지는 알려주지 않습니다. 

이를 위해서는 컴퓨팅 엔진, 메모리, 네트워킹, 센서 및 소프트웨어가 하나의 유기적으로 조율된 시스템으로 작동해야 합니다. 또한 필요한 데이터를 적시에 적절한 위치로 전달할 수 있도록 충분한 메모리 대역폭을 확보해야 합니다. 특정 프로세서에서 AI 모델이 빠르게 실행되더라도 데이터 이동이나 작업 스케줄링 또는 다른 처리 단계에서 지연이 발생해 정해진 시간을 지키지 못한다면 시스템 전체의 성능이 뛰어나다고 볼 수 없습니다. 

따라서 피지컬 AI의 성능은 센서 입력부터 실제 물리적 동작에 이르는 전 과정을 기준으로 평가해야 합니다. 평균 지연시간만으로는 충분하지 않습니다. 단 한 번의 지연시간 급증으로도 제어 루프가 불안정해질 수 있기 때문에 테일 레이턴시(Tail Latency)와 지터(Jitter) 역시 중요한 평가 요소입니다. 

AI 모델의 벤치마크 역시 동일한 한계를 지닙니다. 아무리 오랜 시간을 들여 정교한 계획을 수립하더라도 로봇이 정해진 시간 내에 행동하지 못한다면 계획의 완성도는 의미가 없습니다. 실제로 정해진 처리 시간을 초과하게 만드는 원인은 AI 모델 자체가 아닌 경우가 많습니다. 오히려 각 처리 단계 사이에서 발생하는 대기열 처리, 스케줄링, 메모리 복사 및 데이터 이동 등이 주요 원인으로 작용합니다. 

하나의 기계, 서로 다른 워크로드 

피지컬 AI는 단일 워크로드로 구성되지 않습니다. 인식과 추론은 처리량 중심의 작업으로 GPU와 NPU에 적합합니다. 반면 실시간 제어는 정해진 시간 내에 작업을 완료해야 하므로 결정론적 실행이 필수적이며, FPGA와 적응형 SoC가 이러한 작업에 강점을 보입니다. CPU는 모든 구성 요소가 동기화된 상태로 작동할 수 있도록 시스템 전반의 조정을 담당합니다. 

신체부터 두뇌에 이르기까지 이러한 워크로드는 동시에 실행되지만, 각각 근본적으로 다른 문제를 해결하며 서로 다른 컴퓨팅 아키텍처를 필요로 합니다. 

모든 센서 데이터 스트림과 제어를 위한 의사결정을 하나의 프로세서에서 처리하면 대역폭, 에너지 및 지연시간 측면에서 한계가 발생합니다. 이는 시스템 차원의 제약입니다. 

인체 구조를 모방한 설계 

각 워크로드에 적합한 컴퓨팅 자원을 데이터가 생성되고 실제 동작이 이루어지는 지점 가까이에 배치해야 합니다. 

실제로 이는 인체 구조를 모방해 로봇을 설계하는 것을 의미합니다. 주변 환경을 인식하고 추론하며 계획을 수립하는 두뇌, 시스템 전반에서 시간에 민감한 통신을 전달하는 척추, 결정론적으로 움직임을 수행하는 관절, 정교하고 복잡한 동작을 제어하는 손, 그리고 신체 말단에 배치된 센서로 구성되는 방식입니다. 

그 결과 단일 처리 장치가 아닌, 상호 조율된 여러 노드로 구성된 분산형 실시간 시스템이 구현됩니다. 

안전성은 시스템 전체의 특성 

각 기능이 중앙 집중형 또는 분산형으로 구현되더라도 안전성은 시스템 전체가 어떻게 작동하는지, 특히 장애가 발생했을 때 어떻게 대응하는지에 달려 있습니다. 

이는 설계 초기 단계부터 의사결정이 이루어지는 위치, 장애의 영향이 확산되지 않도록 제한하는 방식, 엄격한 실시간 응답 기한을 준수해야 하는 기능 등을 고려해야 한다는 의미입니다. 

이중화, 점진적 성능 저하(Graceful Degradation), 시스템 전체의 제약 조건을 고려한 현장 의사결정 등의 기능은 시스템이 제어 가능한 상태를 유지하고 안전한 상태로 전환할 수 있도록 지원합니다. 또한 많은 경우 주요 AI 컴퓨팅 시스템에 장애가 발생하더라도 작동을 지속할 수 있도록 합니다. 

이는 로보틱스, 자동차 및 산업 자동화 전반에 걸친 업계의 과제이며, 하드웨어, 소프트웨어 및 시스템 아키텍처의 유기적인 협력이 필요합니다. 안전성은 시스템에 추가로 적용하는 기능이 아니라 시스템의 설계 방식을 결정하는 핵심 요소입니다. 

AMD는 적응형 SoC와 x86 플랫폼 전반에서 설계자가 이러한 아키텍처를 구현할 수 있도록 지원합니다. 적응형 SoC는 결정론적 모니터링과 제어를 위한 전용 록스텝(Lock-step) 실시간 프로세싱 및 프로그래머블 로직을 제공합니다. 

또한 IEC 61508, ISO 26262 및 ISO 13849에 따른 안전 인증을 획득한 반도체와 인증된 설계 워크플로우를 통해 이를 뒷받침합니다. ISO/CD 25785-1과 같은 새로운 표준화 작업은 동적 안정성을 갖춘 산업용 로봇의 시스템 차원 안전성에 대한 관심이 높아지고 있음을 보여줍니다. 이러한 시스템은 센싱, 컴퓨팅, 제어 및 장애 대응 전반에서 예측 가능한 동작을 요구하므로, 시스템 아키텍처는 설계 초기부터 안전성을 결정하는 핵심 요소가 됩니다. 

AMD x86 플랫폼에서는 워크로드를 서로 격리하는 경량 하이퍼바이저인 젠(Xen)을 활용해 서로 다른 안전 요구사항을 가진 워크로드를 분리하고, 메모리, 디바이스 및 공유 컴퓨팅 자원에 대한 접근을 통제할 수 있습니다. 이를 통해 중요도가 서로 다른 워크로드를 함께 운영하는 혼합 중요도(Mixed-criticality) 아키텍처를 지원할 수 있습니다. 

AMD와 젠 커뮤니티는 AMD x86 및 Arm 플랫폼 모두에서 젠의 안전 인증 획득을 위한 개발을 추진하고 있습니다. 이러한 노력은 단순한 워크로드 격리를 넘어 인증에 필요한 요구사항 정의, 테스트, 장애 주입(Fault Injection) 및 검증 증거 확보까지 포괄합니다. 현재 안전 개념 승인(Safety Concept Approval)을 완료했으며, 최종 인증을 향한 작업을 진행하고 있습니다.

AMD가 구축한 솔루션 

AMD는 이러한 시스템 차원의 접근 방식을 바탕으로 로보틱스를 위한 AMD 크리아 AI 솔루션(AMD Kria™ AI Solution)을 개발했습니다. 이 솔루션은 확장 가능한 SOM(System-on-Module) 제품 포트폴리오를 제공하며, 주요 구성 요소는 다음과 같습니다.

AMD 라이젠 AI 임베디드 X100 시리즈(AMD Ryzen™ AI Embedded X100 Series) 프로세서 기반의 크리아 AI SOM 및 로보틱스 캐리어 카드

CPU, GPU, NPU 및 FPGA 컴퓨팅을 결합한 개방형 통합 플랫폼인 AMD 크리아 AI 로보틱스 개발자 플랫폼(AMD Kria™ AI Robotics Developer Platform)

AMD 로보틱스 소프트웨어 스위트(AMD Robotics Software Suite) 및 개방형 AMD 로보틱스 파트너 네트워크(AMD Robotics Partner Network) 

두뇌에는 크리아 AI, 척추에는 AMD 버설 어댑티브 SoC(AMD Versal™ Adaptive SoC), 관절과 손에는 AMD 징크 SoC(AMD Zynq™ SoC), 센서에는 AMD 스파르탄 FPGA(AMD Spartan™ FPGA)를 배치하는 방식입니다. 파운데이션 로보틱스(Foundation Robotics)와 제너레이티브 바이오닉스(Generative Bionics)는 현재 이러한 기술을 활용해 로봇을 개발하고 있습니다. 

제3자 테스트 및 분석 결과 역시 피지컬 AI 시스템의 성능을 시스템 차원에서 평가해야 한다는 AMD의 관점을 뒷받침합니다. 크리아 AI SOM은 초당 8,000회의 제어 의사결정을 지속적으로 수행하면서 100밀리초 미만의 AI 추론 시간을 제공합니다. 대표적인 로보틱스 워크로드에서 AMD 라이젠 AI 임베디드 기반 구성은 엔비디아 젯슨 T5000(NVIDIA Jetson T5000) 대비 정해진 시간 내 제어 작업을 완료하는 실시간 신뢰성이 최대 3.4배 높으며, 여유 컴퓨팅 용량도 최대 1.6배 더 높은 것으로 나타났습니다. 별도로 진행된 미믹(mimic)의 분석에서는 동시 실행 가능한 에이전트 수가 최대 2.3배 더 많은 것으로 나타났습니다. 

로보틱스 분야에서 '개방형'은 단순히 문서상으로 표준을 준수하는 것 이상의 의미를 지녀야 합니다. AMD 로보틱스 소프트웨어 스위트는 AMD ROCm™ 플랫폼과 ROS 2 로보틱스 프레임워크를 기반으로 구축된 개방형 이식 가능 소프트웨어 스택으로, 파이토치(PyTorch), ONNX 및 MoveIt을 지원합니다. 크리아 개발자 플랫폼의 하드웨어 사양 역시 공개되어 있어 고객은 특정 공급업체에 종속되지 않고 ODM 파트너를 활용할 수 있으며, 자사 제품에 필요한 폼팩터에 맞춰 AMD 반도체 기반 시스템을 유연하게 설계할 수 있습니다. 

최대 컴퓨팅 성능은 중요하지만, 이것만으로 시스템의 전체 성능을 평가할 수는 없습니다. 시스템 전체를 최적화하고 각 워크로드에 적합한 컴퓨팅 엔진을 배치하는 개발자는 실제 환경에서 안정적으로 작동하는 로봇을 구현할 수 있습니다. 최대 컴퓨팅 성능은 인상적인 시연을 가능하게 하지만, 시연 단계의 기술을 실제 제품으로 구현하는 것은 시스템 차원의 성능입니다.