피지컬 AI와 에이전트가 만드는, 새로운 로봇의 일하는 방식

지금까지 AI 에이전트가 주로 활동해온 공간은 디지털 세계였다. 문서를 작성하거나 정보를 검색하고 프로그램을 실행하는 등 대부분의 작업이 컴퓨터 안에서 이뤄졌다. 하지만 피지컬 AI와 에이전트가 결합하면서 AI의 활동 영역은 현실 세계로 확장되고 있다. AI의 판단이 화면 속 결과로 끝나는 것이 아니라 로봇의 실제 움직임으로 이어지는 것이다.

이러한 변화의 핵심은 로봇에게 일일이 동작을 지시하는 대신 수행해야 할 ‘목표’를 제시하는 것이다. 예를 들어 공장에서 “완성된 부품을 검사하고 문제가 있는 제품은 별도 구역으로 옮겨줘”라는 지시가 내려졌다고 가정해 보자. 기존 자동화가 사전에 정의된 공정과 작업 절차를 중심으로 움직였다면, 피지컬 AI 에이전트는 주어진 목표와 현장 상황을 바탕으로 필요한 작업을 계획하고 행동을 조정하는 방향으로 발전하고 있다.

출처 : Google DeepMind, Introducing Gemini Robotics ER 2

최근 글로벌 로보틱스 업계에서도 이러한 피지컬 에이전트 기술이 구체화되고 있다. 구글 딥마인드는 ‘Gemini Robotics 2’와 ‘Gemini Robotics ER 2’ 등을 공개하며 로봇의 행동과 물리 세계에 대한 추론을 결합한 로봇 AI 시스템을 선보였다. 이 가운데 에이전트 역할을 담당하는 Gemini Robotics ER 2는 사람의 지시와 주변 환경을 이해하고 복잡한 작업을 여러 단계로 나눠 계획한다. 작업 진행 상황을 추적하고, 계획대로 수행되지 않을 경우 다시 시도하거나 다음 행동을 조정할 수도 있다.

특히 서로 다른 종류의 로봇이 각자의 물리적 특성을 파악하고 역할을 나눠 하나의 작업을 함께 수행하는 ‘멀티 로봇 협업’ 기능도 선보였다. 하나의 로봇이 모든 일을 수행하는 것이 아니라 여러 로봇이 하나의 목표 아래 역할을 분담하고 협력하는 방식으로 피지컬 AI의 활용 범위가 넓어지고 있는 것이다.

이러한 방식은 다양한 종류의 로봇과 장비가 함께 움직이는 산업 현장에서 더욱 주목받을 수 있다. 에이전트 AI가 각각의 로봇이 수행할 수 있는 기능과 현재 상태를 파악하고 목표에 맞게 작업을 조율한다면 자동화 방식도 달라질 수 있기 때문이다. 물건을 다른 공정으로 이동해야 할 때는 AMR에 운반 작업을 맡기고, 정밀한 조작이 필요할 때는 로봇팔을 활용하는 식이다.

이처럼 하나의 로봇이 모든 작업을 수행하도록 만드는 대신 각기 다른 능력을 가진 로봇과 장비를 하나의 목표 아래 연결하는 ‘오케스트레이션’도 피지컬 AI의 중요한 기술 과제로 떠오르고 있다.

기존 자동화가 정해진 공정과 순서를 정확하게 반복하는 데 초점을 맞췄다면, 에이전트 기반 자동화는 현장의 상태에 따라 작업을 계획하고 조정하는 방향으로 범위를 넓힌다. 생산 조건이 달라지거나 예상하지 못한 상황이 발생하면 작업 계획을 다시 세우거나 다른 장비에 역할을 배분한다.

다만 AI 에이전트가 현실 세계에서 동작하기 위해서는 디지털 공간보다 높은 수준의 신뢰성이 요구된다. 문서를 잘못 작성하면 수정할 수 있지만 로봇의 잘못된 판단은 실제 설비나 제품을 손상시키고 사람의 안전에 영향을 줄 수 있기 때문이다.

특히 설비와 로봇, 물류 시스템, 현장 작업자가 맞물려 움직이는 제조 현장에서는 AI가 계획한 행동을 그대로 실행하는 것만으로는 충분하지 않다. 해당 행동을 로봇이 실제로 수행할 수 있는지, 현재 설비와 주변 환경은 안전한지, 정해진 작업 범위를 벗어나지는 않는지 등을 실행 전에 확인하는 안전장치가 필요하다.

출처 : arXiv, Physical Agentic AI: An Architecture for Orchestrating a Robot Crew with LLMs

올해 8월 공개된 ‘Physical Agentic AI’ 연구에서도 이러한 문제를 다뤘다. 연구진은 AI가 작업을 계획하는 단계와 로봇이 실제로 움직이는 실행 단계를 분리하고, 로봇의 기능과 시스템 상태, 작업 조건 등을 확인한 뒤 행동을 허용하는 구조를 제안했다. AI의 계획 능력만 높이는 것으로는 실행하기 어렵거나 안전하지 않은 행동을 걸러내기 어려운 만큼, 실제 로봇이 움직이기 전에 별도의 검증 과정이 필요하다는 것이다.

구글 딥마인드 역시 Gemini Robotics 2와 함께 에이전트의 안전성을 평가하는 ‘ASIMOV-Agentic’ 벤치마크를 공개했다. 로봇이 안전 기준이나 운용 범위를 벗어나는 작업을 거부하는지, 수행하기 어려운 작업을 판단하는지, 불확실한 상황에서 필요한 경우 사람에게 도움을 요청하는지 등을 평가한다.

결국 피지컬 AI 시대의 에이전트에게 필요한 것은 더 많은 것을 스스로 결정하는 능력만은 아니다. 어디까지 스스로 판단할 수 있는지, 어떤 상황에서 사람이나 상위 시스템의 판단을 요청해야 하는지, 위험이 발생했을 때 어떻게 안전하게 멈출 것인지까지 함께 설계해야 한다.

NC AI는 디지털 공간의 AI와 물리적 현실을 연결하는 자율 에이전트 기술을 개발하고 있다. 현장의 상황을 인지하고 목표 달성을 위한 작업을 계획하는 동시에, 디지털 환경에서 이뤄지는 판단을 실제 로봇의 물리적 제어로 이어주는 오케스트레이션 구조를 구축한다. 현장에서 발생하는 데이터를 다시 학습과 판단에 활용하는 폐루프(Closed-loop)를 통해 상황 인식과 계획, 실행, 결과 확인이 지속적으로 순환하는 체계를 만든다.

출처 : NC AI Youtube

이러한 자율 에이전트가 산업 현장에서 활용되기 위해서는 자율성과 함께 신뢰성과 통제 가능성을 확보하는 것이 중요하다. AI의 판단과 행동을 추적할 수 있도록 기록하고, 스스로 판단할 수 있는 권한과 범위를 설정하며, 위험을 감지했을 때 안전하게 동작을 중단할 수 있는 제어 체계를 갖추는 방식이다.

결국 피지컬 AI 시대의 로봇은 더 많은 명령을 수행하는 데서 나아가, 사람이 제시한 목표를 이해하고 필요한 작업을 계획하며 여러 로봇과 장비가 함께 일을 완수하도록 연결하는 방향으로 발전하고 있다. 이 과정에서 자율성을 어디까지 허용하고, 실제 행동으로 이어지기 전에 어떻게 안전성과 신뢰성을 확보할 것인지가 피지컬 AI 에이전트의 중요한 과제가 될 것이다.