로봇은 어떻게 움직임을 배우는가, 피지컬 AI 시대의 새로운 데이터 경쟁

현재 글로벌 로봇 업계에서는 양질의 학습 데이터를 확보하기 위한 다양한 시도가 이어지고 있다. 사람이 직접 로봇의 작업을 시연하거나 원격으로 조작해 데이터를 수집하는 것은 물론, 일상생활에서 사람이 수행하는 작업을 영상으로 기록해 로봇 학습에 활용하려는 시도도 등장하고 있다. 많은 시간과 비용이 들더라도 현실 세계의 다양한 작업 경험을 데이터로 확보하는 것이 피지컬 AI 개발의 중요한 과제로 떠오르고 있기 때문이다.

이처럼 기업들이 데이터 확보에 집중하는 이유는 로봇 학습용 데이터가 인터넷의 텍스트나 이미지와는 성격이 다르기 때문이다. 피지컬 AI는 실제 공간에서 움직이며 물체와 상호작용해야 하는 만큼, 현실 세계에서 축적되는 행동·상호작용 데이터가 중요한 학습 자원이 된다. 이러한 경험 데이터가 충분하지 않으면 로봇이 산업 현장의 수많은 변수를 학습하고 적응하는 데 한계가 발생한다.

결국 피지컬 AI 분야에서는 로봇이 현실 세계에서 학습할 수 있는 데이터를 어떻게 효율적으로 확보하고, 부족한 경험을 어떻게 보완할 것인지가 중요한 과제로 떠오르고 있다.

출처 : Toyota Research Institute Youtube, Teaching Robots New Behaviors

가장 직관적인 방법은 사람이 직접 로봇의 움직임을 시연하거나 조작해 작업 데이터를 수집하는 것이다. 텔레오퍼레이션(Teleoperation) 등을 통해 사람이 로봇을 움직이면 로봇은 실제 환경에서 물체를 보고, 집고, 옮기는 등 다양한 작업을 수행하며, 이 과정에서 카메라 영상이나 관절 움직임, 위치와 자세 등의 정보가 데이터로 축적된다.

반대로 로봇이 스스로 시행착오를 거치며 학습하는 방법도 있다. 강화학습을 적용하면 로봇은 여러 행동을 시도하고 그 결과에 따른 보상을 바탕으로 더 나은 행동 전략을 학습한다. 물체를 집는 작업이라면 다양한 방식으로 손을 움직여 보고, 안정적으로 물체를 잡는 행동을 반복하면서 성공률을 높이는 방식이다.

하지만 현실 세계에서 로봇을 반복적으로 움직이며 데이터를 확보하거나 수많은 시행착오를 겪게 하는 데에는 시간과 비용은 물론 안전상의 제약이 따른다. 특히 공장이나 물류 현장에서는 로봇의 작은 오작동이 큰 사고로 이어질 수 있다.

출처 : NVIDIA Youtube, Fusing Real-Time AI With Digital Twins

이러한 한계를 극복하기 위해 공장이나 물류창고 같은 실제 작업 환경을 가상 공간에 구현하는 디지털 트윈과 시뮬레이션 기술이 적극 활용되고 있다. 가상의 환경에서는 실제 로봇을 반복적으로 가동하는 데 따르는 비용과 안전상의 제약을 줄이면서 다양한 상황을 반복 경험하도록 만들 수 있다.

최근에는 유튜브 등 인터넷에 공개된 방대한 인간의 행동 영상을 로봇 학습에 활용하는 연구도 활발하다. 사람이 도구를 다루고 과업을 수행하는 데이터를 쉽게 확보할 수 있다는 장점이 있지만, 2D 영상만으로는 물체의 무게나 마찰력 같은 물리 정보를 얻기 어렵다. 따라서 인간의 영상 데이터와 실제 로봇의 행동 데이터, 시뮬레이션 데이터 등을 함께 활용해 부족한 정보를 보완하려는 연구가 이어지고 있다.

현실에서 얻기 어려운 로봇의 학습 경험을 가상환경에서 만들거나, 사람의 움직임을 로봇이 학습할 수 있는 데이터로 변환하려는 시도는 국내에서도 이어지고 있다. NC AI는 디지털트윈과 월드모델, 인간 동작 데이터 등을 활용해 피지컬 AI 학습에 필요한

데이터 기반을 구축하고 있다.

출처 : NC AI, VAETKI Twin

국방 분야에서는 현대로템과 협력해 무인 장비와 로봇이 운용될 다양한 상황을 가상환경에서 구현하고 학습·검증할 수 있는 피지컬 AI 통합 시뮬레이터 개발을 추진하고 있다. 월드모델을 기반으로 현실에서 반복적으로 구현하기 어려운 다양한 환경과 상황을 가상공간에서 재현해 피지컬 AI 기술을 학습하고 검증하는 기반을 구축한다는 계획이다.

최근 LG전자 등과 함께 수행하는 휴머노이드 국책과제에서는 사람의 움직임을 로봇 학습에 활용하는 기술 개발에 나선다. NC AI는 그동안 축적한 모션 데이터와 애니메이션 제작 기술을 바탕으로 학습 기반 GMT(General Motion Tracking)의 초기 학습 데이터를 구축하고, 사람의 동작을 휴머노이드에 맞게 변환하는 ‘휴먼-로봇 리타게팅(Human-to-Robot Retargeting)’ 파이프라인 구축을 담당한다.

사람과 휴머노이드는 관절 구조와 신체 비율이 다른 만큼 인간의 움직임을 그대로 로봇에 적용할 수는 없다. 휴머노이드의 관절 한계와 신체 비율, 발 지지와 균형 조건 등을 반영해 사람의 동작을 로봇이 수행할 수 있는 움직임으로 변환하는 것이 핵심이다. 이를 통해 실제 환경에서 안정적으로 움직일 수 있는 휴머노이드 제어 기술 개발을 지원한다.

결국 로봇이 얼마나 정교한 동작을 구현할 수 있는지는 하드웨어의 성능만으로 결정되지 않는다. 사람이 쌓아온 작업 경험을 어떻게 데이터로 만들고, 현실에서 얻기 어려운 경험을 가상환경에서 어떻게 확장하느냐가 중요하다. 로봇이 공장과 물류 현장에서 스스로 판단하고 행동하는 시대가 가까워질수록, 로봇에게 ‘무엇을 시킬 것인가’보다 ‘무엇을 어떻게 배우게 할 것인가’가 더 중요한 질문이 되고 있다.