로봇 공학이 극복해야 할 물리 모델링, 정책 학습, 감각 피드백, 구현체 드리프트의 4가지 핵심 병목 현상을 분석합니다.
로봇 공학의 4가지 미해결 난제: 해결책이 보인다
핵심 요약
- 물리 세계 모델링 문제: 시뮬레이션과 현실의 간극(Sim2Real Gap)이 여전히 해결되지 않음
- 정책 학습의 어려움: 상태 전환 함수를 정확히 학습하려면 방대한 데이터 필요
- 감각 피드백 부족: 인간처럼 풍부한 촉각 정보를 받지 못하는 로봇의 한계
- 구현체 드리프트: 시간이 지남에 따라 로봇의 성능이 저하되는 현실적 문제
- 다중 스케일 구현체 기억(MEM): 메모리를 추가한 정책이 장기 작업 해결의 핵심
로봇 공학이 "내년"에 해결되지 않는 이유
2016년 알파고, 2018년 MuJoCo, 2023년 Mobile ALOHA 등 획기적 기술이 나올 때마다 로봇 공학계는 "내년에는 문제가 해결될 것"이라고 기대했습니다. 실제로 로봇들이 복잡한 작업을 수행하기 시작했습니다. 식물에 물을 주고, 자전거를 고치고, 커피를 만들고, 면도까지 하는 수준에 도달했습니다.
하지만 2026년 중반인 지금, 로봇 로지(Rosie the Robot)는 여전히 우리 곁에 없습니다. 그 이유는 로봇 공학이 엄청나게 어렵기 때문입니다.
극복해야 할 4가지 병목 현상
1. 물리 세계 모델링 및 Sim2Real Gap
시뮬레이션에서 로봇을 훈련할 때, 가상 환경은 실제 물리 법칙을 완벽하게 따르지 않습니다. 예를 들어, 시뮬레이션에서 자동차를 운전할 때 충돌 없이 마법처럼 식료품점을 고속도로로 바꿀 수 있지만, 현실에서는 불가능합니다.
변형 가능한 물체(천, 액체 등)의 경우 이 문제는 훨씬 심각합니다.
2. 정책 표현 및 학습의 복잡성
현재 상태에서 다음 상태로 의사결정하는 정책을 학습하는 것은 매우 어렵고, 방대한 양의 데이터를 필요 합니다. 행동 공간을 정확하게 표현하는 것이 여전히 미해결 과제입니다.
3. 감각 운동 공백(Sensorimotor Void) — 가장 중요하지만 논의가 적은 문제
인간의 손 에는 법선력, 접선력, 습기, 온도, 진동, 마찰 계수 등 광범위한 신경 정보를 제공하는 신경 말단이 있습니다. 로봇은 단순히 손가락 끝의 하나의 힘-토크 센서와 손목 카메라만 가지고 있습니다.
신경과학자들은 우리가 시각 없이도 세계 모델을 구축하는 데 매우 능숙하다고 강조합니다. 손으로 배낭을 더듬어 충전기를 찾을 때, 눈을 사용하지 않고도 정확히 무엇이 있는지 알 수 있습니다. 로봇은 표피가 없기 때문에 이 능력을 가질 수 없습니다.
정책이 필수적인 촉각 피드백을 잃으면 실패하기 시작합니다. 마치 손이 너무 차가워서 하키 스케이트 끈을 묶으려는 것과 같습니다.
4. 구현체 드리프트(Embodiment Drift) — 실제 배포에서만 보이는 문제
로봇을 오래 운영하면 액추에이터에 먼지가 쌓이고 부식되며 녹이 슭니다. 특히 자율주행차에서는 매우 현실적입니다.
예시: 토요타 프리우스의 가속 페달을 밟을 때, 얼마나 가속될지는 시간에 따라 달라집니다. 배터리에서 얻는 전력량도 시간이 지남에 따라 변합니다. 그러면 VLA 전체를 재훈련 해야 합니다. 왜냐하면 매핑이 되지 않고, 원격 조작 데이터가 거의 쓸모없어져 다시 수집해야 하기 때문입니다.
해결책: 메모리를 정책에 추가하다
다중 스케일 구현체 기억(Multi-Scale Embodied Memory, MEM) 이라는 접근법이 장기 로봇 작업 해결의 핵심입니다.
메모리가 없을 때의 문제
메모리가 없는 정책은 매 시간 단계마다 새로운 관측치만 받고 이전에 무슨 일이 있었는지에 대한 맥락을 전혀 갖지 못합니다. 결과:
- 접시를 닦는 로봇: 얼마나 오래 닦았는지 몰라서 영원히 닦음
- 그릴드 치즈를 만드는 로봇: 얼마나 오래 가열했는지 몰라서 완전히 탐
MEM의 구조: 두 가지 메모리 유형
상위 수준 정책(고수준 의사결정 + 장기 메모리)
- 장기 맥락 메모리: 지난 몇 분간의 압축된 언어 표현
- 다음 단계를 알려줌
하위 수준 정책(실제 동작 실행 + 단기 메모리)
- 단기 맥락 메모리: 정교한 조작에 필요한 밀집된 프레임
- VLA(비전-언어-액션 모델)가 실행
단기 시각 기억의 작동 원리
Vision Transformer(ViT) 아키텍처를 기반으로 시간적 어텐션 레이어 를 추가했습니다. 단일 프레임만 처리하는 대신, 시간적 어텐션 덕분에 현재 이미지는 필요한 모든 정보를 유지할 수 있습니다.
결과: 상당한 압축을 가능하게 하며, 더 빠른 추론 가능
이 메모리로 해결할 수 있는 새로운 작업
- 그릴드 치즈 만들기: 로봇이 그릴드 치즈가 타는 것을 방지하기 위해 필요한 만큼 기다림
- 가방에서 식료품 꺼내기: 손목 카메라로 물건을 가끔만 보므로, 어떤 물건이 있고 몇 개인지 기억해야 함
- 창문 청소: 기억은 동작을 끝없이 반복하는 것을 방지
장기 기억: 순환 메모리 스크래치패드
고수준 정책이 발생한 모든 것을 지속적으로 추적 하는 순환 기억을 예측합니다. 그 예측은 다시 고수준 정책으로 피드백되어, 과거 사건에 대한 지속적인 서사를 유지합니다.
장점:
- 텍스트는 이미지보다 훨씬 더 압축된 표현
- 훈련에 매우 유용
- 물리적으로 정확 (실제 물리적 사건에 기반한 업데이트)
- 분포 변화에 덜 취약
장기 기억의 실제 효과
레시피 재료 준비 작업 (최대 수십 분 소요)
- 로봇이 필요한 모든 품목을 준비
- 녹색 상자의 기억 문자열이 실시간 업데이트되는 것 관찰 가능
- 다양한 기준선(메모리 없음, 여러 메모리 유형)과 비교했을 때 지속적으로 최첨단 성능 초과
시각-언어-액션 모델(VLA)에서 메모리의 미래: 맥락 내 적응
기억이 없으면 정책은 환경에 과도하게 과적합 되어 일반화에 어려움을 겪습니다.
메모리 없는 정책의 실패:
- 냉장고를 잘못된 방향에서 열려고 시도
- 젓가락을 놓침
- 동일한 실수를 반복하며 끝없는 루프에 갇힘
메모리가 있는 정책의 회복:
- 초기 실수를 인식하고 반응
- 예: 젓가락을 집기 위해 더 낮게 가거나 냉장고를 올바르게 열기 위해 방향을 바꿈
- 실수로부터 배우고 적응
결론
로봇 공학의 4가지 핵심 병목 현상(Sim2Real Gap, 정책 학습, 감각 피드백 부족, 구현체 드리프트)은 여전히 해결되지 않았습니다. 하지만 다중 스케일 구현체 기억(MEM)과 같은 메모리 기반 접근법 이 장기 로봇 작업을 해결하는 데 매우 유망한 방향을 제시하고 있습니다. 메모리를 추가한 정책은 단순히 현재 관찰에 의존하는 것을 넘어, 맥락을 유지하고 환경 변화에 적응할 수 있는 능력을 갖추게 됩니다. 로봇 공학이 "내년"에 해결될지는 아직 미지수이지만, 이러한 혁신적인 기법들이 우리를 한 걸음씩 더 가까이 데려가고 있습니다.
Original source: Why Robotics Still Isn't Solved - But Could Be Soon | YC Paper Club
powered by osmu.app