World Labs의 공간 지능 기술로 로봇 학습을 혁신합니다. 실제-시뮬레이션-실제 파이프라인으로 로봇 훈련 비용을 줄이고 효율성을 높이세요.
로봇 공학의 미래: 시뮬레이션으로 AI 훈련하기
핵심 요약
- 공간 지능(Spatial Intelligence): 물리적·가상 공간을 생성, 이해, 추론할 수 있는 AI 개발이 핵심
- 세계 모델(World Models): 대규모 세계 모델 구축으로 로봇이 반사실적 추론(가상 시뮬레이션)을 수행 가능
- 실제-시뮬레이션-실제 파이프라인: 실제 환경을 디지털 세계로 매핑하여 훈련·평가 병목을 해결
- 신뢰성과 효율성: 시뮬레이션을 통해 로봇의 견고성과 작업 속도 모두 개선
- Marble 모델: 이미지나 텍스트 프롬프트로부터 3D 기하학적 세계 생성
공간 지능이란: 로봇의 차세대 능력
World Labs는 공간 지능 을 구축하고 있습니다. 이는 물리적이든 가상이든 공간을 생성하고, 이해하고, 추론하며, 상호작용할 수 있는 AI를 만드는 것입니다.
인간의 뇌는 머릿속에서 많은 시뮬레이션을 수행합니다. 이러한 시뮬레이션은 반사실적 추론, 즉 실제로 일어나지 않은 상황을 상상하고 전개하는 데 핵심 역할을 합니다. World Labs가 구축하는 세계는 공간, 시간, 다양한 관점, 그리고 여러 유형의 상호작용에 걸쳐 일관성을 유지 해야 합니다.
실제-시뮬레이션-실제 파이프라인: 로봇 훈련의 병목 해결
로봇 공학은 데이터 부족이라는 심각한 문제에 직면해 있습니다. 언어 모델과 달리 인터넷에서 자동으로 수집할 수 있는 데이터가 없기 때문입니다.
SceniX 팀이 개발하는 '실제-시뮬레이션-실제' 파이프라인 은 이 문제를 해결합니다:
- 실제 환경을 디지털 세계로 매핑 → 실제 환경과 최상의 정렬 달성
- 디지털 세계에서 훈련·평가 → 실제 환경과 일관된 결과 생성
- 확장 가능한 데이터 생성 → 수백 가지 시나리오를 시뮬레이션으로 자동화
이를 통해 실제 환경에서 필요한 모든 데이터를 디지털 세계에서 확장 가능한 방식으로 생성할 수 있습니다.
Marble: 텍스트에서 3D 세계로
Marble 은 World Labs가 훈련하는 기본 모델의 코드명입니다. 그 근본적인 기능은:
- 입력: 이미지, 여러 이미지, 또는 텍스트 프롬프트
- 출력: 가우시안 스플랫 또는 메시 형태의 기하학적으로 일관된 3D 세계
이 생성 모델은 로봇이 실제 환경에서 작동하도록 필요한 기하학적 정합성 을 보장합니다.
시뮬레이션의 두 가지 핵심 가치: 신뢰성과 효율성
신뢰성 (Reliability)
로봇이 실제 환경에서 안정적으로 작동하려면 마주칠 수 있는 모든 상태 공간과 변형 을 다뤄야 합니다. 시뮬레이션을 통해:
- 조명, 마찰, 기하학적 구조 등의 변화를 체계적으로 무작위화
- 객체 유형, 물리적 매개변수 등 모든 변형을 제어 가능하게 생성
- 로봇 시스템이 견고해질 수 있는 포괄적인 커버리지 확보
효율성 (Efficiency)
현재 많은 기업이 원격 조작을 통해 데이터를 수집하고 있습니다. 그러나:
- 인간 속도의 데이터 수집은 매우 느림
- 보유한 로봇과 원격 조작 장치 수에 제한이 있음
- 시뮬레이션에서는 로봇의 행동을 체계적으로 가속화 → 더 빠른 훈련 가능
예를 들어, 고객이 로봇을 인간보다 빠르게 작동시키고 싶다면, 시뮬레이션에서 로봇의 행동을 가속화하여 환경의 모든 동적 변화에 대처하도록 훈련시킬 수 있습니다.
평가(Evals): 로봇 성능 측정의 가속화
평가 는 특정 체크포인트가 얼마나 잘 작동하는지(예: 95% vs 99.9%) 이해하는 것입니다.
실제 환경에서만 평가하면:
- 90%와 92% 성능의 차이를 구별하는 데 지나치게 오랜 시간 소요
- 로봇 작업은 물리 법칙을 준수해야 하므로 반복 속도가 언어 모델보다 수배 느림
- 비용이 많이 들고 위험함
시뮬레이션 기반 평가 는:
- 시뮬레이션과 실제 환경의 정합성이 입증되므로, 시뮬레이션에서 더 잘 작동하는 체크포인트는 실제 환경에서도 더 잘 작동할 확률이 높음
- 고객이 확장 가능하고 안전하며 훨씬 빠르게 로봇 시스템을 평가 가능
훈련: 제어 가능성이 핵심
시뮬레이션 환경에서 로봇을 훈련할 때 가장 중요한 것은 제어 가능성 입니다:
- 상태, 매개변수, 조명, 마찰, 객체 형상 등 모든 변형을 제어
- 모든 종류의 시나리오를 충분히 커버 하여 로봇의 견고성 확보
실제 환경에서는 이것이 매우 어렵습니다:
- 원격 조작을 사용하면 수집 속도가 느림
- 로봇과 조작 장치의 수에 제한
시뮬레이션에서는:
- 모든 것을 제어하고 체계화
- 어떤 분포를 커버했는지 정확히 파악 가능
- 해당 분포 내에서 로봇이 작동할 것이라는 확신 확보
로봇 공학과 창의적 산업의 균형
로봇이 공간 내에서 활동하거나 상호작용하는 데는 로봇 공학만 필요한 것이 아닙니다. VFX, 게임, 디자인 등 창의적인 분야에서도 가상 공간 내에서 생성하고 활동할 수 있습니다.
그러나 로봇 공학과 창의적 활용 사이에는 차이가 있습니다:
- 로봇 공학: 상당히 정확해야 함 (완벽하지는 않더라도 거의 근접)
- 창의적 분야: 때로는 부정확함이 스타일리시하거나 의도적일 수 있음
로봇 공학에서는 모델이 완벽할 필요는 없지만, 환경 모델링이 문제의 본질적인 구조를 포착 하고, 디지털 환경에서 다양한 무작위화 를 수행해야 합니다.
시뮬레이션 vs 실제 데이터: 모순되지 않음
시뮬레이션이 본질적으로 하는 일은 행동을 적용할 때 환경이 어떻게 변할지 예측 하는 것입니다. 이는 순수한 물리학일 필요가 없으며, 물리학과 학습의 조합 일 수 있습니다.
실제 데이터 수집과 시뮬레이션은 데이터 플라이휠의 다른 단계 일 뿐:
- 초기 단계: 물리학에 더 중점 → 일관성과 구조 확보
- 발전 단계: 고객과의 협력으로 실제 데이터 축적 → 학습 기반 모델링으로 진화
- 최종 단계: 물리학의 강점(기하학, 일관성)과 데이터의 강점(유연성, 정확성)을 결합
자율주행 사례: Waymo는 수십억 시간의 시뮬레이션을 사용하며, 실제 데이터보다 시뮬레이션에 더 많이 의존합니다.
구조화된 환경부터 비구조화된 환경으로
로봇 적용은 항상 완전 구조화 환경 → 반구조화 환경 → 비구조화 환경 으로 진행되어 왔습니다:
- 완전 구조화: 공장, 자동차 생산 라인 (수십 년간 자동화됨)
- 반구조화: 아마존 창고, 레스토랑, 호텔 (어느 정도의 제어권 있음)
- 비구조화: 가정 (가장 큰 도전, 예측 불가능한 변수 많음)
현재 로봇 공학이 반구조화 환경에 집중 하는 것이 훨씬 더 현실적이고 지속 가능한 접근 방식입니다.
결론
World Labs와 SceniX의 통합은 로봇 공학의 핵심 병목인 훈련 데이터 부족 과 비효율적인 평가 를 해결합니다. 시뮬레이션은 인간이 머릿속으로 하는 반사실적 추론을 로봇에게 제공함으로써, 신뢰할 수 있고 확장 가능한 로봇 시스템 개발을 가능하게 합니다.
로봇 공학 회사라면 지금 바로 World Labs에 연락하세요. 프로젝트의 초기 단계든 배포 단계든 상관없이, 새로운 사용 사례를 함께 탐색할 준비가 되어 있습니다.
Original source: Training Robots in Worlds That Don't Exist | World Labs with a16z
powered by osmu.app