웨이모 공동 CEO가 공개한 물리적 AI 개발의 7가지 핵심 교훈. 데모 vs 실제 제품, 신뢰성의 '나인(nines)', 시뮬레이션의 중요성까지.
웨이모 CEO가 말하는 자율주행 AI: 데모는 1%에 불과
핵심 요약
- 데모는 전체 작업의 1%: 첫 프로토타입 완성은 18개월, 실제 제품 출시는 15년이 걸렸음
- 신뢰성의 기하급수적 난제: 각 '나인(nine)' 추가마다 10배의 노력이 필요
- 물리적 AI는 디지털 AI와 다름: 오류 비용, 지연시간, 데이터, 검증 측면에서 근본적인 차이 존재
- 구조 증강 엔드-투-엔드 모델: 학습된 표현과 물리 법칙 기반 구조의 결합이 핵심
- 완벽한 시뮬레이션이 필수: 현실 세계의 희귀한 시나리오도 가상에서 학습 가능
물리적 AI vs 디지털 AI: 근본적인 네 가지 격차
웨이모 공동 CEO 드미트리 돌고프는 "물리적 세계를 위한 AI를 구축할 때, 디지털 AI와는 극복해야 할 네 가지 주요 격차가 있다"고 설명했습니다.
첫째, 오류 비용의 격차 입니다. 챗봇이나 디지털 비서가 실수하면 재시도하면 되지만, 자동차가 잘못 판단하면 인명 피해로 이어질 수 있습니다. 둘째, 지연시간 격차 는 더 심각합니다. 시각 언어 모델(VLM)은 몇 초 또는 몇 분의 응답 시간을 허용하지만, 고속도로에서 자동차는 1초에 약 100피트를 이동하므로 밀리초 단위의 결정이 필수적입니다. 셋째, 데이터 격차 입니다. 디지털 AI는 방대한 인터넷 데이터에 기반하지만, 물리적 세계의 "디지털화된 버전"은 존재하지 않습니다. 넷째, 검증 격차 는 배포 방식의 차이를 만듭니다. 디지털 AI는 '충분히 좋은' 상태로 무제한 규모로 배포한 후 개선할 수 있지만, 물리적 AI는 배포 전부터 높은 수준의 안전성과 신뢰성을 확보해야 합니다.
첫 번째 교훈: 데모는 1%, 제품은 99%
웨이모는 2009년 프로젝트를 시작했고 2010년경 첫 두 가지 목표를 달성했습니다. 12명의 엔지니어 팀이 18개월 만에 자율 모드로 10만 마일을 주행하고, 베이 에어리어 전역의 10개 경로(각 100마일)를 완주한 것입니다. "당시만 해도 자율주행은 완전히 해결된 것 같았습니다."
하지만 현실은 달랐습니다. 실제 서비스를 시작하는 데는 추가로 10년이 필요했고, 주당 50만 건의 운행으로 확장하는 데는 또 5년이 걸렸습니다. 즉, 데모는 18개월이었지만 제품은 약 15년이 필요했던 것입니다.
이 거대한 간격은 신뢰성과 성능이 '나인(nines)'의 기하급수적 사다리에 존재 하기 때문입니다. 90%나 99%에 도달하는 것은 쉽지만, 다음 '나인'을 추가할 때마다 약 10배 더 많은 노력이 필요합니다. 주당 수백만 마일을 운행할 때, 100만 마일당 한 번 발생할 희귀한 사건도 일상적인 현실이 됩니다.
두 번째 교훈: 기술 선택과 신뢰성의 '나인'
모든 기술에는 성능 대 노력 곡선 이 있습니다. 초기에는 가팔라지다가 결국 평평해집니다. 흔한 실패는 초기 성장이 빠른 기술을 선택하고 그 곡선을 미래로 투영하다가, 결국 제품이 요구하는 수준 훨씬 아래에서 평탄해지는 것입니다.
센싱의 예: 인간은 눈만으로도 운전할 수 있지만, 초인적 안전 성능을 목표로 하려면 카메라만으로는 부족합니다. 웨이모는 카메라, 라이다, 레이더를 결합합니다. 각 센서는 다른 센서를 보완합니다. 카메라는 고해상도를 제공하지만 어둠에 약하고, 라이다는 3D 구조를 측정하며, 레이더는 악천후를 뚫고 속도를 직접 측정합니다. 이들은 단순 백업이 아니라 융합되어 훨씬 더 정확한 인식 을 만듭니다.
세 번째 교훈: 기술 혁신을 반복적으로 통합하기
웨이모는 ConvNet(2013년), 트랜스포머(2017년)에 이어 오늘날 VLM과 최첨단 세계 모델을 활용합니다. 핵심은 새로운 기술이 단순히 성능 향상뿐 아니라 단순화와 통합도 가져야 한다 는 점입니다.
이 철학에서 탄생한 것이 웨이모 파운데이션 모델(Waymo Foundation Model) 입니다. 이는 다중 모달 센서를 처리하고, 물리·역학·사회적 측면을 이해하며(세계 모델), 행동의 영향을 파악하고(행동 모델), 시각 언어 모델의 지식을 활용(언어 정렬)하는 통합 시스템입니다.
네 번째 교훈: 구조가 확장을 촉진하는가?
AI 커뮤니티의 "쓰디쓴 교훈(bitter lesson)"은 대규모 컴퓨팅과 데이터가 수작업 설계를 항상 이긴다는 것입니다. 하지만 구조 설계가 중요한 질문은 "이 구조가 확장을 촉진하는가, 아니면 방해하는가" 입니다.
웨이모가 채택한 '구조 증강 엔드-투-엔드(structure-augmented end-to-end)' 접근 은 학습된 표현을 구체화된 구조적 표현(기하학적 객체 추적, 물리 법칙 등)으로 보강합니다. 이는 다음의 이점을 제공합니다:
- 추론 시점의 검증: 실시간 정확성·안전 검증 계층 구현
- 훈련 효율성: 일부는 대규모로, 일부는 구조화된 공간에서, 일부는 전체 엔드-투-엔드로 평가 가능
- 강화 학습 지원: 검증 가능한 피드백 신호 제공
다섯 번째 교훈: 현실을 시뮬레이션해야 탐색할 수 있다
훈련과 평가의 두 가지 방식이 있습니다. 개방 루프(사진 관찰)와 폐쇄 루프(행동→결과→새로운 상태) 입니다. 안전에 중요한 물리적 에이전트는 폐쇄 루프에서 훈련되고 평가되어야 하며, 이는 매우 정확한 생성형 세계 모델 을 필요로 합니다.
웨이모의 행동 세계 모델 은 현실의 시나리오뿐만 아니라 순전히 합성적이고 희귀한 시나리오에서도 훈련 을 가능하게 합니다. 예를 들어, 고속도로에 비행기가 착륙하거나, 탈출한 코끼리가 교차로를 지나가거나, 눈이 내리는 금문교 등의 상황을 가상으로 생성하고 학습할 수 있습니다.
여섯 번째 교훈: 상호 의존적 생태계의 플라이휠
단순히 모델 하나만으로는 불충분합니다. 상호 의존적인 세 가지 기둥(에이전트, 시뮬레이터, 비평가)을 구축해야 합니다. 이들은 같은 기반 세계 모델을 공유하며, 강력한 플라이휠을 만듭니다:
- 에이전트가 현실에 배포되어 데이터 생성
- 데이터가 시뮬레이터의 현실성을 높임
- 시뮬레이터가 더 어려운 엣지 케이스 생성
- 비평가가 채점하고 에이전트가 학습
- 더 똑똑한 에이전트가 다시 배포되어 플라이휠 가속화
일곱 번째 교훈: 평가가 전략적 해자다
"모델은 기본 요건이지만, 평가는 전략적 해자입니다." 제품을 구축하기 전에 평가 프레임워크와 지표를 먼저 구축 해야 합니다. 모델 수준의 평가만으로는 부족하며, 물리 계층·온보드 행동·오프보드 구성·운영 프로세스 전체를 포함한 안전 및 준비 프레임워크(Safety and Readiness Framework) 가 필수입니다.
신뢰는 "화려한 데모"가 아니라 끊임없는 현장 증명 으로 매일 점진적으로 얻어집니다. 웨이모는 안전 데이터와 지속적인 안전 연구를 공개적으로 발표합니다.
실제 성과: 인간보다 17배 안전
이 모든 교훈을 통합한 결과, 웨이모는 초인적 안전 성능 을 달성했습니다. 최신 데이터에 따르면, 2억 2천만 마일 이상의 완전 자율 주행을 기반으로 웨이모 드라이버가 심각한 부상을 유발하는 충돌 측면에서 인간 운전자보다 약 17배 더 안전 합니다.
현재 규모에서 웨이모는 8일마다 심각한 부상 한 건을 예방 합니다. 이는 단순한 지표가 아니라 누군가의 사랑하는 사람이 안전하게 집에 도착한다는 의미입니다.
결론
웨이모는 2024년 미국 전역 15개 도시에서 주당 약 50만 건의 운행을 제공하고 있으며, 처음 1억 마일을 달성하는 데 15년이 걸렸지만 다음 1억 마일은 단 7개월 만에 달성했습니다. 이는 올바른 기술 선택, 반복적 혁신, 강력한 평가 체계, 그리고 신뢰 기반의 운영이 어떻게 기하급수적 성장을 이끌어내는지 보여줍니다. 물리적 AI의 미래는 이제 시작 단계이며, 다음 10년은 디지털 세계를 넘어 현실의 삶을 변화시킬 것입니다.
Original source: Waymo Co-CEO Dmitri Dolgov: The Demo Is Only 1% Of The Work
powered by osmu.app