정리 노트물리 세계·현실 영향
로봇에게 필요한 건 다음 세계의 예측
서로 다른 위치에서 찍은 사진 몇 장만으로 3차원 공간을 복원해 그 안에 가상 카메라를 넣는 기술이 공개되면서, 월드 모델이 특수효과 기법이 아니라 피지컬 AI의 전제 조건이라는 정리가 나온다. 언어 모델이 다음 단어를 예측한다면 월드 모델은 다음 순간 이 세계가 어떻게 변할지를 예측하고, 로봇에게는 내가 이렇게 행동하면 세계가 어떻게 변할지가 하나 더 붙는다. 한계는 접촉인데 무게·마찰·경도는 카메라로 알 수 없고, 행동 판단이 초당 수십 회인 데 비해 접촉은 수백에서 1,000헤르츠 이상을 요구해 지금의 로봇은 사실상 접촉을 무시한 채 특성이 예상되는 물건만 다룬다. 같은 컵을 1만 번 잡아 성공률을 올리는 것은 특정 조건 최적화이고 처음 보는 물건 1만 개를 잡는 것은 전혀 다른 일반화 문제라는 구분도 함께 제시된다. 해법으로는 현장을 찍어 공간을 재구성하고 가상 로봇으로 조명과 위치를 바꿔가며 수천 번 학습시킨 뒤 실기에 이식하는 루프가 꼽힌다.
기억할 것
- 월드 모델은 다음 단어가 아니라 다음 순간의 세계를 예측한다
- 접촉은 카메라로 못 보는 정보이자 행동 판단보다 수십 배 빠른 대역폭을 요구
- 같은 것 1만 번(조건 최적화)과 다른 것 1만 개(일반화)는 다른 문제
- 재구성한 가상 공간에서 수천 번 학습 후 실기 이식하는 루프로 데이터 비용을 낮춘다
이 글은 제가 여러 자료를 읽고 제 말로 다시 정리한 노트예요. 출처 링크를 달지 않는 대신, 사실 확인이 된 사건은 기록에 따로 있어요.