아이스 아메리카노가 로봇에게 어려운 이유

피지컬 AI 연구자가 로봇이 커피 한 잔을 만들기까지 필요한 단계를 풀어 설명한 대담이다. 보고, 지시를 이해하고, 팔을 얼마나 뻗어 어느 세기로 잡을지 행동하는 세 가지를 잇는 모델을 비전-언어-행동 모델이라고 부른다. 행동하기 전에 결과를 머릿속으로 미리 돌려 보는 월드 모델이 있으면 더 효율적이고 안전하게 움직일 수 있다. 단계마다 성공률이 90%여도 열 단계면 전체 성공률이 약 35%로 떨어지므로 실패 뒤 스스로 고치는 교정 학습이 필요하다고 설명한다. 병목은 화면 자료만이 아니라 관절과 모터가 실제로 얼마나 움직였는지가 짝지어진 행동 자료라고 짚는다.

이 글은 제가 여러 자료를 읽고 제 말로 다시 정리한 노트예요. 출처 링크를 달지 않는 대신, 출처를 확인한 사건은 기록에 따로 있어요.