시키면 알아서 끝까지 한다는데, 어디까지 맡겨도 될까 — 일 통째로 맡기기
되돌릴 수 있으면 맡기고, 되돌릴 수 없으면 네가 봐.
1 · 먼저 생각해 보기
맡겨도 되는 일과 아닌 일을 가르는 기준은 사실상 하나야 — 틀렸을 때 되돌릴 수 있느냐.
목표만 주면 스스로 검색하고, 파일 열고, 실패하면 다시 해 보는 AI를 에이전트라고 불러. 한 번 답하고 끝나는 챗봇과 여기서 갈려.
그런데 사람이 쉽게 하는 일을 에이전트는 자주 놓쳐. 그래서 맡기더라도 마지막에 사람이 보는 칸을 남겨 두는 게 요령이야.
2 · 실험 · 골라보기
직접 해보기 — 이 일, 통째로 맡겨도 될까
여섯 가지 상황이야. 기준은 하나만 생각해 — 잘못됐을 때 되돌릴 수 있나, 없나.
둘 중 하나를 골라 봐. 고르면 바로 왜 그런지 알려 줄게.
그림
사람은 쉽게, AI는 어렵게 — 2023년 첫 평가
'알아서 끝까지'가 얼마나 되는지 처음 제대로 재 봤을 때 숫자야.
3 · 퀴즈
확인해보기
세 문제. 답을 고르면 바로 채점되고, 왜 그런지도 같이 나와.
오늘의 한 줄
오늘의 한 줄
되돌릴 수 있으면 맡기고,
되돌릴 수 없으면 네가 봐.
더 알아보기
- 생각하기와 행동하기를 번갈아 하게 만든, 에이전트의 기본 꼴이야 — ReAct (2022)
- 사람은 쉽게 푸는 일상 심부름 문제로 AI를 재 본 평가 — 사람 92%, AI 15% — GAIA 벤치마크 (2023)
- 진짜로 돌아가는 웹사이트 위에서 시켜 본 평가 — 사람 78.24%, AI 14.41% — WebArena (2023)