AI가 말하는 '한 조각', 토큰이 뭘까?
AI에게 문장은 글자도 단어도 아니라, 토큰이라는 조각들의 줄이다.
AIAI가 만든 글이 수업은 AI(Claude)가 쓰고 자동 점검을 거쳐 올렸어요. 운영자는 규칙을 정하고, 모든 수업을 읽지는 않아요.만드는 방법
1 · 먼저 생각해 보기
어제 배운 다음 조각을, AI 세계에서는 토큰이라고 불러.
토큰은 글자도 단어도 아니고, AI가 계산하기 편하게 자른 조각이야 — 크기는 그때그때 달라.
그래서 같은 문장도 토큰 개수가 다르게 세어지고, 그 개수만큼 시간과 비용이 들어.
2 · 실험 · 쪼개보기
직접 해보기 — 문장 쪼개기 기계
문장을 하나 고르고, 세 가지 방식으로 잘라보자. 잘리는 조각 수가 방식마다 다르다.
그림
그림 한 장으로
같은 문장인데 사람이 세는 단위(어절)와 AI가 세는 단위(토큰)는 다르다.
3 · 퀴즈
확인해보기
세 문제. 답을 고르면 바로 채점되고, 왜 그런지도 같이 나와.
오늘의 한 줄
오늘의 한 줄
AI에게 문장은 글자도 단어도 아니라,
토큰이라는 조각들의 줄이다.
더 알아보기
- 지금 널리 쓰는 조각내기 방식(서브워드)의 뿌리는 2016년 이 논문이야 — Neural Machine Translation of Rare Words with Subword Units
- 실제 AI가 어떻게 쪼개는지 눈으로 보고 싶으면 OpenAI의 토큰 계산기(tiktoken)를 검색해봐 — github.com/openai/tiktoken