AI가 말하는 '한 조각', 토큰이 뭘까?

어제 배운 다음 조각을, AI 세계에서는 토큰이라고 불러.

토큰은 글자도 단어도 아니고, AI가 계산하기 편하게 자른 조각이야 — 크기는 그때그때 달라.

그래서 같은 문장도 토큰 개수가 다르게 세어지고, 그 개수만큼 시간과 비용이 들어.

직접 해보기 — 문장 쪼개기 기계

문장을 하나 고르고, 세 가지 방식으로 잘라보자. 잘리는 조각 수가 방식마다 다르다.

같은 문장인데 사람이 세는 단위(어절)와 AI가 세는 단위(토큰)는 다르다.

주황 상자가 새로 쪼개져 나온 조각이다. 짧은 낱말('학교')은 그대로, 활용형이 있는 낱말은 더 잘게 쪼개졌다.

세 문제. 답을 고르면 바로 채점되고, 왜 그런지도 같이 나와.

오늘의 한 줄

AI에게 문장은 글자도 단어도 아니라,
토큰이라는 조각들의 줄이다.

지금 널리 쓰는 조각내기 방식(서브워드)의 뿌리는 2016년 이 논문이야 — Neural Machine Translation of Rare Words with Subword Units
실제 AI가 어떻게 쪼개는지 눈으로 보고 싶으면 OpenAI의 토큰 계산기(tiktoken)를 검색해봐 — github.com/openai/tiktoken
내일은 확률과 온도를 다뤄. 어제 살짝 나온 모험심 손잡이를 더 깊이 파헤쳐 볼 거야.

하루 5분 AI 수업 · DAY 02 · 2026-09-08 | 작성자 blog.naver.com/factnotes