AI가 글을 읽고 쓸 때 쓰는 가장 작은 조각이에요.
AI는 글을 글자 그대로 읽지 않아요. 먼저 문장을 토큰이라는 조각으로 잘라요. 자주 나오는 단어는 통째로 한 조각이 되고, 드문 단어는 여러 조각으로 쪼개져요.
AI가 한 번에 읽을 수 있는 양도, 이용 요금도 토큰 수로 세요. 같은 뜻의 문장이라도 한국어는 영어보다 토큰이 더 많이 드는 편이에요. 그래서 'AI가 다음 말을 고른다'는 건 정확히는 '다음 토큰을 고른다'는 뜻이에요.
글만 그런 게 아니에요. 사진이나 소리를 다루는 AI도 그것들을 작은 조각으로 잘라 토큰처럼 한 줄로 세워 읽어요.
비유로 보면
레고를 떠올려 보세요. 자주 쓰는 모양은 큰 블록 하나로 끝나지만, 특이한 모양은 작은 블록 여러 개를 이어 붙여야 해요. AI에게 문장은 이런 블록을 한 줄로 늘어놓은 거예요.
예를 들면
'unbelievable'은 'un' · 'believ' · 'able'처럼 몇 조각으로 나뉠 수 있어요.
이 낱말과 이어진 기록
출처로 확인한 AI 역사 속 장면이에요.