문장을 토큰 조각으로 자르고 조각마다 번호를 붙이는 도구예요.
토크나이저는 AI가 글을 읽기 전에 거치는 첫 단계예요. 미리 정해 둔 조각 목록을 보고 문장을 토큰으로 자른 뒤, 조각마다 번호를 붙여요. AI가 실제로 계산하는 건 글자가 아니라 이 번호들의 줄이에요.
조각 목록은 아주 많은 글을 훑어서 자주 함께 나오는 글자 묶음을 모아 만들어요. 그래서 흔한 단어는 한 조각, 드문 단어는 여러 조각이 돼요. 토크나이저가 다르면 같은 문장도 토큰 수가 달라지고, 그만큼 한 번에 읽을 수 있는 양과 요금도 달라져요.
조각 목록이 학습한 글과 어긋나면 AI가 이상하게 굴 수 있어요. 2023년에는 목록에는 있지만 학습 때 거의 보지 못한 '이상한 토큰' 때문에 모델이 엉뚱한 답을 내는 사례가 알려졌어요. 그래서 토크나이저 없이 더 작은 단위를 바로 읽는 방식도 연구되고 있어요.
비유로 보면
휴대폰 스티커 팩만으로 메시지를 쓴다고 해 봐요. 자주 쓰는 말은 스티커 한 장으로 끝나지만, 팩에 없는 말은 작은 글자 스티커 여러 장을 이어 붙여야 해요. 토크나이저는 이 스티커 팩과, 문장을 어떤 스티커로 나눌지 정하는 규칙이에요.
예를 들면
'학교 끝나고 친구랑 떡볶이를 먹으러 갔어'는 어절 6개지만, 토큰으로는 10개 넘게 나뉠 수 있어요.
이 낱말과 이어진 기록
출처로 확인한 AI 역사 속 장면이에요.
Meta (Pagnoni 외)
Byte Latent Transformer
엔트로피 기반 동적 패치로 고정 어휘 없이 바이트를 직접 처리, 토크나이저 제거 노선의 최초 대규모 스케일링