지금까지의 글을 보고 바로 다음에 올 토큰 하나를 맞히는 일이에요.
대형 언어 모델이 글을 쓰는 방식은 생각보다 단순해요. 지금까지 나온 글을 보고, 다음에 올 수 있는 토큰마다 확률을 매긴 뒤 하나를 골라요. 고른 토큰을 붙이고 다시 다음 토큰을 고르는 일을 수백 번 반복하면 긴 답이 돼요.
학습할 때도 같은 연습을 해요. 엄청난 양의 글에서 다음 토큰을 가린 채 맞혀 보고, 틀리면 조금씩 고쳐요. 단순한 연습이지만 아주 많이 하다 보니 문법과 상식, 말투까지 함께 익히게 됐어요.
다만 '그럴듯한 다음 토큰'이 늘 '사실'인 건 아니에요. AI가 자신 있게 틀리는 환각이 생기는 까닭 중 하나예요.
비유로 보면
휴대폰 키보드 위에 뜨는 추천 단어를 떠올려 보세요. 추천 단어를 계속 눌러서 문장을 끝까지 이어 가는 게 바로 이 방식이에요. AI는 훨씬 많은 글을 읽어서 훨씬 그럴듯하게 고를 뿐이에요.
예를 들면
'떡볶이를 맛있게 …' 다음에는 '먹었다'가 높은 확률을, '던졌다'는 아주 낮은 확률을 받아요.
이 낱말과 이어진 기록
출처로 확인한 AI 역사 속 장면이에요.
OpenAI (Brown 외)
GPT-3(175B) 논문 Language Models are Few-Shot Learners
파라미터 갱신 없이 프롬프트 안 예시만으로 태스크를 수행하는 in-context learning 제시
Yoshua Bengio 외
A Neural Probabilistic Language Model
단어를 밀집 벡터로 학습하는 신경 언어모형을 제시. word2vec 등 임베딩 계보의 직접 선행 연구