대형 언어 모델(LLM), large language model · 거대 언어 모델 · 대규모 언어 모델

대형 언어 모델(LLM)은 인터넷 글, 책, 코드처럼 어마어마한 양의 글로 학습한 큰 AI 모델이에요. 바탕이 되는 일은 단순해요. 지금까지의 글을 보고 다음에 올 토큰을 하나 고르고, 그걸 붙여 또 다음 토큰을 고르는 걸 반복해요.

'대형'은 파라미터가 수십억에서 수천억 개, 그 이상일 만큼 크다는 뜻이에요. 대부분 2017년에 나온 트랜스포머 구조를 바탕으로 해요. 2020년 GPT-3는 질문 속 예시 몇 개만 보고 새 일을 따라 해 사람들을 놀라게 했고, 2022년 ChatGPT가 대화창으로 나오면서 누구나 쓰는 도구가 됐어요.

다만 그럴듯한 다음 말을 고르는 방식이라, 사실이 아닌 내용을 자신 있게 지어내기도 해요. 이걸 환각이라고 하니, 중요한 내용은 꼭 따로 확인해야 해요.