1부 총정리 — AI가 뭔지
1부 열흘치를 한 번에 훑어보기 · 짧게, 비유로 · DAY 1-10
열흘 동안 AI가 뭔지 하나씩 봤어. 여기서는 그 열흘을 한 자리에 모아 다시 훑는다.
퀴즈도 실험도 없어. 읽고 지나가면 되는 글이야. 기억이 흐릿한 날만 골라 읽어도 괜찮아.
한 조각씩 고르고, 붙이고, 또 고른다
AI는 문장을 통째로 지어내지 않아. 다음에 올 조각 하나만 고르고, 그걸 붙인 다음 또 고른다. 이 고르기를 수백 번 반복한 결과가 우리가 읽는 긴 답이야. 그래서 AI는 어딘가에 있는 답을 찾아오는 게 아니라, 매번 새로 만들어 내는 거야.
그 조각의 이름, 토큰
AI가 고르는 그 조각에 이름이 있어. 토큰이라고 불러. 토큰은 글자도 단어도 아니야 — 자주 붙어 다니는 덩어리는 통째로, 낯선 덩어리는 잘게 자른 조각이야. '오늘 급식 뭐야?'가 사람 눈엔 세 어절이지만, AI 눈엔 다섯 조각쯤 된다.
확률표와 온도 손잡이
다음 조각을 고를 때 AI는 후보마다 점수를 매기고, 그 점수대로 제비를 뽑아. 온도는 그 제비뽑기를 얼마나 모험적으로 할지 정하는 손잡이야. 낮추면 1등만 계속 뽑히고, 올리면 아래 후보도 자주 튀어나온다.
학습은 조금씩 고치기의 반복
AI의 학습은 깨달음이 아니라 '조금씩 고치기'의 반복이야. 문장 일부를 가리고 다음 조각을 맞혀 보게 한 다음, 틀린 만큼 속의 숫자를 살짝 고쳐. 이걸 어마어마하게 반복하면 문법도 상식도 그 숫자들 안에 녹아든다.
고쳐지는 숫자의 개수, 파라미터
학습으로 고쳐지는 그 숫자들의 개수가 파라미터야. 많을수록 담을 수 있는 패턴의 그릇이 커진다. 요즘 큰 모델은 수백억에서 1조 개 단위야 — 세어 볼 수 있는 숫자가 아니야.
자신 있게 지어내는 일 — 환각
AI가 없는 사실을 태연하게 지어내는 걸 환각이라고 불러. 거짓말하려는 게 아니야. 그럴듯한 다음 조각을 고르는 구조에서 당연히 따라오는 일이야. AI는 '나는 이걸 모른다'를 표시하는 장치를 따로 갖고 있지 않아.
기억이 아니라 다시 읽기
AI는 대화를 저장해 두지 않아. 매번 지금까지의 대화를 통째로 다시 읽고 답해. 한 번에 읽을 수 있는 분량에 한계가 있는데, 이걸 컨텍스트 길이라고 불러. 대화가 길어지면 앞부분이 창밖으로 밀려난다.
질문을 바꾸면 확률표가 바뀐다
프롬프트는 AI에게 건네는 입력 문장 전체야. 문장이 달라지면 다음 조각의 확률표 자체가 달라져 — 그래서 답이 확 바뀐다. AI를 바꾸는 게 아니라 질문을 바꾸는 거야.
크기는 파라미터 수다
모델이 크다는 건 5일차에 본 파라미터가 많다는 뜻이야. 큰 모델은 아는 게 많고 어려운 문제를 버티지만, 느리고 비싸고 서버에서만 돈다. 작은 모델은 내 기기 안에 들어가서 빠르고, 인터넷이 없어도 돌아.
알맹이가 어디에 있느냐
닫힌 모델은 알맹이가 회사 서버 안에만 있어. 우리는 창구로 말만 걸 수 있어. 열린 모델은 그 알맹이, 곧 가중치를 통째로 내려받아 내 컴퓨터에서 돌릴 수 있어. 묻는 자리는 같아도, 모델이 사는 자리가 다른 거야.
열흘을 한 줄로 묶으면
AI는 다음 조각을 고르는 기계고, 그 조각이 토큰이고, 고르는 방식이 확률이고, 그 확률을 만든 게 학습이야.
여기서 환각도, 기억의 한계도, 크기와 공개 방식의 차이도 전부 따라 나온다. 하나가 아니라 한 줄로 이어진 이야기였어.
2부에서는 이 물건이 어디서 왔는지, 1958년 첫 인공 뉴런부터 거슬러 올라간다.
- Attention Is All You Need (2017) — 트랜스포머
- Neural Machine Translation of Rare Words with Subword Units (2015) — BPE 토크나이저
- Learning representations by back-propagating errors (1986) — 역전파
- Language Models are Few-Shot Learners (2020) — GPT-3, 1,750억 파라미터
- Training Compute-Optimal Large Language Models (2022) — 친칠라
- A Survey on Hallucination in Large Language Models (2023)
- Lost in the Middle (2023) — 긴 입력의 중간이 덜 쓰인다
- Pre-train, Prompt, and Predict (2021) — 프롬프트 조사 논문
- Distilling the Knowledge in a Neural Network (2015) — 증류
- Llama 2 공개 (2023) — 오픈웨이트와 라이선스 논쟁
- Mistral 7B (2023) — Apache 2.0