1부 총정리 — AI가 뭔지
같은 열흘을, 왜 그런지까지 · 설명 한 겹 더 · DAY 1-10
초급 총정리와 사실은 똑같아. 다만 '왜 그런지'를 한 겹 더 적었어.
새 용어가 나오면 처음 쓸 때 한 문장으로 풀어 둘게. 순서대로 읽으면 열흘이 한 줄로 이어질 거야.
한 조각씩 고르고, 붙이고, 또 고른다
AI는 문장을 통째로 지어내지 않아. 다음에 올 조각 하나만 고르고, 그걸 붙인 다음 또 고른다. 이 고르기를 수백 번 반복한 결과가 우리가 읽는 긴 답이야. 그래서 AI는 어딘가에 있는 답을 찾아오는 게 아니라, 매번 새로 만들어 내는 거야.
학습할 때 시킨 일이 딱 그거였기 때문이야 — 문장 일부를 가리고 다음에 올 조각을 맞히기. 잘 맞히는 법을 배운 기계는, 답할 때도 배운 그 방식으로 움직인다. 답이 한 글자씩 흘러나오는 것처럼 보이는 것도 이 때문이야. 실제로 그렇게 만들어지고 있으니까.
그 조각의 이름, 토큰
AI가 고르는 그 조각에 이름이 있어. 토큰이라고 불러. 토큰은 글자도 단어도 아니야 — 자주 붙어 다니는 덩어리는 통째로, 낯선 덩어리는 잘게 자른 조각이야. '오늘 급식 뭐야?'가 사람 눈엔 세 어절이지만, AI 눈엔 다섯 조각쯤 된다.
자르는 규칙을 토크나이저라고 해. 모델마다 규칙이 달라서 같은 문장도 토큰 수가 다르게 세어져. 토큰이 많아지면 계산할 것도 그만큼 늘어나 — 느려지고 비싸진다. 한국어는 영어보다 같은 뜻을 담는 데 토큰이 더 많이 드는 경우가 흔해.
확률표와 온도 손잡이
다음 조각을 고를 때 AI는 후보마다 점수를 매기고, 그 점수대로 제비를 뽑아. 온도는 그 제비뽑기를 얼마나 모험적으로 할지 정하는 손잡이야. 낮추면 1등만 계속 뽑히고, 올리면 아래 후보도 자주 튀어나온다.
같은 질문에 매번 다른 답이 나오는 건 기분이 달라서가 아니라 제비뽑기라서야. 정답이 하나인 일(계산·요약·코드)에는 낮추는 게 낫고, 아이디어를 여러 개 받고 싶을 땐 올리는 게 나아. 온도를 올린다고 똑똑해지지 않아 — 다양해질 뿐이고, 엉뚱해질 위험도 같이 커진다.
학습은 조금씩 고치기의 반복
AI의 학습은 깨달음이 아니라 '조금씩 고치기'의 반복이야. 문장 일부를 가리고 다음 조각을 맞혀 보게 한 다음, 틀린 만큼 속의 숫자를 살짝 고쳐. 이걸 어마어마하게 반복하면 문법도 상식도 그 숫자들 안에 녹아든다.
틀린 문제마다 '이만큼 틀렸다'는 점수를 내고, 그 방향으로 조금 움직이는 것에 가까워. 한 번에 크게 고치지 않아. 조금씩, 대신 아주 여러 번. 그래서 학습에는 엄청난 시간과 전기가 들고, 한 번 끝나면 그 뒤로 숫자는 고정된다.
고쳐지는 숫자의 개수, 파라미터
학습으로 고쳐지는 그 숫자들의 개수가 파라미터야. 많을수록 담을 수 있는 패턴의 그릇이 커진다. 요즘 큰 모델은 수백억에서 1조 개 단위야 — 세어 볼 수 있는 숫자가 아니야.
1초에 하나씩 센다면 1천억 개를 세는 데 3천 년이 넘게 걸려. 사람 뇌의 시냅스가 약 100조 개니까, 아직 거기엔 못 미친다. 그런데 숫자가 크다고 다 똑똑한 건 아니야 — 무엇을 얼마나 학습했는지가 같이 따라와야 해.
자신 있게 지어내는 일 — 환각
AI가 없는 사실을 태연하게 지어내는 걸 환각이라고 불러. 거짓말하려는 게 아니야. 그럴듯한 다음 조각을 고르는 구조에서 당연히 따라오는 일이야. AI는 '나는 이걸 모른다'를 표시하는 장치를 따로 갖고 있지 않아.
학습 데이터에 드물었던 것, 아주 최근 일, 그리고 숫자·날짜·이름 같은 구체적인 사실에서 잘 틀려. 말투는 아는 것과 모르는 것이 똑같아. 자신 있어 보인다고 사실인 게 아니야. 출처를 물어보고 그 출처를 직접 열어보는 습관이 가장 싸고 확실한 대비야.
기억이 아니라 다시 읽기
AI는 대화를 저장해 두지 않아. 매번 지금까지의 대화를 통째로 다시 읽고 답해. 한 번에 읽을 수 있는 분량에 한계가 있는데, 이걸 컨텍스트 길이라고 불러. 대화가 길어지면 앞부분이 창밖으로 밀려난다.
'아까 말했잖아'가 안 통할 때가 있어. 그 말이 이미 창밖으로 나갔을 수 있거든. 길이가 남아 있어도 문제야 — 가운데 있는 내용이 앞뒤보다 덜 반영되는 경향이 확인됐어. 정말 중요한 정보는 대화 뒷부분에서 한 번 더 짚어주는 게 가장 확실해.
질문을 바꾸면 확률표가 바뀐다
프롬프트는 AI에게 건네는 입력 문장 전체야. 문장이 달라지면 다음 조각의 확률표 자체가 달라져 — 그래서 답이 확 바뀐다. AI를 바꾸는 게 아니라 질문을 바꾸는 거야.
역할을 주고, 조건을 적고, 원하는 형식을 말하기 — 이 셋이 가장 잘 통해. '좋은 글 써줘'보다 '중학생이 읽을 300자 안내문, 예시 한 개 포함'이 훨씬 쓸모 있는 답을 끌어낸다. 속이는 기술이 아니야. 내가 원하는 걸 더 또렷하게 말하는 것뿐이야.
크기는 파라미터 수다
모델이 크다는 건 5일차에 본 파라미터가 많다는 뜻이야. 큰 모델은 아는 게 많고 어려운 문제를 버티지만, 느리고 비싸고 서버에서만 돈다. 작은 모델은 내 기기 안에 들어가서 빠르고, 인터넷이 없어도 돌아.
급하고 자주 하는 가벼운 일은 작은 쪽, 오래 생각하고 많이 읽어야 하는 일은 큰 쪽. 큰 모델이 만든 답을 교재 삼아 작은 모델을 가르치는 방법도 있어. 그러면 작은 모델이 제 덩치보다 잘하게 되지만, 큰 모델을 그대로 대신하진 못해.
알맹이가 어디에 있느냐
닫힌 모델은 알맹이가 회사 서버 안에만 있어. 우리는 창구로 말만 걸 수 있어. 열린 모델은 그 알맹이, 곧 가중치를 통째로 내려받아 내 컴퓨터에서 돌릴 수 있어. 묻는 자리는 같아도, 모델이 사는 자리가 다른 거야.
'열렸다'는 한 덩어리가 아니야. 가중치·돌리는 코드·학습 데이터·고쳐 쓸 권리, 네 조각으로 쪼개 봐야 해. 가중치와 코드는 열어도 학습 데이터는 안 여는 쪽이 대부분이야. 그래서 열렸다는 말만 듣지 말고, 어느 조각이 열렸는지를 따져 물어야 한다.
이어 붙이면 이렇게 된다
1일차의 '다음 조각 고르기'가 전부의 출발점이야. 조각에 이름을 붙이면 토큰(2일차), 고르는 방식이 확률과 온도(3일차)다.
그 확률을 만든 게 학습(4일차)이고, 학습이 고치는 숫자의 개수가 파라미터(5일차)야. 환각(6일차)과 기억의 한계(7일차)는 이 구조에서 그냥 따라 나오는 성질이지 고장이 아니야.
프롬프트(8일차)는 우리가 쥘 수 있는 손잡이고, 크기(9일차)와 공개 방식(10일차)은 같은 물건을 어디에 어떻게 놓을지의 문제였어.
- Attention Is All You Need (2017) — 트랜스포머
- Neural Machine Translation of Rare Words with Subword Units (2015) — BPE 토크나이저
- Learning representations by back-propagating errors (1986) — 역전파
- Language Models are Few-Shot Learners (2020) — GPT-3, 1,750억 파라미터
- Training Compute-Optimal Large Language Models (2022) — 친칠라
- A Survey on Hallucination in Large Language Models (2023)
- Lost in the Middle (2023) — 긴 입력의 중간이 덜 쓰인다
- Pre-train, Prompt, and Predict (2021) — 프롬프트 조사 논문
- Distilling the Knowledge in a Neural Network (2015) — 증류
- Llama 2 공개 (2023) — 오픈웨이트와 라이선스 논쟁
- Mistral 7B (2023) — Apache 2.0