본문으로
1부 · AI가 뭔지 초급 DAY 01–10 총정리

1부 총정리 — AI가 뭔지

1부 열흘치를 한 번에 훑어보기 · 짧게, 비유로 · DAY 1-10

열흘 동안 AI가 뭔지 하나씩 봤어. 여기서는 그 열흘을 한 자리에 모아 다시 훑는다.

퀴즈도 실험도 없어. 읽고 지나가면 되는 글이야. 기억이 흐릿한 날만 골라 읽어도 괜찮아.

DAY 01 · 다음 글자 맞히기

한 조각씩 고르고, 붙이고, 또 고른다

AI는 문장을 통째로 지어내지 않아. 다음에 올 조각 하나만 고르고, 그걸 붙인 다음 또 고른다. 이 고르기를 수백 번 반복한 결과가 우리가 읽는 긴 답이야. 그래서 AI는 어딘가에 있는 답을 찾아오는 게 아니라, 매번 새로 만들어 내는 거야.

DAY 02 · 토큰

그 조각의 이름, 토큰

AI가 고르는 그 조각에 이름이 있어. 토큰이라고 불러. 토큰은 글자도 단어도 아니야 — 자주 붙어 다니는 덩어리는 통째로, 낯선 덩어리는 잘게 자른 조각이야. '오늘 급식 뭐야?'가 사람 눈엔 세 어절이지만, AI 눈엔 다섯 조각쯤 된다.

DAY 03 · 확률과 온도

확률표와 온도 손잡이

다음 조각을 고를 때 AI는 후보마다 점수를 매기고, 그 점수대로 제비를 뽑아. 온도는 그 제비뽑기를 얼마나 모험적으로 할지 정하는 손잡이야. 낮추면 1등만 계속 뽑히고, 올리면 아래 후보도 자주 튀어나온다.

DAY 04 · 학습

학습은 조금씩 고치기의 반복

AI의 학습은 깨달음이 아니라 '조금씩 고치기'의 반복이야. 문장 일부를 가리고 다음 조각을 맞혀 보게 한 다음, 틀린 만큼 속의 숫자를 살짝 고쳐. 이걸 어마어마하게 반복하면 문법도 상식도 그 숫자들 안에 녹아든다.

DAY 05 · 파라미터

고쳐지는 숫자의 개수, 파라미터

학습으로 고쳐지는 그 숫자들의 개수가 파라미터야. 많을수록 담을 수 있는 패턴의 그릇이 커진다. 요즘 큰 모델은 수백억에서 1조 개 단위야 — 세어 볼 수 있는 숫자가 아니야.

DAY 06 · 환각

자신 있게 지어내는 일 — 환각

AI가 없는 사실을 태연하게 지어내는 걸 환각이라고 불러. 거짓말하려는 게 아니야. 그럴듯한 다음 조각을 고르는 구조에서 당연히 따라오는 일이야. AI는 '나는 이걸 모른다'를 표시하는 장치를 따로 갖고 있지 않아.

DAY 07 · 기억의 한계

기억이 아니라 다시 읽기

AI는 대화를 저장해 두지 않아. 매번 지금까지의 대화를 통째로 다시 읽고 답해. 한 번에 읽을 수 있는 분량에 한계가 있는데, 이걸 컨텍스트 길이라고 불러. 대화가 길어지면 앞부분이 창밖으로 밀려난다.

DAY 08 · 프롬프트

질문을 바꾸면 확률표가 바뀐다

프롬프트는 AI에게 건네는 입력 문장 전체야. 문장이 달라지면 다음 조각의 확률표 자체가 달라져 — 그래서 답이 확 바뀐다. AI를 바꾸는 게 아니라 질문을 바꾸는 거야.

DAY 09 · 큰 모델 작은 모델

크기는 파라미터 수다

모델이 크다는 건 5일차에 본 파라미터가 많다는 뜻이야. 큰 모델은 아는 게 많고 어려운 문제를 버티지만, 느리고 비싸고 서버에서만 돈다. 작은 모델은 내 기기 안에 들어가서 빠르고, 인터넷이 없어도 돌아.

DAY 10 · 열린 모델 닫힌 모델

알맹이가 어디에 있느냐

닫힌 모델은 알맹이가 회사 서버 안에만 있어. 우리는 창구로 말만 걸 수 있어. 열린 모델은 그 알맹이, 곧 가중치를 통째로 내려받아 내 컴퓨터에서 돌릴 수 있어. 묻는 자리는 같아도, 모델이 사는 자리가 다른 거야.

열흘을 한 줄로 묶으면

AI는 다음 조각을 고르는 기계고, 그 조각이 토큰이고, 고르는 방식이 확률이고, 그 확률을 만든 게 학습이야.

여기서 환각도, 기억의 한계도, 크기와 공개 방식의 차이도 전부 따라 나온다. 하나가 아니라 한 줄로 이어진 이야기였어.

2부에서는 이 물건이 어디서 왔는지, 1958년 첫 인공 뉴런부터 거슬러 올라간다.

더 읽어보기 / 근거
  1. Attention Is All You Need (2017) — 트랜스포머
  2. Neural Machine Translation of Rare Words with Subword Units (2015) — BPE 토크나이저
  3. Learning representations by back-propagating errors (1986) — 역전파
  4. Language Models are Few-Shot Learners (2020) — GPT-3, 1,750억 파라미터
  5. Training Compute-Optimal Large Language Models (2022) — 친칠라
  6. A Survey on Hallucination in Large Language Models (2023)
  7. Lost in the Middle (2023) — 긴 입력의 중간이 덜 쓰인다
  8. Pre-train, Prompt, and Predict (2021) — 프롬프트 조사 논문
  9. Distilling the Knowledge in a Neural Network (2015) — 증류
  10. Llama 2 공개 (2023) — 오픈웨이트와 라이선스 논쟁
  11. Mistral 7B (2023) — Apache 2.0
하루 5분 AI 수업 · 작성자 blog.naver.com/factnotes