한국어EN

총정리5부 안을 들여다보기DAY 46–55

5부 총정리

점 하나에서 내 폰까지 · 설명 한 겹 더 · DAY 46-55

AI가 만든 글이 총정리는 AI(Claude)가 그 부의 수업과 기록을 바탕으로 썼어요. 자동 점검을 거쳐 올리고, 운영자가 모든 글을 읽지는 않아요.만드는 방법

5부에서는 AI 속이 어떻게 생겼는지를 열 날에 걸쳐 봤어. 점 하나가 하는 일에서 시작해, 뜻을 숫자로 바꾸고, 찾아서 펴 놓고, 다듬고, 마지막엔 그걸 돌리는 쇳덩이와 전기까지 왔지.

여기는 퀴즈도 실험도 없어. 읽고 넘어가는 글이야. 기억이 흐릿한 날은 그 칸의 수업으로 바로 넘어가면 돼.

DAY 46 · 신경망

점 하나는 곱하고 더하는 것밖에 못 해

신경망은 숫자를 주고받는 점이 층층이 쌓인 구조야. 점 하나는 들어온 숫자에 무게를 곱해 전부 더하고, 그 합이 문턱을 넘는지만 봐. 넘으면 다음 층으로 보내고, 못 넘으면 거기서 멈춰.

첫 층은 선이나 점 같은 작은 조각만 잡아. 그 조각을 모아 다음 층이 눈과 귀를 만들고, 마지막 층이 고양이라고 답해 — 층이 깊다는 말이 이 뜻이야. 문턱이 없으면 층을 아무리 쌓아도 한 번 곱해 더한 것과 같아져.

DAY 47 · 어텐션

시선은 나눠 갖는 거야

어텐션은 단어가 다른 단어를 얼마나 세게 쳐다볼지 정하는 계산이야. 점수를 그대로 쓰지 않고 합이 1인 몫으로 바꿔 나눠 가져. 그래서 한쪽을 세게 보면 나머지는 자동으로 약해져.

'그것'이 누구를 가리키는지는 어울리는 단어에 시선이 몰리면서 정해져. 문장을 앞에서 뒤로 한 줄로 읽는 대신 한꺼번에 서로를 쳐다보게 만든 게 큰 변화였어. 2017년에 나온 이 방법이 지금 쓰는 거의 모든 모델의 바탕이 됐어.

DAY 48 · 뜻을 숫자로

뜻을 자리로 바꿔 놓는다

컴퓨터는 글자를 모르니까 단어 하나를 숫자 여러 개가 묶인 값으로 바꿔 둬. 숫자는 사람이 정해 주는 게 아니라 엄청난 양의 글을 읽으며 스스로 맞춰 가. 규칙은 하나야 — 같이 쓰이는 말이 비슷하면 숫자도 비슷하게.

뜻이 자리로 바뀌면 가깝다와 멀다를 숫자로 잴 수 있어. 글자로만 보면 '사과'와 '귤'은 아무 관계가 없는데, 자리로 보면 나란히 놓여. 이게 다음 날 배우는 비슷한 것 찾기의 바탕이야.

DAY 49 · 비슷한 것 찾기

글자가 아니라 뜻을 잰다

단어처럼 문장도 숫자 묶음으로 바꿀 수 있어. 그러면 두 문장 사이 거리가 나와. 겹치는 글자가 하나도 없어도 뜻이 같으면 가까운 자리에 놓여. 반대로 글자가 거의 같아도 뜻이 반대면 멀어져.

'재밌어'와 '재미없어'는 글자가 거의 같지만 뜻은 정반대야. 글자가 겹치는 정도로만 재면 둘을 아주 가깝다고 잘못 세게 돼. 그래서 글 찾기도 글자 맞추기 대신 뜻의 자리를 쓰는 쪽으로 옮겨 갔어.

DAY 50 · 책 펴놓고 답하기

외우기 대신 찾아서 펴 놓기

외운 것만으로 답하면 모르는 걸 그럴듯하게 지어내기 쉬워. 그래서 질문을 숫자 묶음으로 바꿔 가까운 자리에 있는 글 조각을 먼저 꺼내 와. 그 글을 옆에 펴 두고 같이 읽으며 답해.

모델을 다시 가르치지 않아도 돼 — 펴 놓는 글만 갈아 끼우면 답도 따라서 새로워져. 어디서 나온 말인지 밝힐 수 있어서 확인하기도 쉬워. 대신 찾아온 글이 틀리면 답도 같이 틀려. 찾기가 절반이야.

DAY 51 · 따로 더 가르치기

다 큰 모델을 조금 다듬는다

크게 한 번 배운 기본 모델 위에 필요한 일만 더 학습시키는 걸 파인튜닝이라고 해. 안에 든 숫자는 거의 그대로 두고 아주 일부만 고쳐. LoRA라는 방법은 고치는 숫자를 만분의 일까지 줄였어.

따로 더 가르치기는 말투와 형식을 바꾸는 데 세. 새 사실을 넣고 싶으면 앞에서 본 책 펴놓고 답하기가 맞아. 크게 키우는 단계는 몇 달이 걸리지만, 다듬는 단계는 그에 비하면 훨씬 짧고 싸.

DAY 52 · 사람이 점수 매기기

정답 대신 어느 쪽이 더 나은지

같은 질문에 답을 두 개 내게 하고 사람이 더 나은 쪽을 고르는 일을 수만 번 되풀이해. 모은 건 맞고 틀림이 아니라 사람의 취향이야. 답마다 일일이 점수를 매기면 끝이 없으니까, 고른 기록으로 채점 모델을 먼저 만들어.

그다음부터는 그 채점 모델이 대신 점수를 주고, AI는 그 점수를 따라 다듬어져. 2022년에 공개된 연구에서, 이렇게 다듬은 작은 모델의 답을 사람들은 130배 넘게 큰 모델의 답보다 더 좋아했어. 크기보다 다듬기가 더 큰 차이를 만든 드문 사례야.

DAY 53 · GPU

계산의 모양이 원래 같았다

그래픽카드(GPU)는 쉬운 계산을 한꺼번에 아주 많이 하려고 만든 부품이야. 화면의 점 수백만 개를 동시에 칠하려면 똑똑한 몇 명보다 단순한 수천 명이 필요했거든. AI 학습도 어려운 문제 하나가 아니라 쉬운 곱셈 수조 개를 동시에 푸는 일이야.

학습에 많이 쓰는 카드 한 장 안에는 아주 작은 스위치가 약 800억 개 들어 있어. 그 한 장이 1초에 약 1,000조 번 계산해. 그래도 모자라서 라마 3는 1만 6천 장을 한 덩어리로 묶어 54일을 돌렸어.

DAY 54 · 데이터센터와 전기

한 번은 작고, 다 더하면 커

2025년에 공개된 측정에서 글로 한 번 물었을 때 중간값은 0.24와트시였어. TV를 9초 켜 두는 정도라, 한 번만 보면 걱정할 양이 아니야. 문제는 그런 질문이 쉬지 않고 쌓인다는 거지.

전 세계 데이터센터가 2024년에 쓴 전기는 415테라와트시, 전 세계 전기의 약 1.5%야. 2030년엔 945테라와트시로 두 배가 넘을 거라고 국제에너지기구가 봤어. 작아 보이는 1.5%지만, 6년 만에 두 배가 되는 항목은 흔하지 않아.

DAY 55 · 내 폰 안의 AI

조각으로 나눠 쓴다

요즘 폰 안에는 숫자 30억 개쯤 되는 작은 모델이 들어 있어. 인터넷이 끊겨도 요약하고 다듬고 알림을 정리해. 폰 안 모델과 서버 모델은 크기가 수십에서 수백 배 차이 나.

폰이 먼저 해 보고 버거운 조각만 골라 밖으로 내보내. 안에서 끝내면 빠르고, 전기도 덜 들고, 내 글이 밖으로 안 나가거든. 긴 글이나 어려운 질문은 앞에서 본 그 건물까지 다녀와야 해.

5부를 한 줄로

열 날을 묶으면 이렇게 돼 — 안에 마법은 없고, 단순한 계산이 엄청나게 쌓여 있다. 곱하고 더하기(DAY 46), 어디를 볼지 정하기(DAY 47), 뜻을 자리로 바꾸기(DAY 48–49), 찾아서 펴 놓기(DAY 50), 다듬기(DAY 51–52), 그리고 그걸 돌리는 쇳덩이와 전기와 내 폰(DAY 53–55).

6부에서는 앞으로를 봐. 사람만큼 하는 AI가 정말 오는지, 왜 그 말을 두고 다투는지 볼 거야.

더 알아보기

  1. Deep learning (Nature, 2015) — 딥러닝을 만든 세 사람이 직접 쓴 요약 글nature.com/articles/nature14539
  2. Learning representations by back-propagating errors (1986) — 틀린 만큼 무게를 고치는 방법을 널리 알린 논문nature.com/articles/323533a0
  3. McCulloch·Pitts, A logical calculus… (1943) — 신경세포를 계산 소자로 본 첫 논문link.springer.com/article/10.1007/BF02478259
  4. Neural Machine Translation by Jointly Learning to Align and Translate (2014) — 어텐션이 처음 쓰인 번역 연구arxiv.org/abs/1409.0473
  5. Attention Is All You Need (2017) — 순서대로 읽기를 빼고 어텐션만 남긴 논문arxiv.org/abs/1706.03762
  6. Efficient Estimation of Word Representations (2013) — 단어를 숫자 묶음으로 바꾸는 방법을 널리 퍼뜨린 연구arxiv.org/abs/1301.3781
  7. Sentence-BERT (2019) — 문장끼리 거리를 재기 좋게 숫자 묶음을 만드는 방법arxiv.org/abs/1908.10084
  8. Dense Passage Retrieval (2020) — 글자 맞추기 대신 뜻의 자리로 글을 찾는 방법arxiv.org/abs/2004.04906
  9. Retrieval-Augmented Generation (2020) — 찾아온 글을 펴 놓고 답하게 한 연구arxiv.org/abs/2005.11401
  10. LoRA (2021) — 고치는 숫자를 만분의 일까지 줄인 방법arxiv.org/abs/2106.09685
  11. Training language models to follow instructions with human feedback (2022) — 사람이 고른 기록으로 모델을 다듬은 연구arxiv.org/abs/2203.02155
  12. NVIDIA Hopper Architecture In-Depth (2022) — 학습에 많이 쓰는 카드 속을 만든 곳이 직접 설명한 글developer.nvidia.com/blog/nvidia-hopper-architectur…
  13. The Llama 3 Herd of Models (2024) — 카드 1만 6천 장으로 54일을 돌린 기록arxiv.org/abs/2407.21783
  14. Measuring the environmental impact of AI inference (Google, 2025) — 한 번 물을 때 드는 전기를 자사 기준으로 측정한 글cloud.google.com/blog/products/infrastructure/measu…
  15. Energy and AI — Executive summary (IEA, 2025) — 데이터센터 전기를 나라 단위로 정리한 공식 요약iea.org/reports/energy-and-ai/executive-summary
  16. Introducing Apple's On-Device and Server Foundation Models (2024) — 폰 안 모델과 서버 모델을 나눠 쓴다고 밝힌 공식 글machinelearning.apple.com/research/introducing-appl…