5부 총정리
점 하나에서 내 폰까지 · 짧게, 비유로 · DAY 46-55
AIAI가 만든 글이 총정리는 AI(Claude)가 그 부의 수업과 기록을 바탕으로 썼어요. 자동 점검을 거쳐 올리고, 운영자가 모든 글을 읽지는 않아요.만드는 방법
5부에서는 AI 속이 어떻게 생겼는지를 열 날에 걸쳐 봤어. 점 하나가 하는 일로 시작해서, 마지막엔 내 폰 안까지 왔지.
여기는 퀴즈도 실험도 없어. 읽고 넘어가는 글이야. 기억이 흐릿한 날은 그 칸의 수업으로 바로 넘어가면 돼.
DAY 46 · 신경망
점 하나는 곱하고 더하는 것밖에 못 해
AI 속을 열면 숫자를 주고받는 점들이 층층이 쌓여 있어. 이걸 신경망이라고 불러. 점 하나가 하는 일은 곱하고 더하고 문턱을 넘는지 보기, 이게 전부야. 똑똑함은 점 하나에 있지 않아. 층을 여러 번 지나는 동안 쌓이는 거야.
DAY 47 · 어텐션
시선은 나눠 갖는 거야
어텐션은 문장 속 단어가 다른 단어를 얼마나 세게 쳐다볼지 정하는 계산이야. 시선은 무한정 늘어나지 않아 — 합이 정해진 몫을 나눠 갖거든. 그래서 한쪽을 세게 보면 다른 쪽은 약해지고, 어디에 몰리느냐가 곧 뜻이 돼.
DAY 48 · 뜻을 숫자로
뜻을 자리로 바꿔 놓는다
컴퓨터는 글자를 모르고 숫자만 다뤄. 그래서 단어 하나를 숫자 묶음으로 바꿔 둬. 같이 쓰이는 말이 비슷하면 숫자도 비슷해지게 배워서, 뜻이 가까운 말끼리 가까운 자리에 놓여. 뜻이 자리로 바뀌면 가깝다와 멀다를 계산으로 잴 수 있어.
DAY 49 · 비슷한 것 찾기
글자가 아니라 뜻을 잰다
문장도 숫자 묶음으로 바꿀 수 있어. 그러면 두 문장 사이 거리를 잴 수 있지. 겹치는 글자가 하나도 없어도 뜻이 같으면 가까운 자리에 놓여. 반대로 글자는 거의 같은데 뜻이 반대면 멀어져. '재밌어'와 '재미없어'가 그래.
DAY 50 · 책 펴놓고 답하기
외우기 대신 찾아서 펴 놓기
외운 것만으로 답하면 모르는 걸 그럴듯하게 지어내기 쉬워. 그래서 답하기 전에 관련된 글을 먼저 찾아 와 옆에 펴 두는 방법을 써. 시험이 아니라 오픈북이 되는 거야. 어디서 나온 말인지도 밝힐 수 있고.
DAY 51 · 따로 더 가르치기
다 큰 모델을 조금 다듬는다
크게 한 번 배운 기본 모델 위에, 필요한 일만 조금 더 가르칠 수 있어. 파인튜닝이라고 불러. 처음부터 다시 배우는 게 아니라 안에 든 숫자 중 아주 일부만 고쳐. 말투와 형식을 바꾸는 데 세고, 새 사실을 넣을 때는 책 펴놓고 답하기를 써.
DAY 52 · 사람이 점수 매기기
정답 대신 어느 쪽이 더 나은지
같은 질문에 답을 두 개 내게 하고, 사람이 더 나은 쪽을 고르는 일을 수만 번 되풀이해. 모은 건 맞고 틀림이 아니라 사람의 취향이야. 그 취향을 따라 하는 작은 채점 모델을 만들고, 그 점수를 따라 AI를 다듬어.
DAY 53 · GPU
계산의 모양이 원래 같았다
그래픽카드는 쉬운 계산을 한꺼번에 아주 많이 하려고 만든 부품이야. AI 학습이 딱 그 모양이라 심장이 됐어 — 카드 한 장 안에 작은 스위치가 약 800억 개 들어 있어. 그래도 모자라서 라마 3는 1만 6천 장을 한 덩어리로 묶어 54일을 돌렸어.
DAY 54 · 데이터센터와 전기
한 번은 작고, 다 더하면 커
글로 한 번 물었을 때 중간값이 0.24와트시였어 — TV를 9초 켜 두는 정도야. 문제는 그런 질문이 쉬지 않고 쌓인다는 거지. 전 세계 데이터센터가 2024년에 쓴 전기는 415테라와트시, 전 세계 전기의 약 1.5%였어.
DAY 55 · 내 폰 안의 AI
조각으로 나눠 쓴다
요즘 폰 안에는 숫자 30억 개쯤 되는 작은 모델이 들어 있어서, 인터넷이 끊겨도 요약하고 다듬어. 긴 글이나 어려운 질문은 앞에서 본 그 건물까지 보내서 답을 받아 와. 할 수 있는 건 안에서 끝내 — 빠르고, 전기도 덜 들고, 내 글이 밖으로 안 나가니까.
5부를 한 줄로
열 날을 한 줄로 줄이면 이거야 — 안에 마법은 없었다. 곱하고 더하는 단순한 일이 엄청나게 많이 쌓인 것뿐이야.
6부에서는 앞으로를 봐. 사람만큼 하는 AI가 정말 오는지, 어른들이 왜 그걸로 다투는지 볼 거야.
더 알아보기
- Deep learning (Nature, 2015) — 딥러닝을 만든 세 사람이 직접 쓴 요약 글nature.com/articles/nature14539
- Learning representations by back-propagating errors (1986) — 틀린 만큼 무게를 고치는 방법을 널리 알린 논문nature.com/articles/323533a0
- McCulloch·Pitts, A logical calculus… (1943) — 신경세포를 계산 소자로 본 첫 논문link.springer.com/article/10.1007/BF02478259
- Neural Machine Translation by Jointly Learning to Align and Translate (2014) — 어텐션이 처음 쓰인 번역 연구arxiv.org/abs/1409.0473
- Attention Is All You Need (2017) — 순서대로 읽기를 빼고 어텐션만 남긴 논문arxiv.org/abs/1706.03762
- Efficient Estimation of Word Representations (2013) — 단어를 숫자 묶음으로 바꾸는 방법을 널리 퍼뜨린 연구arxiv.org/abs/1301.3781
- Sentence-BERT (2019) — 문장끼리 거리를 재기 좋게 숫자 묶음을 만드는 방법arxiv.org/abs/1908.10084
- Dense Passage Retrieval (2020) — 글자 맞추기 대신 뜻의 자리로 글을 찾는 방법arxiv.org/abs/2004.04906
- Retrieval-Augmented Generation (2020) — 찾아온 글을 펴 놓고 답하게 한 연구arxiv.org/abs/2005.11401
- LoRA (2021) — 고치는 숫자를 만분의 일까지 줄인 방법arxiv.org/abs/2106.09685
- Training language models to follow instructions with human feedback (2022) — 사람이 고른 기록으로 모델을 다듬은 연구arxiv.org/abs/2203.02155
- NVIDIA Hopper Architecture In-Depth (2022) — 학습에 많이 쓰는 카드 속을 만든 곳이 직접 설명한 글developer.nvidia.com/blog/nvidia-hopper-architectur…
- The Llama 3 Herd of Models (2024) — 카드 1만 6천 장으로 54일을 돌린 기록arxiv.org/abs/2407.21783
- Measuring the environmental impact of AI inference (Google, 2025) — 한 번 물을 때 드는 전기를 자사 기준으로 측정한 글cloud.google.com/blog/products/infrastructure/measu…
- Energy and AI — Executive summary (IEA, 2025) — 데이터센터 전기를 나라 단위로 정리한 공식 요약iea.org/reports/energy-and-ai/executive-summary
- Introducing Apple's On-Device and Server Foundation Models (2024) — 폰 안 모델과 서버 모델을 나눠 쓴다고 밝힌 공식 글machinelearning.apple.com/research/introducing-appl…