011943 – 2016
부품이 하나씩 만들어진 시간
지금 AI 안에 들어 있는 부품 대부분은 이 시기에 만들어졌다.
1943년, 사람의 뇌세포를 흉내 낸 계산 장치를 생각해 낸 사람들이 있었다. 문제는 어떻게 스스로 배우게 하느냐였다.
답은 생각보다 단순했다. 틀리면 조금씩 고친다. 답을 맞혀 보고, 틀린 만큼 거꾸로 되짚어 가며 숫자를 조금씩 바꾼다. 이걸 수없이 반복한다. 1986년에 이 방법이 널리 알려졌다.
그런데 층을 깊게 쌓으면 이상한 일이 생겼다. 고치라는 신호가 위로 올라가다가 사라져 버린 것이다. 깊게 쌓을수록 더 똑똑해질 텐데, 깊게 쌓으면 배우질 못했다.
이 벽을 넘는 데 다시 20년 넘게 걸렸다. 그리고 2012년, 컴퓨터 그래픽카드로 계산을 엄청 빠르게 돌리고 사진을 100만 장 넘게 모아 주자 갑자기 잘 되기 시작했다. 새 발명이 아니라 조건이 갖춰진 것이었다.
- 1986.10.09Rumelhart·Hinton·Williams — 역전파로 은닉층이 스스로 표현을 만든다는 것을 Nature에 보임 출처
- 1997Hochreiter·Schmidhuber — LSTM — 게이트로 소실 그래디언트를 완화 출처
- 2012.12Krizhevsky·Sutskever·Hinton — AlexNet — GPU·대규모 데이터·심층 CNN의 결합 출처
022017 – 2020
한 줄씩 읽던 것을 한꺼번에 보게 되다
글을 앞에서부터 한 글자씩 읽던 방식을 버리자, 훨씬 큰 모델을 만들 수 있게 됐다.
그전까지 컴퓨터가 글을 읽는 방식은 앞에서부터 한 글자씩이었다. 앞 글자를 다 처리해야 다음 글자로 갈 수 있으니, 글이 길면 오래 걸리고 앞부분은 잊어버렸다.
2017년에 나온 트랜스포머는 순서대로 읽는 걸 그만뒀다. 대신 모든 글자를 한꺼번에 펼쳐 놓고, 각 글자가 다른 글자들 중 어디를 봐야 하는지 스스로 정하게 했다.
한꺼번에 처리할 수 있으면 컴퓨터를 수천 대 붙여서 동시에 돌릴 수 있다. 그래서 모델을 훨씬 크게 만들 수 있게 됐다.
그리고 사람들은 놀라운 걸 발견했다. 모델을 크게 하고 글을 많이 읽힐수록 성적이 규칙적으로 좋아졌다. 얼마나 좋아질지 미리 계산할 수도 있었다. 그래서 회사들이 돈을 쏟기 시작했다.
- 2017.06.12Google (Vaswani 외) — Transformer — Attention Is All You Need 출처
- 2019.02.14OpenAI — GPT-2(1.5B) 발표, 악용 우려로 전체 모델 미공개 결정 출처
한 줄 정리순서대로 읽기를 그만둔 것이 이 시대의 전부다. 그 덕분에 모델을 크게 만들 수 있게 됐다.
실험한 글자씩 읽기 vs 한꺼번에 보기
트랜스포머가바꾼것
RNN0 / 9
TF0 / 9
032021 – 2022
말을 알아듣게 만들다
AI가 갑자기 똑똑해진 게 아니라, 사람 말을 듣게 바뀐 것이다.
GPT-3는 2020년에 이미 있었다. 그런데 그때는 뉴스가 되지 않았다. 왜일까?
그때의 AI는 다음에 올 말을 이어 쓰는 것만 할 줄 알았다. 질문을 하면 답을 하는 게 아니라 비슷한 질문을 더 만들어 놓기도 했다. 쓸모가 있으려면 '시키는 대로 하기'를 배워야 했다.
그래서 사람이 직접 답 두 개를 보고 어느 쪽이 더 나은지 골라 주는 방식으로 가르쳤다. 이걸 아주 많이 반복하면 AI가 '사람이 좋아하는 답'을 하게 된다.
또 하나 발견이 있었다. 어려운 문제를 줄 때 "차근차근 생각해 보자"라고 한마디 붙이면 정답률이 올라갔다. 답만 쓰지 말고 푸는 과정을 쓰게 한 것이다.
2022년 11월 30일, 이걸 다 넣은 ChatGPT가 나왔다. 그러자 세상이 알아봤다.
- 2021.01.05OpenAI — CLIP — 이미지·텍스트 공유 임베딩 출처
- 2022.01.27OpenAI — InstructGPT 발표 및 API 기본 모델 전환 (RLHF) 출처
- 2022.01.28Jason Wei 외 (Google Brain) — Chain-of-Thought Prompting — 중간 추론 단계 생성 출처
한 줄 정리AI가 똑똑해진 게 아니라 말을 듣게 된 것이다. ChatGPT의 바탕이 된 GPT-3는 2년 전부터 있었다.
042023 – 2024
AI에게 도구를 쥐어 주다
AI 혼자 답하게 두지 않고, 찾아보고 계산하고 눌러 보게 만들었다.
AI에게는 두 가지 약점이 있었다. 모르는 걸 아는 척한다(환각), 그리고 배운 시점 이후의 일을 모른다.
해결책은 단순했다. 답하기 전에 찾아보게 하는 것이다. 질문과 비슷한 문서를 창고에서 꺼내 와 같이 읽히고 답하게 한다. 이걸 RAG라고 부른다.
다음으로 도구를 쥐어 줬다. 계산기, 검색, 달력 같은 것을 AI가 직접 부를 수 있게 한 것이다. 2024년에는 화면을 보고 마우스를 움직여 컴퓨터를 직접 쓰는 것까지 됐다.
그리고 한 번에 읽을 수 있는 글의 양이 어마어마하게 늘었다. 2020년에는 책 몇 쪽 분량이었는데, 2024년에는 책 여러 권 분량을 한 번에 읽게 됐다.
다만 실패도 있었다. 목표만 주면 알아서 다 해 주는 AI를 만들려던 시도는 잘 안 됐다. 한 단계마다 조금씩 틀리는데, 열 단계를 가면 그 조금이 쌓여서 거의 다 틀려 버리기 때문이다.
- 2023.02.24Meta AI — LLaMA 1 공개 — 이후 유출되며 로컬 실행 생태계를 염 출처
- 2023.03.14OpenAI — GPT-4 공개 출처
- 2024.02.15Google DeepMind — Gemini 1.5 Pro — 프리뷰 100만 토큰 컨텍스트 출처
한 줄 정리AI 하나만 잘 만드는 게 아니라 AI가 쓸 도구와 자료를 같이 챙기는 것이 중요해졌다.
052024-09 – 2025
생각할 시간을 사기 시작하다
더 큰 AI를 만드는 대신, 답하기 전에 더 오래 생각하게 하면 잘 푼다는 걸 알아냈다.
지금까지의 방법은 모델을 더 크게 만드는 것이었다. 그런데 이건 돈이 어마어마하게 든다.
2024년 가을, 다른 길이 열렸다. 모델 크기는 그대로 두고 답하기 전에 혼자 오래 생각하게 한 것이다. 어려운 문제일수록 생각을 길게 하면 정답률이 올라갔다.
재미있는 건 어떻게 가르쳤느냐다. 사람이 푸는 과정을 일일이 보여 준 게 아니다. 수학 문제처럼 정답인지 자동으로 확인할 수 있는 문제를 잔뜩 주고, 맞히면 점수를 줬다. 그랬더니 AI가 스스로 되돌아가서 검토하고 방법을 바꾸는 습관을 혼자 만들어 냈다.
그래서 요즘 AI에는 '얼마나 오래 생각할지'를 정하는 다이얼이 붙어 있다. 아래에서 직접 돌려 보자.
- 2024.09.12OpenAI — o1-preview — Learning to Reason with LLMs 출처
- 2025.01.22DeepSeek — DeepSeek-R1 — 순수 RL로 추론 능력 창발 출처
- 2025.02.24Anthropic — Claude 3.7 Sonnet — 하이브리드 추론, thinking budget 최대 128K 출처
한 줄 정리AI를 더 크게 만드는 대신 생각할 시간을 사는 방법이 생겼다. 대신 생각이 길어질수록 비용이 든다.
062026
AI를 둘러싼 '장치'가 중요해지다
AI 자체보다 AI를 어떻게 쓰게 만드느냐가 더 중요해졌다.
말을 부릴 때 쓰는 마구(하네스)라는 도구가 있다. 말의 힘을 안전하게 수레로 옮겨 주는 장치다.
2026년의 AI 이야기가 딱 그렇다. 모델 자체보다 그 힘을 어디로 어떻게 흘려보낼지 정하는 장치가 더 중요해졌다. 어떤 도구를 줄지, 무엇을 기억하게 할지, 언제 사람이 확인할지 같은 것들이다.
한편 사람이 쉽게 하는 걸 AI가 여전히 못 하는 영역도 또렷하다. 2026년 3월에 나온 새 시험에서 사람은 100% 푸는 문제를 최고 AI가 0.51%밖에 못 풀었다.
그리고 누구나 내려받아 쓸 수 있는 공개 모델이 크게 늘었다. 2026년 8월 기준 어떤 순위표에서는 176개 중 96개가 공개 모델이었다.
- 2026.03.25ARC Prize — ARC-AGI-3 공개 — 인간 100% 대 프론티어 AI 0.51% 출처
- 2026.04.02Birgitta Böckeler (Thoughtworks) — Harness engineering — Agent = Model + Harness 출처
- 2026.07.21과학기술정보통신부 — AI 기본법 시행령 시행 출처
한 줄 정리AI는 아주 잘하는 것과 여전히 못하는 것이 뾰족하게 갈린다. 잘한다는 뉴스만 보고 전부 잘한다고 생각하면 틀린다.