학습 모듈 · 중급 · 중·고등학생 눈높이

AI는 어떻게 지금이 되었나

기술 하나하나를 외우는 대신, 무엇이 문제였고 어떻게 풀렸는지를 따라간다. 각 시대는 앞 시대가 못 풀고 남긴 문제에서 시작한다. 그 연결이 보이면 새로 나오는 기술도 어디에 놓일지 짐작할 수 있다.

1143검증된 사건

1943–2026다루는 기간

22주제 축

86%1차 출처 직접 확인

네 단원

순서대로 읽으면 뒤의 말이 앞의 말로 설명된다. ①에서 뼈대를 잡고, ②에서 시대를 훑고, ③에서 최근 3년으로 좁히고, ④에서 어휘를 정리한다.

단원 ①

전체적인 개념

인공지능·머신러닝·딥러닝·생성 AI의 포함 관계와, 언어모델이 실제로 푸는 단 하나의 과제.

본문 완성 단원 ②

최근 3년간의 큰 변화점

컨텍스트 확장, 추론 모델, 연결 규격, 하네스 — 네 갈래.

본문 완성 단원 ④

꼭 알아야 할 기본 지식

토큰부터 추론 비용까지, 여덟 묶음의 필수 어휘.

본문 완성

단원 ① · 본문 완성

전체적인 개념

용어의 계층, 언어모델이 푸는 단 하나의 과제, 비용 구조, 네 조각, 그리고 이 자료의 구조.

인공지능 · 머신러닝 · 딥러닝 · 생성 AI

앞의 셋은 포함 관계다. 그런데 생성 AI만 다른 기준으로 잘린 말이라 계층에 안 들어간다.

AI ⊃ 머신러닝 ⊃ 딥러닝 은 진짜 포함 관계다. 규칙을 손으로 적는 전문가 시스템은 AI지만 머신러닝은 아니고, 결정트리·SVM은 머신러닝이지만 딥러닝은 아니다.

생성 AI는 이 계층의 칸이 아니다. 기준이 다르다 — 방법이 아니라 출력의 성격으로 자른 말이다. 분류하거나 점수를 매기는 대신 새 데이터를 만들어 내면 생성이다.

그래서 겹친다. 딥러닝인데 생성이 아닌 것(불량 판정 분류기)이 있고, 같은 언어모델이 생성에도 분류에도 쓰인다. "딥러닝과 생성 AI 중 뭐가 더 넓냐"는 질문 자체가 성립하지 않는다.

딥러닝의 원래 주장은 성능이 아니라 표현학습이었다 — 사람이 특징을 설계하는 대신 모델이 유용한 표현을 스스로 만들게 한다는 것. 1986년 논문의 핵심이 그거였다(시대 01 참조).

자주 틀리는 것"AI = 딥러닝"이 아니다. 그리고 "생성 AI"는 딥러닝의 부분집합이 아니라 다른 기준의 이름이다. 이 둘만 구분해도 기사 절반이 다르게 읽힌다.

데모

무엇이 무엇 안에 있나

버튼을 눌러 보자. 앞의 셋은 포함 관계이고, 생성 AI만 다른 기준이라 점선으로 걸쳐 있다. 그래서 “생성 AI와 딥러닝 중 뭐가 더 넓냐”는 질문은 성립하지 않는다.

언어모델이 실제로 푸는 단 하나의 과제

번역·요약·코딩이 따로 학습된 게 아니다. 전부 다음 토큰 맞히기 하나에서 나온다.

학습 과제는 단 하나다. 앞의 토큰들을 보고 다음 토큰의 확률분포를 맞힌다. 정답 라벨을 사람이 붙일 필요가 없다 — 텍스트 자체가 정답을 갖고 있다. 이 성질이 웹 규모 학습을 가능하게 했다.

여기서 태스크가 나오는 원리는 데이터의 형태다. 인터넷에는 이미 "질문 → 답변", "원문 → 번역", "코드 → 설명" 쌍이 널려 있다. 다음 토큰을 잘 맞히려면 그 관계를 모델링할 수밖에 없다.

생성할 때는 그 분포에서 샘플링한다. 온도(temperature)는 분포를 얼마나 뾰족하게(낮음: 늘 최빈값) 또는 평평하게(높음: 다양하지만 헛소리 위험) 만들지의 손잡이다. 같은 질문에 매번 답이 조금씩 다른 이유가 이것이다.

다만 이것만으로는 부족하다. 다음 토큰 예측만 학습한 모델은 질문에 답하지 않고 비슷한 질문을 더 만들어 내기도 한다. 지시를 따르게 만들려면 후속학습이 필요하다 — 시대 03이 그 이야기다.

2020-05-28OpenAI (Brown 외) — GPT-3 — 가중치 갱신 없이 프롬프트 안 예시만으로 새 과제 수행 출처
2024-02-15Xuezhi Wang 외 (Google DeepMind) — Chain-of-Thought Reasoning Without Prompting — 디코딩만 바꿔도 CoT 경로가 나타남 출처

데모

다음에 올 낱말 고르기

고양이가 매트 위에 조용히 ____

온도 0.06

온도는 확률분포를 얼마나 뾰족하게(낮음) 또는 평평하게(높음) 만들지의 손잡이다. 낮으면 재현성이 높고 뻔해지며, 높으면 다양하지만 헛소리 위험이 커진다. 코드 생성에 낮은 온도를 쓰는 이유가 이것이다. — 설명용 모형값이다.

학습하는 시간과 쓰는 시간 — 비용 구조가 완전히 다르다

사전학습은 한 번, 추론은 무한 번이다. 그래서 총비용에서는 추론이 이긴다.

사전학습은 다음 토큰 예측으로 언어 패턴 자체를 익히는 단계다. 가장 비싸고 가장 오래 걸린다. Llama 3 팀 보고서(2024-07)는 16K GPU로 54일 학습하는 동안 466건의 작업 중단이 있었고 그중 419건이 예기치 않은 중단이었다고 기록한다 — 대규모 학습이 알고리즘 문제만이 아니라는 걸 처음 정량화한 문서다.

후속학습은 그 위에 얹는다. SFT(예시로 가르치기) → RLHF(사람 선호로 다듬기) → RLVR(정답 검증으로 추론 끌어올리기). 사전학습에 비하면 훨씬 싸지만 제품의 성격을 결정하는 건 대부분 여기다.

추론은 쓸 때마다 발생한다. 그래서 총비용 계산이 뒤집힌다. Chinchilla(2022)는 학습 연산만 최적화해 파라미터당 약 20토큰을 제시했지만, 배포 후 추론 비용까지 넣으면 더 작은 모델을 더 오래 학습시키는 쪽이 이긴다. 오늘 실무는 파라미터당 1,000~2,000토큰을 흔히 쓴다.

2025년에 축이 하나 더 생겼다. 답하기 전에 추론 시점에 연산을 더 쓰는 것이다(시대 05). 이제 "어디에 연산을 쓸 것인가"가 세 갈래 문제가 됐다.

2022-03-29DeepMind (Hoffmann 외) — Chinchilla — 학습 연산 기준 최적 배분 출처
2023-12-31Sardana·Frankle 외 — Beyond Chinchilla-Optimal — 추론 수요를 넣으면 과잉학습이 최적 출처
2024-07-31Meta (Llama 3 팀) — 16K GPU·54일 사전학습에서 466건 중단, 419건이 비계획 출처

여기서 기억할 것"컴퓨트 최적"이라는 말을 보면 무슨 비용을 최적화한 건지 확인해야 한다. 학습만 보느냐, 추론까지 보느냐에 따라 정답이 두 자릿수 배로 벌어진다.

모델 · 프롬프트 · 컨텍스트 · 도구

성능이 안 나올 때 어디를 고칠지의 지도다. 실무에서 정답은 대개 모델이 아니라 나머지 셋이다.

이 네 조각은 진단 도구다. 결과가 나쁠 때 어디를 고칠지 정해 준다.

모델 — 능력 자체가 모자란 경우. 가장 비싸고 가장 느린 해결책이며, 실무에서 진짜 원인인 경우는 생각보다 드물다.

프롬프트 — 지시가 애매하거나 상충하는 경우. 참고로 Anthropic은 2026-08 문서 개정에서 역할 부여 중심을 지양하고 명료한 지시와 목적 설명을 우선하라고 권고를 바꿨다. "당신은 전문가입니다" 식 관행이 공식적으로 후퇴한 것이다.

컨텍스트 — 필요한 자료가 없거나, 반대로 너무 많아서 묻힌 경우. 후자가 실무에서 더 흔하다. 컨텍스트는 용량이 아니라 주의 예산이다.

도구 — 모델이 알 수 없는 것(오늘 날짜, 사내 DB, 계산 결과)을 요구한 경우. 이건 모델을 바꿔도 절대 안 풀린다.

2026년의 하네스는 이 뒤의 셋을 통틀어 부르는 말에 가깝다 — "에이전트에서 모델을 제외한 모든 것".

2026-04-02Birgitta Böckeler (Thoughtworks) — Harness engineering — Agent = Model + Harness 출처
2026-08-03Anthropic — Prompt engineering 문서 개정 — 역할 부여보다 명료한 지시와 목적 설명 우선 출처

여기서 기억할 것결과가 나쁘면 모델부터 바꾸지 마라. 프롬프트·컨텍스트·도구 순으로 먼저 본다. 셋 다 아닐 때 비로소 모델 문제다.

이 아카이브의 22개 축 — 왜 이렇게 잘랐는가

기술 이름으로 자르면 기술이 죽을 때 칸도 죽는다. 문제로 자르면 남는다.

축의 기준은 "무엇이 문제였나"다. 기술 이름으로 잘랐다면 축 ①(프롬프트)은 2024년쯤 닫혔어야 한다 — 실제로 프롬프트 엔지니어링이라는 말은 유행이 지났다. 그런데 그 문제(어떻게 지시해야 원하는 행동이 나오나)는 여전히 살아 있고, 2026년에도 논문이 나온다.

축은 늘어날 수 있다. 새 흐름이 보이면 관찰 주제로 먼저 등록하고, 누적이 10건을 넘으면 축으로 승격할지 검토한다. 자동으로 승격되지 않는다 — 사람이 판단한다.

축은 조용해질 수도 있다. 8개월간 사건이 없거나, 최근 1년이 직전 1년의 절반 이하로 떨어지면 시스템이 질문을 띄운다. 답은 넷 중 하나다 — 수집을 안 했다 / 다른 축에 흡수됐다 / 정말 끝났다 / 봤는데 정상이다.

한 사건은 한 축에서만 센다. 여러 축에서 읽혀야 하면 보조 축으로 표시만 하고 세지 않는다. 그래야 통계가 부풀지 않는다.

데모

22개 축에 쌓인 양

빌드 시점 실측

건수는 대표 축 기준이다. 한 사건이 여러 축에 걸쳐도 한 곳에서만 센다 — 그래야 합계가 부풀지 않는다. 그리고 이 숫자는 중요도가 아니라 관측량이다.

단원 ② · 본문 완성

시대에 따른 발전 기술의 변화

여섯 시대로 나눈다. 각 시대는 앞 시대가 못 풀고 남긴 문제에서 시작한다. 그 연결만 잡으면 나머지는 세부다.

194320172021202320252026

011943 – 2016

부품의 시대 — 오늘의 재료가 다 만들어졌다

오늘 트랜스포머 블록을 열면 나오는 부품 대부분이 2017년 이전에 이미 존재했다.

역전파(backpropagation)가 다층 신경망을 학습 가능하게 만들었다. 1974년 학위논문에 이미 서술돼 있었지만, 1986년 Nature 논문이 이를 널리 알렸다. 이 논문의 핵심 주장은 성능이 아니라 은닉층이 과제에 유용한 표현을 스스로 만든다는 것이었다 — 오늘의 '표현학습'이 여기서 시작한다.

그러나 깊어지면 학습이 안 됐다. 1991년에 소실 그래디언트가 규명된다. 층과 시퀀스 길이가 늘수록 학습 신호가 0으로 수렴하는 현상이다. LSTM(1997)은 게이트로, ResNet의 잔차연결(2015)은 지름길로 같은 문제에 서로 다른 답을 냈다. 이 둘은 지금도 쓰인다.

번역을 하려니 또 벽이 있었다. 문장 전체를 고정 길이 벡터 하나에 눌러 담고 그것만 보고 번역해야 했다. 문장이 길어지면 앞부분이 뭉개진다. 2014년 어텐션은 이 병목을 풀었다 — 출력의 매 시점마다 입력의 어느 부분을 볼지 스스로 고르게 한 것이다.

2000년대 중반의 부활은 새 이론이 아니라 조건이었다. 데이터(ImageNet, 2009), 연산(GPU 학습, 2009–2010), 레시피(ReLU·초기화·드롭아웃, 2010–2012)가 각각 자리를 잡았고, AlexNet(2012)이 셋을 한자리에 모았다.

1986-10-09Rumelhart·Hinton·Williams — 역전파로 은닉층이 스스로 표현을 만든다는 것을 Nature에 보임 출처
1997Hochreiter·Schmidhuber — LSTM — 게이트로 소실 그래디언트를 완화 출처
2012-12Krizhevsky·Sutskever·Hinton — AlexNet — GPU·대규모 데이터·심층 CNN의 결합 출처
2014-09-01Bahdanau·Cho·Bengio — 어텐션 — 고정 길이 벡터 병목을 풂 출처

여기서 기억할 것층을 깊게 쌓는 것과, 깊게 쌓은 것을 학습시키는 것은 다른 문제다. 1989년에 이미 '깊으면 표현할 수 있다'는 증명이 있었지만, '깊으면 학습된다'는 보장은 없었다. 이후 30년은 대부분 이 간극을 메우는 일이었다.

022017 – 2020

트랜스포머와 규모 — 순환을 버리자 커질 수 있게 됐다

순환을 버려 병렬 학습이 가능해졌고, 병렬 학습이 가능해지자 '크기'가 성능을 예측하는 변수가 됐다.

RNN 계열은 구조적으로 순차적이다. t번째 상태를 계산하려면 t−1번째가 필요하다. 학습을 아무리 병렬화하려 해도 시퀀스 방향으로는 풀 수 없다.

트랜스포머는 순환을 셀프 어텐션으로 대체했다. 각 위치가 다른 모든 위치를 한 번에 참조하므로, 시퀀스 전체를 한 번의 행렬 연산으로 처리한다. GPU가 잘하는 형태로 바뀐 것이다.

그러자 규모가 열렸다. GPT-2(2019)는 1.5B 파라미터였고, OpenAI는 악용을 우려해 전체 모델을 바로 공개하지 않았다 — 공개 여부가 논쟁거리가 된 첫 사례다. 이듬해 GPT-3(2020)는 175B, 100배 이상이었다.

결정적인 것은 스케일링 법칙(2020-01)이었다. 파라미터·데이터·연산을 늘렸을 때 손실이 얼마나 떨어지는지가 멱함수 꼴로 정리됐다. 이 순간부터 '더 크게'는 도박이 아니라 예산 계획이 된다.

GPT-3 논문 제목이 Language Models are Few-Shot Learners였다는 점도 중요하다. 가중치를 고치지 않고 프롬프트 안 예시만으로 새 과제를 하게 만든 것 — 오늘 우리가 챗봇에게 하는 일이 여기서 정의됐다.

2017-06-12Google (Vaswani 외) — Transformer — Attention Is All You Need 출처
2019-02-14OpenAI — GPT-2(1.5B) 발표, 악용 우려로 전체 모델 미공개 결정 출처
2020-01-23OpenAI (Kaplan 외) — Scaling Laws for Neural Language Models 출처
2020-05-28OpenAI (Brown 외) — GPT-3(175B) — Language Models are Few-Shot Learners 출처

여기서 기억할 것트랜스포머가 '더 똑똑한 구조'라서 이긴 게 아니다. GPU에서 병렬로 돌릴 수 있는 구조라서 이겼다. 이 시기 이후 구조 선택은 거의 항상 하드웨어 효율과 함께 결정된다.

데모 01

순차 처리(RNN) vs 병렬 처리(Transformer)

Thecatsatonthematquietlyatnoon

RNN0 / 9

TF 0 / 9

RNN은 t번째 상태를 계산하려면 t−1번째가 필요하다 — 시퀀스 방향으로는 병렬화가 구조적으로 불가능하다. 셀프 어텐션은 모든 위치를 한 번에 참조하므로 시퀀스 전체가 한 번의 행렬 연산이 된다. 이 그림이 2017년 이후 모델 크기가 폭발한 이유의 전부다.

데모 02

어텐션 — 어느 낱말을 보고 있는가

고양이0.00

가0.00

매트0.00

위에0.00

조용히0.00

앉았다0.00

낱말을 눌러 보자. 그 낱말이 문장의 어디를 얼마나 보는지가 막대로 표시된다. ‘앉았다’는 누가 앉았는지를 찾아 ‘고양이’를 가장 크게 본다. 이 ‘어디를 볼지 스스로 고르는 것’이 어텐션이다. 주의: 여기 값은 실제 모델에서 뽑은 가중치가 아니라 동작을 설명하기 위한 모형값이다.

032021 – 2022

정렬의 시대 — 능력이 아니라 '말을 듣는 것'이 문제였다

GPT-3는 2020년에 이미 있었다. 2년 뒤 ChatGPT가 터진 것은 모델이 커져서가 아니라 지시를 따르게 만들었기 때문이다.

사전학습된 언어모델은 다음 토큰 예측기다. 지시를 따르도록 만들어진 물건이 아니다. InstructGPT(2022-01)는 사람이 응답 순위를 매긴 데이터로 보상 모델을 학습하고, 그 보상으로 정책을 미세조정했다 — RLHF다. OpenAI는 이 모델을 API 기본값으로 바꿨다.

같은 달, Chain-of-Thought(2022-01)가 나왔다. 답만 내게 하는 대신 중간 추론 단계를 생성하게 하면 수학·상식 추론 정확도가 오른다. 가중치를 건드리지 않고 프롬프트만으로 성능을 바꾼 대표 사례이며, 오늘의 추론 모델(시대 05)의 개념적 뿌리다.

3월에는 Chinchilla(2022-03)가 나왔다. 400여 개 모델을 학습시켜, 주어진 연산 예산에서는 파라미터만 키울 게 아니라 파라미터와 토큰을 같은 비율로 늘려야 한다는 걸 보였다. 2020년의 스케일링 법칙을 배분 면에서 교정한 것이다.

이미지 쪽에서도 두 사건이 있었다. CLIP(2021-01)은 이미지와 텍스트를 같은 벡터 공간에 두었고, Stable Diffusion(2022-08)은 가중치를 공개해 소비자 GPU에서 이미지 생성이 돌게 만들었다. 오픈웨이트 생태계의 실질적 출발점이다.

2021-01-05OpenAI — CLIP — 이미지·텍스트 공유 임베딩 출처
2022-01-27OpenAI — InstructGPT 발표 및 API 기본 모델 전환 (RLHF) 출처
2022-01-28Jason Wei 외 (Google Brain) — Chain-of-Thought Prompting — 중간 추론 단계 생성 출처
2022-03-29DeepMind (Hoffmann 외) — Chinchilla — 파라미터와 토큰을 같은 비율로 출처
2022-08-22Stability AI·CompVis — Stable Diffusion v1.4 가중치 공개 출처
2022-11-30OpenAI — ChatGPT 리서치 프리뷰 공개 출처

여기서 기억할 것ChatGPT는 새 모델이 아니라 새 인터페이스와 새 후속학습이었다. '큰 모델 = 좋은 제품'이 아니라는 것을 이 시기가 증명했다.

042023 – 2024

모델에서 시스템으로 — 검색·도구·컨텍스트를 붙이다

성능을 정하는 것이 모델 하나가 아니라 모델을 둘러싼 시스템이 되기 시작했다.

가중치에 든 지식(파라메트릭)은 갱신이 비싸고 출처를 댈 수 없다. RAG는 외부 인덱스를 붙여 이 둘을 해결한다 — 재학습 없이 지식을 갱신하고 출처를 표시할 수 있다는 것이 핵심 가치다.

도구 호출은 프롬프트 파싱 의존을 API 계약으로 바꿨다. 모델이 정해진 JSON 스키마로 함수 호출을 출력한다. Toolformer(2023-02)가 연구 쪽 기점이고, 2024-10 computer use는 API가 없는 소프트웨어에 대한 최후의 범용 인터페이스로 스크린샷과 좌표 조작을 택했다.

컨텍스트 윈도우는 2020년 GPT-3의 2K에서 2024년 Gemini 1.5의 100만~200만 토큰까지 약 3자릿수 늘었다. 다만 길게 넣는다고 다 읽는 게 아니다 — 중간부 정보를 덜 쓰는 Lost in the Middle, 길수록 회상이 떨어지는 Context Rot이 곧 보고된다.

가장 중요한 교훈은 실패에서 나왔다. 목표만 주면 스스로 도는 자율 에이전트는 복합 신뢰도 문제로 무너졌다. 스텝당 성공률 85%면 5스텝에 44%, 10스텝에 20%다. 2024년 말의 결론은 냉정했다 — 대부분의 실무 문제는 에이전트가 아니라 워크플로로 충분하다.

LLaMA 1(2023-02)은 심사제 배포였지만 며칠 만에 가중치가 유출됐고, 그것이 llama.cpp(2023-03)로 이어져 노트북에서 LLM이 도는 시대를 열었다.

2023-02-24Meta AI — LLaMA 1 공개 — 이후 유출되며 로컬 실행 생태계를 염 출처
2023-03-14OpenAI — GPT-4 공개 출처
2024-02-15Google DeepMind — Gemini 1.5 Pro — 프리뷰 100만 토큰 컨텍스트 출처
2024-10-22Anthropic — Claude 3.5 Sonnet computer use 퍼블릭 베타 출처

실패에서 나온 교훈스텝당 성공률 85%는 꽤 좋아 보인다. 그런데 10스텝이면 0.85¹⁰ ≈ 20%다. 초기 자율 에이전트가 무너진 가장 근본적인 이유이고, '사람이 중간에 확인하는 루프'가 사실상 기본값이 된 이유다.

052024-09 – 2025

추론의 시대 — 답하기 전에 오래 생각하게 만들다

학습에 연산을 쓰는 축 옆에, 추론 시점에 연산을 쓰는 축이 하나 더 생겼다.

o1(2024-09)이 문을 열었다. 답변 전에 긴 사고 사슬을 생성하도록 RL로 훈련된 모델이다. 이때부터 성능을 올리는 방법이 둘이 된다 — 학습에 연산을 더 쓰거나, 추론에 연산을 더 쓰거나.

DeepSeek-R1(2025-01)은 이 레시피를 공개했다. 핵심은 RLVR이다. 학습된 보상 모델 대신 정답 대조나 코드 실행 같은 검증 함수로 보상을 준다. 수학·코딩처럼 채점이 값싼 영역에서 특히 잘 통했다.

R1-Zero에서는 사람이 만든 추론 예시(SFT) 없이 순수 RL만으로 자기검증·재검토·전략 전환이 나타났다고 보고됐다 — 이른바 '아하 모먼트'. 저자들의 표현으로는 추론은 가르치는 것이 아니라 유인하는 것이다. 이 논문은 2025-09 Nature에 게재됐다.

제품 형태도 바뀌었다. Claude 3.7 Sonnet(2025-02)이 즉답과 확장 사고를 한 모델에서 전환하는 하이브리드 추론과 thinking budget(최대 128K 토큰)을 내놨다. 지능을 켜고 끄는 게 아니라 다이얼로 조절하는 상품이 된 것이다.

같은 해 연결 규격도 자리를 잡았다. MCP(모델이 외부 데이터·도구에 접속하는 개방 프로토콜)와 Agent Skills(SKILL.md 폴더 형식의 능력 패키지)가 나왔고, Agent Skills는 2025-12 개방 표준으로 공개됐다.

2024-09-12OpenAI — o1-preview — Learning to Reason with LLMs 출처
2025-01-22DeepSeek — DeepSeek-R1 — 순수 RL로 추론 능력 창발 출처
2025-02-24Anthropic — Claude 3.7 Sonnet — 하이브리드 추론, thinking budget 최대 128K 출처
2025-04-03Anthropic — Reasoning models don't always say what they think — 힌트 언급 비율 25% 출처
2025-10-16Anthropic — Agent Skills 출시 (SKILL.md, progressive disclosure) 출처

여기서 기억할 것'추론 모델'은 2026년 현재 별도의 모델군이 아니다. 프론티어 모델이 켜고 끌 수 있는 모드로 흡수됐다. 뉴스에서 추론 모델이라는 말을 보면 그게 별도 제품인지 모드인지부터 확인하는 게 좋다.

데모 03

thinking budget — 추론 연산과 성능의 관계

생각 예산 64토큰

정답률0%

응답당 비용×1.0

정확도는 로그적으로 포화하고 비용은 거의 선형으로 증가한다. 그래서 '항상 최대로 생각하게' 하는 것은 합리적이지 않고, 문제 난이도에 따라 예산을 배분하는 컨트롤러가 별도 연구 주제가 됐다(2026-06 Selective Verification for Budget-Aware Reasoning). — 실제 측정값이 아니라 관계의 모양을 나타낸 도식이다.

062026

하네스의 시대 — 모델 바깥이 성능을 정한다

'에이전트에서 모델을 제외한 모든 것'에 이름이 붙었다 — 하네스(harness).

2026년 상반기에 하네스라는 말이 자리를 잡았다. Thoughtworks의 Birgitta Böckeler는 이것을 "AI 에이전트에서 모델을 제외한 모든 것"으로 정의한다 — 사전 통제(guides)와 사후 통제(sensors)의 조합이다.

Mitchell Hashimoto의 정의는 더 실천적이다 — "에이전트가 실수할 때마다, 그 실수를 다시는 못 하도록 시스템을 고치는 것". Philipp Schmid의 비유는 이해에 좋다: 모델=CPU, 컨텍스트 윈도=RAM, 하네스=운영체제, 에이전트=애플리케이션.

규격도 정리되는 중이다. MCP는 2026-07-28 스펙에서 프로토콜 코어를 무상태로 바꿨다. 세션 개념과 initialize 핸드셰이크를 없애고, 확인·추가 입력이 필요하면 재시도로 이어받는 패턴(MRTR)으로 갔다. 서버리스·로드밸런싱 환경에 맞춘 변화다.

동시에 못 하는 것도 또렷해졌다. ARC-AGI-3(2026-03)은 지시 없이 인터랙티브 게임을 풀게 하는 시험인데, 인간 100%에 프론티어 AI 0.51%였다. 박사급 문제는 풀면서 초등 수준 과제에서 실패하는 뾰족한 지능이 여전하다.

오픈웨이트는 역전에 가깝다. 2026-08-26 Artificial Analysis 리더보드는 176개 중 96개가 오픈웨이트였다. 규제도 실제로 발효됐다 — 한국은 AI 기본법 시행령이 2026-07-21 시행됐다.

2026-03-25ARC Prize — ARC-AGI-3 공개 — 인간 100% 대 프론티어 AI 0.51% 출처
2026-04-02Birgitta Böckeler (Thoughtworks) — Harness engineering — Agent = Model + Harness 출처
2026-07-21과학기술정보통신부 — AI 기본법 시행령 시행 출처
2026-07-28Model Context Protocol — 스펙 개정 — 프로토콜 코어의 무상태화, MRTR 패턴 도입 출처
2026-08-12Stanford Digital Economy Lab — Canaries in the Coal Mine 개정판 — 22~25세 AI 노출 직군 고용 19% 낮음 출처

여기서 기억할 것이 시대는 아직 끝나지 않았다. 하네스라는 말조차 정의가 갈려 있고, 무엇을 어떻게 평가할지도 논쟁 중이다. 정리된 역사가 아니라 지금 만들어지는 중인 역사라는 걸 감안하고 읽어야 한다.

데모 04

연도별 기록 건수 — 이 아카이브의 실측

막대에 마우스를 올리면 그 해의 건수가 나온다.

숫자로 보기

회색 띠는 위의 여섯 시대 구간이다. 주의할 점: 이 곡선은 기술 발전 속도가 아니라 기록 밀도다. 최근일수록 1차 출처가 많이 남아 있고 수집도 촘촘해서 높게 나온다. 관측 편향을 감안하고 읽어야 한다.

단원 ③ · 본문 완성

최근 3년간의 큰 변화점

컨텍스트 · 추론 · 연결 규격 · 하네스 · 오픈웨이트와 규제 · 그리고 아직 안 풀린 것.

2024 — 컨텍스트가 3자릿수 늘고, 모델이 컴퓨터를 쓰기 시작하다

2020년 2K에서 2024년 200만 토큰까지 약 1,000배. 그런데 넣는다고 다 읽는 건 아니다.

컨텍스트 윈도우는 2020년 GPT-3의 2,048 토큰에서 출발했다. 2023-11 GPT-4 Turbo가 128K, 2024-02 Gemini 1.5 Pro가 프리뷰 100만, 2024-06에는 200만 토큰이 전체 개발자에게 열렸다. 약 3자릿수 확대다.

그런데 곧바로 반대 방향의 결과가 나왔다. Lost in the Middle(중간부 정보를 덜 씀)과 Context Rot(길어질수록 회상이 떨어짐)이다. Needle in a Haystack 같은 평가가 위치·길이별 회상률을 지도로 그리면서 "넣을 수 있다 ≠ 쓴다"가 확립됐다.

그래서 컨텍스트는 용량이 아니라 주의 예산으로 재정의된다. 이 인식이 2025년 컨텍스트 엔지니어링으로 이어진다 — 무엇을 넣을지가 아니라 무엇을 빼서 예산을 지킬지의 공학.

computer use(2024-10)는 다른 방향의 확장이다. 스크린샷과 좌표 조작으로, API가 없는 소프트웨어에 대한 최후의 범용 인터페이스를 확보한 것이다. 느리고 취약하지만 적용 범위가 원리상 무제한이다.

2023-11-06OpenAI — GPT-4 Turbo 128K 컨텍스트 출처
2024-02-15Google DeepMind — Gemini 1.5 Pro — 프리뷰 100만 토큰 출처
2024-06-27Google — Gemini 1.5 Pro 200만 토큰을 전체 개발자에게 개방 출처
2024-10-22Anthropic — Claude 3.5 Sonnet computer use 퍼블릭 베타 출처

여기서 기억할 것"100만 토큰"은 사양이지 성능 보장이 아니다. 제품 사양의 컨텍스트 크기와 실제로 쓸 수 있는 길이는 다른 숫자다.

데모

컨텍스트 윈도우의 확대

로그 눈금 · 토큰

로그 눈금이다. 4년 만에 약 3자릿수 늘었다. 다만 이건 사양이고, 그 안에서 실제로 회상되는 양은 훨씬 적다는 것이 곧 밝혀졌다.

2025 — 추론 모델의 해

o1과 DeepSeek-R1. 그리고 정답을 자동으로 채점할 수 있는 문제가 추론 능력의 열쇠라는 발견.

핵심 레시피는 RLVR이다. 사람 선호로 학습한 보상 모델 대신, 정답 대조나 코드 실행 같은 검증 함수로 보상을 준다. 채점이 값싼 영역(수학·코딩)에서 특히 잘 통했다.

DeepSeek-R1은 이걸 공개했다. R1-Zero에서는 사람이 만든 추론 예시(SFT) 없이 순수 RL만으로 자기검증·재검토·전략 전환이 나타났다고 보고됐다. 저자들의 표현으로는 "추론은 가르치는 것이 아니라 유인하는 것". 이 논문은 2025-09 Nature에 8인 심사를 거쳐 게재됐고 심사보고서가 함께 공개됐다.

제품 형태도 바뀌었다. Claude 3.7(2025-02)이 즉답과 확장 사고를 한 모델에서 전환하는 하이브리드 추론과 thinking budget(최대 128K)을 냈다. 2026년 현재 '추론 모델'은 별도 모델군이 아니라 켜고 끌 수 있는 모드다.

안전 쪽에서는 나쁜 소식이 있었다. 사고 사슬을 읽어 의도를 감시할 수 있다는 기대가 흔들렸다 — Anthropic(2025-04)은 힌트를 받고도 그것을 사고 사슬에 언급하는 비율이 Claude 3.7에서 25%에 그쳤다고 보고했다.

2024-09-12OpenAI — o1-preview — Learning to Reason with LLMs 출처
2025-01-22DeepSeek — DeepSeek-R1 — 순수 RL로 추론 능력 창발 출처
2025-04-03Anthropic — 힌트 언급 비율 Claude 3.7 Sonnet 25% 출처
2025-09-17DeepSeek — DeepSeek-R1 논문 Nature 게재 — 8인 심사, 심사보고서 공개 출처

여기서 기억할 것이 레시피가 통하는 이유는 채점이 값싼 영역이었기 때문이다. 글쓰기나 판단처럼 정답을 자동으로 확인할 수 없는 일에는 같은 방법이 그대로 적용되지 않는다.

2025 — 연결 규격이 생기다

MCP와 Agent Skills. 둘 다 "컨텍스트는 유한한 예산"이라는 같은 전제에서 나왔다.

MCP는 모델·에이전트가 외부 데이터·도구에 접속하는 방식을 규정한 개방 프로토콜이다. JSON-RPC 2.0 기반 클라이언트-서버이고, 원소는 셋이다 — Tools(모델이 호출하는 동작), Resources(모델이 읽는 데이터), Prompts(사용자가 고르는 템플릿).

Agent Skills는 지시문·스크립트·리소스를 담은 폴더 형식의 능력 패키지다(SKILL.md). 핵심은 progressive disclosure — name과 description만 상시 노출하고, 실제 내용은 필요할 때 올린다. 2025-12에 개방 표준으로 공개됐다.

왜 이 설계인가: 도구 정의를 전부 컨텍스트에 실으면 정작 일할 자리가 없다. 그래서 MCP 쪽도 Tool Search(툴을 검색으로 찾아 쓰기)와 code execution(툴 호출을 코드로 오케스트레이션해 중간 결과가 컨텍스트를 통과하지 않게 하기)으로 같은 방향을 택했다.

2026년에는 프로토콜 자체가 접혔다. 2026-07-28 스펙에서 프로토콜 코어를 무상태로 바꾸고 세션 개념과 initialize 핸드셰이크를 없앴다. 확인이나 추가 입력이 필요하면 재시도로 이어받는 패턴(MRTR)을 쓴다 — 서버리스·로드밸런싱 환경에 맞춘 변화다.

위험도 같이 왔다. Tool poisoning은 악성 서버가 툴 설명문에 지시를 숨겨, 호출되기도 전에 모델 행동을 바꾸는 공격이다.

2025-10-16Anthropic — Agent Skills 출시 (SKILL.md, progressive disclosure) 출처
2025-12-18Anthropic — Agent Skills를 개방 표준으로 공개 (agentskills.io) [2차 출처] 출처
2026-06-01NVIDIA / OpenClaw — Skill Card와 SkillSpector — 스킬 공급망 신뢰 아티팩트 출처
2026-07-28Model Context Protocol — 스펙 개정 — 프로토콜 코어 무상태화, MRTR 패턴 출처

2026 — 하네스: 모델 바깥이 성능을 정한다

"에이전트에서 모델을 제외한 모든 것"에 이름이 붙었다.

정의부터 보자. Thoughtworks의 Birgitta Böckeler(2026-04-02)는 하네스를 "AI 에이전트에서 모델을 제외한 모든 것"으로 두고, 사전 통제(guides)와 사후 통제(sensors)의 조합으로 설명한다.

Mitchell Hashimoto의 정의는 더 실천적이다 — "에이전트가 실수할 때마다, 그 실수를 다시는 못 하도록 시스템을 고치는 것". 하네스를 상태가 아니라 습관으로 본다.

Philipp Schmid의 비유가 이해에 가장 좋다 — 모델=CPU, 컨텍스트 윈도=RAM, 하네스=운영체제, 에이전트=애플리케이션.

루프도 층이 갈렸다. Andrew Ng(2026-06)의 3층 루프 — agentic loop(분 단위, 에이전트가 도는 것), developer feedback loop(시간 단위, 사람이 결과를 보고 고치는 것), external feedback loop(일 단위, 실제 사용자에게서 오는 것).

정리하면 이 시대의 주장은 하나다 — 같은 모델로도 시스템 설계에 따라 결과가 크게 달라진다. 그래서 벤치마크 점수만으로 제품 성능을 예측할 수 없다.

2026-04-02Birgitta Böckeler (Thoughtworks) — Harness engineering for coding agent users 출처
2026-06-26Andrew Ng (The Batch) — 3층 루프 — agentic / developer feedback / external feedback 출처
2026-08-19OpenAI — Codex as a platform: build on the open agent harness 출처

여기서 기억할 것"하네스"라는 말을 볼 때는 누가 쓴 말인지 먼저 봐야 한다. 통제 시스템을 뜻할 수도, 개발 습관을 뜻할 수도, 특정 제품을 뜻할 수도 있다.

오픈웨이트의 역전과 규제의 실제 발효

2026-08 기준 어떤 리더보드는 176개 중 96개가 오픈웨이트다. 다만 '오픈'의 뜻은 생각보다 좁다.

오픈웨이트 ≠ 오픈소스다. OSAID 1.0 기준은 셋을 요구한다 — ① 가중치 ② 학습·추론 전 과정의 소스코드 ③ 데이터 정보(출처·범위·라벨링 절차). 이 기준으로 보면 Llama도 Qwen 대부분도 오픈소스가 아니다.

라이선스는 스펙트럼이다. 무제약(Apache 2.0, MIT) → 커뮤니티/약관형(Llama Community License) → 매출·규모 임계형(일정 매출을 넘으면 별도 계약) → 전용(bespoke). 눈여겨볼 경향이 있다 — 최상위 오픈웨이트일수록 전용 라이선스로 회귀한다.

또 하나: open weights ≠ runnable weights. MoE 모델은 토큰당 계산량은 작아도 추론 시 전체 expert를 메모리에 상주시켜야 한다. 받을 수 있다고 돌릴 수 있는 게 아니다.

규제 쪽에서 꼭 구분해야 할 것이 있다. EU는 발효(법이 존재하게 된 날)와 적용(의무가 생기는 날)이 다르다. 2026-07-27 발효한 옴니버스 규정은 고위험 의무를 2027-12-02·2028-08-02로 연기했고, AI 생성 콘텐츠 투명성 의무(제50조)의 적용일도 2026-12-02로 밀렸다.

2026-07-21과학기술정보통신부 — AI 기본법 시행령 시행 — AI 제품·서비스 확인제도 신설 출처
2026-07-27EU — AI 옴니버스 규정 (EU) 2026/1744 발효 — 고위험 의무 2027-12-02·2028-08-02로 연기 출처
2026-08-26Artificial Analysis — Intelligence Index — 리더보드 176개 중 96개가 오픈웨이트 출처

데모

리더보드 176개의 구성

2026-08-26

Artificial Analysis 리더보드 176개 중 96개(2026-08-26). 단 오픈웨이트 ≠ 오픈소스이고, 라이선스 조건은 모델마다 크게 다르다.

닫히지 않은 문제 — 평가·컨텍스트·성과

무엇을 어떻게 평가할지조차 논쟁 중이다. 그리고 확산과 성과 사이에 간극이 있다.

평가가 흔들린다. 2026년 평가 타당성의 최대 교란 요인으로 evaluation awareness(모델이 자신이 평가 중임을 인지하는 것)가 지목됐다. 평가 중임을 알면 평가 중일 때만 잘할 수 있다.

벤치마크 자체의 수정 이력도 늘었다. Terminal-Bench 2.1은 외부 의존성 변화·자원 불일치·명세 오류로 28개 과제를 수정했고, FrontierMath 개정판은 Tier 1~3에서 123문항 수정·5문항 제거했다. 즉 과거 점수와 현재 점수의 비교 가능성이 보장되지 않는다.

컨텍스트 부패도 그대로다. 2026-05 보고는 80만 토큰의 무해한 활동 뒤에 나온 위험 행동을 프런티어 모델이 최대 30배 더 자주 놓친다고 했다.

확산과 성과의 간극이 있다. McKinsey(2026-08)는 전사 확산 44%, EBIT 기여 인정 37%로 전년과 사실상 같다고 보고했다. 도입 초기 지연인지 구조적 한계인지는 아직 모른다.

노동시장 신호도 나왔다. Stanford Digital Economy Lab(2026-08)은 22~25세의 AI 노출 직군 고용이 19% 낮다고 보고했다.

2026-03-25ARC Prize — ARC-AGI-3 — 인간 100% 대 프론티어 AI 0.51% 출처
2026-06-12Epoch AI — FrontierMath 개정판 — Tier 4에서 12문항 수정·7문항 제거, Tier 1~3에서 123문항 수정·5문항 제거 출처
2026-08-12Stanford Digital Economy Lab — 22~25세 AI 노출 직군 고용 19% 낮음 출처
2026-08-25McKinsey — State of AI 2026 — 전사 확산 44%, EBIT 기여 인정 37% 출처

단원 ④ · 본문 완성

꼭 알아야 할 기본 지식

축 문서의 「핵심 개념·용어」를 학습 순서로 재배열한 것이다. 위에서부터 읽으면 뒤의 말이 앞의 말로 설명된다.

30개 용어

토큰과 컨텍스트 윈도우

모든 비용·한계·가격이 이 단위로 계산된다. 여기부터 봐야 나머지가 읽힌다.

토큰token: 모델이 다루는 최소 단위. 자주 나오는 덩어리는 통째로 한 토큰이 되고, 드문 것은 잘게 쪼개진다.
컨텍스트 윈도우context window: 입력과 출력을 합쳐 한 번에 처리 가능한 최대 토큰 수. 2020년 2K에서 2024년 200만까지 늘었다.
토큰 단가price per token: 입력·출력 토큰마다 가격이 다르고 보통 출력이 비싸다. 프롬프트 캐싱으로 반복 프리픽스는 할인된다.

파라미터 · 가중치 · MoE

크기가 두 개의 숫자로 갈렸다. 총 크기와 실제로 쓰는 크기.

파라미터 / 가중치parameter / weight: 학습으로 조정되는 값. 7B는 70억 개라는 뜻이다. 많다고 항상 좋은 건 아니다.
MoE / 활성 파라미터Mixture of Experts: 토큰마다 일부 전문가만 활성화한다. 총 1T·활성 32B 같은 표기가 그것이다. 계산은 적게, 지식은 많이.
증류distillation: 큰 모델의 출력 분포를 작은 모델이 따라 배우게 한다. 2015년의 경량화 기법.

사전학습 · SFT · RLHF · RLVR

각 단계가 무엇을 바꾸고 무엇을 못 바꾸는지가 중요하다.

사전학습pre-training: 다음 토큰 예측으로 언어 패턴 자체를 익힌다. 지시를 따르는 능력은 여기서 안 생긴다.
SFTsupervised fine-tuning: 지시-응답 쌍으로 미세조정한다. 형식과 말투를 잡는 데 효과적이다.
RLHF / DPORL from Human Feedback: 사람 선호 순위로 보상 모델을 학습하고 그 보상으로 정책을 다듬는다. DPO는 보상 모델 없이 선호쌍으로 직접 최적화한다.
RLVRRL with Verifiable Rewards: 학습된 보상 모델 대신 정답 대조·코드 실행 같은 검증 함수로 보상을 준다. 수학·코딩에서 특히 강하다.

프롬프트 · 시스템 프롬프트 · 프롬프트 주입

지시에는 계층이 있고, 그 계층이 깨지는 방식이 있다.

프롬프트prompt: 모델에 주는 입력 텍스트 전체. 이 시대의 전환은 프롬프트가 '질문'이 아니라 태스크 명세로 취급되기 시작한 점이다.
시스템 프롬프트system prompt: 사용자 입력보다 상위에 두는 지시 레이어. 역할·제약·안전 규칙이 여기 들어간다.
프롬프트 주입prompt injection: 신뢰할 수 없는 입력이 원래 지시를 덮어쓰는 취약점. 웹페이지·문서·툴 설명문 어디든 통로가 된다.
치명적 삼중주lethal trifecta: 개인 데이터 접근 + 신뢰할 수 없는 콘텐츠 + 외부로 나가는 통신. 셋이 모이면 데이터 탈취가 성립한다.

RAG · 임베딩 · 청킹

가장 흔한 실무 구성이고, 가장 흔한 실패 원인도 여기 있다.

RAGRetrieval-Augmented Generation: 가중치 속 지식과 외부 인덱스의 지식을 결합한다. 재학습 없이 지식을 갱신하고 출처를 표시할 수 있는 것이 핵심 가치다.
임베딩 / 벡터 검색embedding: 텍스트를 고정 차원 벡터로 사상해 의미적 근접도로 검색한다. 대신 정확한 고유명사·코드·숫자 검색에는 오히려 약하다.
하이브리드 검색 / 리랭킹hybrid search / reranking: 밀집(임베딩)과 희소(BM25)를 함께 쓰고 상위 후보를 크로스 인코더로 재정렬한다. 실무 표준이다.
청킹chunking: 쪼개는 단위를 정하는 전처리. 쪼개는 순간 문맥이 사라지는 것이 RAG 실패의 최대 원인이다.

도구 호출 · 에이전트 · 루프

왜 초기 자율 에이전트가 무너졌는지가 이 묶음의 핵심이다.

도구 호출tool use / function calling: 모델이 정해진 JSON 스키마로 외부 함수 호출을 출력한다. 프롬프트 파싱 의존을 API 계약으로 대체한 것이다.
ReAct 루프Reason + Act: Thought → Action → Observation의 반복. 외부 관찰이 매 스텝 들어오므로 순수 CoT보다 환각·오류 전파가 적다.
복합 신뢰도compounding reliability: 스텝당 성공률 85%면 5스텝 44%, 10스텝 20%. 초기 자율 에이전트가 무너진 가장 근본적인 이유다.
ACIAgent-Computer Interface: 사람용 셸·에디터 대신 에이전트가 실수하기 어렵게 재설계한 명령 집합. 같은 모델이라도 인터페이스만 바꿔 성능이 크게 달라진다.

환각 · 벤치마크 · 오염

점수를 읽는 법. 무엇을 재고 무엇을 못 재는가.

환각hallucination: 사실이 아닌 내용을 자신 있게 생성하는 현상. 다음 토큰 예측이 '그럴듯함'을 최적화하기 때문에 구조적으로 발생한다.
오염contamination: 평가 데이터가 학습 데이터에 포함된 상태. 완전 검출은 불가능하고 새 문제셋으로 간접 측정한다.
pass@kpass@k: k를 밝히지 않은 점수는 비교 불가다. pass@1과 pass@10은 완전히 다른 숫자다.
평가 인지evaluation awareness: 모델이 자신이 평가 중임을 인지하는 현상. 2026년 평가 타당성의 최대 교란 요인으로 지목됐다.

양자화 · KV 캐시 · 추론 비용

같은 모델이 기기마다 다르게 도는 이유.

양자화quantization: 가중치를 낮은 비트로 표현해 메모리와 대역폭을 줄인다. Q4_K_M 같은 표기가 그 방식과 강도를 뜻한다.
KV 캐시KV cache: 이미 처리한 토큰의 key/value를 저장해 재사용한다. 시퀀스 길이·배치에 비례해 커지며 LLM 서빙 메모리의 주 소비처다.
prefill / decodeprefill / decode: prefill은 프롬프트를 한 번에 처리(연산 병목), decode는 토큰을 하나씩 생성(메모리 대역폭 병목). 성격이 정반대다.
추론 비용 하락LLMflation: 동일 성능 기준 추론 비용이 연 약 10배 하락하는 현상. 단 워크플로당 총비용은 오히려 오를 수 있다 — 싸지니까 더 복잡하게 쓰기 때문이다.