학습 모듈 · 고급 · 대학생 눈높이

AI는 어떻게 지금이 되었나

1차 출처로 확인된 사건만으로 구성한 기술사(技術史)다. 날짜·수치·출처를 그대로 싣고, 정리되지 않은 논쟁은 논쟁인 채로 남긴다. 각 항목은 아카이브의 축 번호로 원 문서와 이어진다.

1143검증된 사건

1943–2026다루는 기간

22주제 축

86%1차 출처 직접 확인

네 단원

순서대로 읽으면 뒤의 말이 앞의 말로 설명된다. ①에서 뼈대를 잡고, ②에서 시대를 훑고, ③에서 최근 3년으로 좁히고, ④에서 어휘를 정리한다.

단원 ①

전체적인 개념

용어 체계와 이 아카이브의 22개 축이 왜 이렇게 잘렸는지.

본문 완성 단원 ②

꼭 알아야 할 기본 지식

축별 「핵심 개념·용어」를 학습 순서로 재배열한 어휘집.

본문 완성

단원 ① · 본문 완성

전체적인 개념

이후 모든 단원이 이 다섯 개의 구분 위에 선다. 특히 포함 관계와 직교 구분을 섞지 않는 것이 중요하다.

용어의 계층 — 세 개는 방법, 하나는 출력

세 개는 방법의 계층이고 하나는 출력의 성격이다. 같은 축에서 자른 말이 아니라서 뉴스에서 자주 뒤섞인다.

세 층은 방법의 포함 관계다. 규칙 기반 시스템은 AI이되 ML이 아니고, 커널 기법·앙상블은 ML이되 DL이 아니다. DL의 정의적 주장은 표현학습 — Rumelhart 외(1986)가 은닉층이 과제에 유용한 표현을 스스로 만든다고 보인 것이 출발점이다.

생성 vs 판별은 모델링 대상의 차이다 — 결합분포 p(x) 또는 p(x,y)를 모델링하느냐, 조건부 p(y|x)만 모델링하느냐. 계층이 아니라 직교하는 구분이므로 "생성 AI ⊂ 딥러닝"이라고 쓰면 우연히만 맞는다.

LLM이 이 구분을 흐린다. 자기회귀 언어모델은 P(x_t | x_<t)를 모델링하므로 형식상 생성 모델이지만, 실제 용도의 상당 부분은 분류·추출·판정이다. LLM-as-a-judge가 대표적이다 — 생성 모델을 채점기로 쓰는 것이고, 그래서 심판 모델의 편향이 그대로 전이된다는 문제가 축 ⑯의 상시 쟁점이 된다.

실무 함의: 어떤 층에서 말하고 있는지를 먼저 고정해야 비교가 성립한다. "우리는 생성 AI를 씁니다"는 방법을 아무것도 특정하지 않는 문장이다.

구분해 둘 것포함 관계(AI⊃ML⊃DL)와 직교 구분(생성/판별)을 한 문장에 섞지 않는다. 섞는 순간 "생성 AI가 딥러닝보다 넓은가" 같은 답이 없는 질문이 만들어진다.

데모

무엇이 무엇 안에 있나

버튼을 눌러 보자. 앞의 셋은 포함 관계이고, 생성 AI만 다른 기준이라 점선으로 걸쳐 있다. 그래서 “생성 AI와 딥러닝 중 뭐가 더 넓냐”는 질문은 성립하지 않는다.

다음 토큰 예측 — 그 설명의 힘과 한계

P(x_t | x_<t)의 최대우도 학습 하나. 강력한 설명이지만 지시 이행과 창발을 이것만으로는 못 설명한다.

목적함수는 자기회귀 최대우도, 즉 코퍼스에 대한 교차엔트로피 최소화다. 라벨이 데이터 안에 있으므로 자기지도(self-supervised)이고, 이 성질이 스케일링을 가능하게 한 구조적 전제다.

"단일 목표에서 모든 능력이 나온다"는 설명은 강력하지만 두 곳에서 한계가 드러난다. 첫째, 지시 이행은 나오지 않는다 — InstructGPT(2022-01) 이전의 GPT-3는 프롬프트를 명세로 취급하지 않았다. 둘째, 창발 능력이 목적함수에서 예측되지 않는다 — 어떤 능력이 어느 규모에서 나타날지 사전에 계산할 방법이 없고, 그 '창발' 자체가 측정 방식의 산물이라는 반론도 있다(축 ⑯).

디코딩도 능력의 일부다. Self-Consistency(여러 경로 샘플링 후 최빈답)는 가중치를 안 바꾸고 정확도를 올리고, CoT는 디코딩만 바꿔도 나타난다는 결과까지 보고됐다(2024-02, Google DeepMind — greedy 대신 상위 k 토큰 분기 디코딩만으로 CoT 경로가 출현).

그래서 "모델이 무엇을 할 수 있는가"는 가중치만의 성질이 아니다. 목적함수 + 후속학습 + 디코딩 + 스캐폴딩의 합이다. 이 인식이 2026년 하네스 논의의 출발점이다(시대 06).

2020-05-28OpenAI (Brown 외) — GPT-3 — 가중치 갱신 없이 프롬프트 안 예시만으로 새 과제 수행 출처
2024-02-15Xuezhi Wang 외 (Google DeepMind) — Chain-of-Thought Reasoning Without Prompting — 디코딩만 바꿔도 CoT 경로가 나타남 출처

논쟁다음 토큰 예측이 "이해"인가 아닌가는 이 아카이브가 답하지 않는 질문이다. 다만 지시 이행이 이 목표에서 자동으로 나오지 않는다는 것은 논쟁이 아니라 관측된 사실이며, 그것이 정렬(축 ⑩)이 별도 공학 분야가 된 이유다.

데모

다음에 올 낱말 고르기

고양이가 매트 위에 조용히 ____

온도 0.06

표시값은 p_i^1/T 를 재정규화한 것이다(softmax 로짓 스케일링과 동형). 실제 서빙에서는 top-k·top-p 절단이 함께 걸리므로 꼬리가 이보다 더 잘린다. — 기저 확률은 설명용 모형값이며 실제 모델 출력이 아니다.

사전학습 · 후속학습 · 추론 — 세 개의 비용 축

2025년부터 추론 연산도 스케일링 축이 됐다. 이제 학습·데이터·추론 세 항의 배분 문제다.

학습 FLOPs와 추론 FLOPs는 서로 다른 예산이며 서로 다른 주체가 낸다. Kaplan 외(2020)와 Chinchilla(2022)는 둘 다 학습 FLOPs만의 최적화이고, Beyond Chinchilla-Optimal(2023-12)이 추론 수요를 목적함수에 넣으면 과잉학습이 최적임을 보였다. 오늘 흔한 1,000~2,000 tokens/param은 이 계산의 결과다.

정밀도까지 들어오면 축이 더 는다. Scaling Laws for Precision(2024-11)은 저정밀 학습이 유효 파라미터 수를 줄인다고 정식화하고, 학습 데이터가 많아질수록 사후 양자화의 손실이 커진다고 보고했다 — 과잉학습과 저비트 배포가 서로 당긴다는 뜻이다.

인프라 신뢰성이 실질 비용이다. Llama 3의 466건 중단 중 419건이 비계획, 약 78%가 하드웨어 기인이었다. 이 수치가 나온 뒤 체크포인팅·탄력적 학습이 축 ⑱의 상시 주제가 됐다.

2025년 이후엔 테스트 타임 컴퓨트가 세 번째 축으로 들어온다. Epoch AI(2025-05)는 o3가 o1 대비 학습 연산 10배로 추정된다고 보고했다 — 두 축이 동시에 커지고 있다. "컴퓨트 최적"을 인용할 때 어떤 비용함수를 말하는지 반드시 확인해야 하는 이유다.

2022-03-29DeepMind (Hoffmann 외) — Chinchilla — 학습 연산 기준 최적 배분 출처
2023-12-31Sardana·Frankle 외 — Beyond Chinchilla-Optimal — 추론 수요를 넣으면 과잉학습이 최적 출처
2024-07-31Meta (Llama 3 팀) — 16K GPU·54일 사전학습에서 466건 중단, 419건이 비계획 출처
2024-11-07Tanishq Kumar 외 (하버드) — Scaling Laws for Precision — 저정밀 학습이 유효 파라미터를 줄인다 출처

Agent = Model + Harness — 경계와 책임 분리

하네스는 "에이전트에서 모델을 제외한 모든 것"이다. 이 경계가 책임과 통제를 가른다.

Böckeler(2026-04-02)의 도식은 Agent = Model + Harness 이고, 하네스는 사전 통제(guides)와 사후 통제(sensors)의 조합이다. 이 절단선이 중요한 이유는 책임이 갈리기 때문이다 — 모델 공급자가 책임지는 부분과 시스템 운영자가 책임지는 부분이 여기서 나뉜다.

de Macedo(2026-06)의 형식화는 필요충분조건 4개를 제시한다 — T1 추론-행동-관찰을 엮는 적응적 루프, T2 환경을 지각·변경하는 도구 인터페이스, T3 능동적 컨텍스트 관리, T4 모델의 순응에 의존하지 않는 통제 기제. T4가 핵심이다 — 프롬프트로 "하지 마"라고 적는 것은 통제가 아니라 요청이다.

실무 함의 하나: 같은 모델이라도 ACI(Agent-Computer Interface)만 바꿔 성능이 크게 달라진다는 결과가 반복 보고됐다. 지능의 상당 부분이 가중치가 아니라 스캐폴딩에 있다는 뜻이며, 벤치마크 점수를 모델의 성질로만 읽으면 안 되는 이유이기도 하다.

주의: 이 네 조각의 경계는 합의된 표준이 아니다. 하네스의 정의만 해도 최소 여섯 갈래이고, 컨텍스트 엔지니어링과의 포함관계는 저자에 따라 정반대다(시대 06).

2026-04-02Birgitta Böckeler (Thoughtworks) — Harness engineering — Agent = Model + Harness 출처
2026-08-03Anthropic — Prompt engineering 문서 개정 — 역할 부여보다 명료한 지시와 목적 설명 우선 출처

구분해 둘 것프롬프트에 적은 금지는 요청이지 통제가 아니다. 하네스 조건 T4가 명시하는 지점이며, 프롬프트 주입이 성립하는 근본 이유이기도 하다.

축 레지스트리 — 기술이 아니라 문제로 자른다

축은 CSV 한 줄이고 코드는 안 고친다. 자동 승격도 없다 — 판단은 사람이 한다.

축 목록은 data/axes.csv 가 정본이다. 축 추가는 CSV 한 줄 + 문서 하나이며 코드를 고치지 않는다. 이 설계가 "발전하는 시스템" 요구의 실체다 — 확장이 코드 변경을 요구하면 실제로는 확장되지 않는다.

축 생애주기는 state 로 관리한다 — active / absorbed(+흡수처 필수) / closed. 조용해진 축에 대한 판정은 reviewed_on 에 기록되고 급감 깃발만 90일간 끈다. 이 유예가 없으면 매주 같은 깃발을 다시 판정하게 된다.

세는 축과 읽히는 축을 분리한다. axis 는 하나(연표·통계가 셈), also_axes 는 여럿(계보만 표시). 이 분리가 없으면 교차 주제 하나가 여러 축의 건수를 동시에 부풀린다.

실제로 이 장치가 오판을 잡은 사례가 있다. 축 ①②가 2026년 0건이길래 "흡수됐다"고 판정했다가, 찾아보니 절반이 수집 누락이어서 되돌렸다. 그래서 현재 absorbed 상태인 축은 하나도 없다 — 상태값은 존재하되 쓰이지 않는다.

설계 원칙탐지 도구(scan.py)는 아무것도 세우지 않는다. 묻기만 한다. 검증 도구(validate.py)만 빌드를 막는다. 자동 판단과 자동 차단을 섞으면 잘못된 판단이 조용히 정본이 된다.

데모

22개 축에 쌓인 양

빌드 시점 실측

대표 축(axis) 기준 집계이며 보조 축(also_axes)은 세지 않는다. 절대 건수는 수집 이력에 강하게 좌우되므로, 축 건강 판정은 이 값이 아니라 축 내부의 12개월 추세로 한다.

단원 ② · 본문 완성

시대에 따른 발전 기술의 변화

여섯 시대로 나눈다. 각 시대는 앞 시대가 못 풀고 남긴 문제에서 시작한다. 그 연결만 잡으면 나머지는 세부다.

194320172021202320252026

011943 – 2016

전사(前史) — 2017년 이전에 이미 있던 것들

AlexNet(2012)에서 새로 발명된 것은 사실상 없다. 있던 것을 충분한 데이터와 충분한 GPU로 돌린 것이다.

역전파는 Werbos(1974) 학위논문에 서술되어 있었고 Rumelhart–Hinton–Williams(1986)가 대중화했다. 같은 해 전후의 보편근사정리(Cybenko 1989, Hornik 1989)는 은닉층 하나로 임의의 연속함수를 근사할 수 있음을 보였지만 — 학습 가능성은 보장하지 않는다. 이 구분이 이후 30년의 절반을 설명한다.

Hochreiter(1991)가 소실 그래디언트를 규명하고 Bengio(1994)가 RNN에서 같은 문제를 확인했다. LSTM(1997)의 게이트와 ResNet(2015)의 잔차연결은 동일한 문제에 대한 두 답이며, Layer Normalization(2016-07)과 함께 Transformer 블록에 그대로 들어간다. Adam(2014-12)도 마찬가지다.

seq2seq(2014-09)가 가변 길이 사상을 정식화했고, 고정 길이 벡터 병목을 Bahdanau 어텐션(2014-09)이 풀었다. 동시에 순환을 없애려는 경쟁이 세 갈래로 진행됐다 — ByteNet(2016-10)과 ConvS2S(2017-05)는 확장 합성곱으로, Transformer(2017-06)는 어텐션만으로. 순환을 버리면 병렬 학습이 되고, 병렬 학습이 되면 규모를 키울 수 있다. 스케일링 시대의 구조적 전제가 이 경쟁에서 나왔다.

조직과 하드웨어도 이 구간에 배치됐다 — DeepMind 인수(2014-01), TensorFlow 공개(2015-11), OpenAI 설립(2015-12), PyTorch 공개(2016-09), TPU 공개(2016-05).

1986-10-09Rumelhart·Hinton·Williams — 역전파로 은닉층이 스스로 표현을 만든다는 것을 Nature에 보임 출처
1997Hochreiter·Schmidhuber — LSTM — 게이트로 소실 그래디언트를 완화 출처
2012-12Krizhevsky·Sutskever·Hinton — AlexNet — GPU·대규모 데이터·심층 CNN의 결합 출처
2014-09-01Bahdanau·Cho·Bengio — 어텐션 — 고정 길이 벡터 병목을 풂 출처
2015-12-10Kaiming He 외 (MSRA) — ResNet — 잔차연결로 초심층 학습을 가능하게 함 출처

구분해 둘 것보편근사정리는 표현 가능성의 정리이지 학습 가능성의 정리가 아니다. 두 명제를 섞으면 이 시기의 정체와 부활을 모두 잘못 읽게 된다.

022017 – 2020

Transformer와 스케일링 법칙 — 크기가 성능의 함수가 되다

구조적 병렬화가 규모를 열었고, 스케일링 법칙(2020-01)이 규모 투자를 예측 가능한 공학 문제로 바꿨다.

RNN의 순차 의존성은 시퀀스 축 병렬화를 원천적으로 막는다. 셀프 어텐션은 이를 O(n²) 연산과 맞바꿔 시퀀스 전체를 단일 행렬곱으로 처리한다. 하드웨어 활용률이 구조 선택을 결정한 첫 사례이며, 이후 축 ⑧(추론 인프라)의 모든 논의가 이 트레이드오프의 연장이다.

GPT-2(2019-02)의 단계적 공개 결정은 오늘 축 ⑨(오픈웨이트)와 축 ⑮(규제)가 다루는 배포 규범 논쟁의 기점이다.

Kaplan 외(2020-01)의 스케일링 법칙은 손실을 파라미터·데이터·연산의 멱함수로 정리해 규모 투자를 예측 가능한 공학 문제로 바꿨다. 단, 이 결론은 2년 뒤 Chinchilla(2022-03)에 의해 배분 비율에서 교정된다 — 아래 시대 03 참조. 두 법칙의 조정은 2026년까지도 이어지는 활성 연구다(Pearce&Song 2024-06, Skaling 2026-08).

GPT-3의 프레이밍(few-shot / one-shot / zero-shot)은 이후 프롬프트 평가의 표준 틀이 되며, in-context learning이라는 개념 자체를 정의했다.

2017-06-12Google (Vaswani 외) — Transformer — Attention Is All You Need 출처
2019-02-14OpenAI — GPT-2(1.5B) 발표, 악용 우려로 전체 모델 미공개 결정 출처
2020-01-23OpenAI (Kaplan 외) — Scaling Laws for Neural Language Models 출처
2020-05-28OpenAI (Brown 외) — GPT-3(175B) — Language Models are Few-Shot Learners 출처

논쟁셀프 어텐션의 O(n²)는 곧바로 비용 문제가 됐고, 2026년 프론티어의 기본값은 하이브리드 어텐션 — 소수의 완전 어텐션 레이어와 다수의 선형 레이어를 층별로 섞는 구조다. 즉 '어텐션만으로'는 이미 유지되지 않는다.

데모 01

시퀀스 축 병렬화 — 순환 제거의 실제 이득

Thecatsatonthematquietlyatnoon

RNN0 / 9

TF 0 / 9

RNN의 순차 의존성은 시퀀스 길이에 선형인 임계 경로를 만든다. 셀프 어텐션은 이를 O(1) 깊이로 낮추는 대신 O(n²) 연산과 맞바꾼다. GPU에서는 연산량보다 임계 경로가 벽이므로 이 교환이 이득이었다. 다만 n이 커지면 O(n²)가 다시 벽이 되어, 2026년 프론티어의 기본값은 선형·완전 어텐션을 층별로 섞는 하이브리드 어텐션이다.

데모 02

셀프 어텐션 가중치 분포 (설명용 모형값)

고양이0.00

가0.00

매트0.00

위에0.00

조용히0.00

앉았다0.00

쿼리 토큰을 선택하면 그 행의 어텐션 분포가 표시된다. 실제 모델은 이런 분포를 헤드마다 다르게 여러 벌 갖고, 층마다 다시 계산한다. 여기 값은 실제 추출값이 아니라 구조를 보이기 위한 모형값이다 — 실제 가중치 해석은 어텐션 맵만으로는 성립하지 않는다는 것이 축 ⑩(해석가능성)의 일관된 결론이다.

032021 – 2022

정렬과 배분 교정 — InstructGPT·CoT·Chinchilla, 그리고 확산

이 시기의 성과는 규모가 아니라 후속학습(RLHF)·프롬프트 기법(CoT)·자원 배분(Chinchilla)의 교정에 있다.

InstructGPT(2022-01-27 발표, 2022-03-04 arXiv)는 선호 순위 → 보상 모델 → PPO 미세조정 파이프라인을 정식화하고 API 기본 모델을 교체했다. 이 시점부터 능력(capability)과 정렬(alignment)이 분리된 공학 대상이 된다.

Chain-of-Thought(2022-01-28)는 일정 규모 이상에서만 작동한다는 조건부 결과로 보고됐고, 이는 곧 '창발 능력' 논쟁으로 이어진다. 이 축의 계보는 결코 닫히지 않았다 — 2023-07 Anthropic의 충실성 측정, 2025-07 옥스퍼드의 CoT Is Not Explainability, 2025-12-28 그 반박까지 이어진다(시대 05 참조).

Chinchilla(2022-03-29)는 compute-optimal 배분을 ≈20 tokens/param으로 제시했다. 다만 오늘의 실무는 이 지점을 훨씬 지나 1,000~2,000 tokens/param을 흔히 쓴다 — 학습 비용만이 아니라 추론 비용까지 총비용에 넣으면 과잉학습이 정당화되기 때문이다(Beyond Chinchilla-Optimal, 2023-12).

Stable Diffusion v1.4의 가중치 공개(2022-08-22)는 잠재 확산(LDM) 구조 덕에 소비자 GPU에서 실행 가능했다는 점이 핵심이다. 배포 가능성이 생태계를 만들었다.

2021-01-05OpenAI — CLIP — 이미지·텍스트 공유 임베딩 출처
2022-01-27OpenAI — InstructGPT 발표 및 API 기본 모델 전환 (RLHF) 출처
2022-01-28Jason Wei 외 (Google Brain) — Chain-of-Thought Prompting — 중간 추론 단계 생성 출처
2022-03-29DeepMind (Hoffmann 외) — Chinchilla — 파라미터와 토큰을 같은 비율로 출처
2022-08-22Stability AI·CompVis — Stable Diffusion v1.4 가중치 공개 출처
2022-11-30OpenAI — ChatGPT 리서치 프리뷰 공개 출처

논쟁Chinchilla의 20 tokens/param은 학습 연산만 최적화한 값이다. 배포 후 추론 비용이 총비용을 지배하는 오늘의 조건에서는 과잉학습이 합리적이며, 그래서 실무 비율이 두 자릿수 배로 벌어져 있다. '컴퓨트 최적'이라는 말을 인용할 때 어떤 비용함수를 말하는지 확인해야 한다.

042023 – 2024

시스템의 시대 — RAG·도구 호출·롱컨텍스트, 그리고 자율 에이전트의 좌초

파라메트릭 지식의 한계를 검색·도구로 보완하고, 컨텍스트를 3자릿수 확장한 시기. 동시에 완전 자율 에이전트가 실패한 시기다.

RAG는 파라메트릭 지식과 논파라메트릭 지식의 결합이다. 실무 표준은 곧 하이브리드 검색(dense+BM25) + 크로스 인코더 리랭킹으로 수렴했고, 최대 실패 원인은 검색기가 아니라 청킹이다 — 쪼개는 순간 문맥이 사라진다.

롱컨텍스트는 용량 문제가 아니라 주의 예산(attention budget) 문제로 재정의된다. Needle in a Haystack류 평가가 위치·길이별 회상 지도를 그리면서 '넣을 수 있다 ≠ 쓴다'가 확립됐다. 이 관점이 2025년의 컨텍스트 엔지니어링으로 이어진다.

자율 에이전트의 좌초는 축 ③의 핵심 사건이다. 복합 신뢰도(0.85^10 ≈ 0.20)와 더불어, 같은 모델이라도 ACI(Agent-Computer Interface)만 바꿔 성능이 크게 달라진다는 결과가 나오며 — 지능이 가중치가 아니라 스캐폴딩에도 상당 부분 존재한다는 주장의 근거가 된다. 2026년의 하네스 논의(시대 06)가 여기서 출발한다.

인프라 쪽 사실 하나: Llama 3 팀 보고서(2024-07)는 16K GPU 사전학습 54일 동안 466건의 작업 중단, 그중 419건이 예기치 않은 중단이었다고 기록한다. 대규모 학습이 하드웨어 신뢰성 문제라는 것을 처음으로 정량화한 문서다.

2023-02-24Meta AI — LLaMA 1 공개 — 이후 유출되며 로컬 실행 생태계를 염 출처
2023-03-14OpenAI — GPT-4 공개 출처
2024-02-15Google DeepMind — Gemini 1.5 Pro — 프리뷰 100만 토큰 컨텍스트 출처
2024-10-22Anthropic — Claude 3.5 Sonnet computer use 퍼블릭 베타 출처

논쟁'넣을 수 있는 컨텍스트'와 '실제로 쓰이는 컨텍스트'는 다르다. 100만 토큰은 용량 사양이지 성능 보장이 아니며, Context Rot 연구는 2026년까지도 계속 나오고 있다(2026-05 Classifier Context Rot: 80만 토큰의 무해한 활동 뒤 위험 행동을 최대 30배 더 자주 놓침).

052024-09 – 2025

테스트 타임 컴퓨트 — 스케일링의 두 번째 축과 RLVR

스케일링 법칙의 두 번째 축이 열렸다. 그리고 검증 가능한 보상(RLVR)이 추론 능력을 끌어올리는 표준 레시피가 됐다.

테스트 타임 컴퓨트는 스케일링의 두 번째 축이다. 사고 토큰 수, 샘플 수, 탐색 폭을 늘려 성능을 올린다. Epoch AI(2025-05)는 o3가 o1 대비 학습 연산 10배라고 추정했다 — 두 축이 동시에 커지고 있다는 뜻이다.

RLVR과 GRPO가 핵심 레시피다. GRPO는 별도 가치함수(critic) 없이 같은 프롬프트에 대한 여러 샘플의 상대 순위로 어드밴티지를 계산해 메모리·연산 비용을 낮춘다. DeepSeek-R1 논문은 8인 심사를 거쳐 Nature에 게재됐고(2025-09-17), 심사보고서가 함께 공개됐다.

동시에 CoT를 읽어 의도를 감시할 수 있다는 안전 자산이 흔들렸다. Anthropic(2025-04-03)은 힌트를 받고도 그것을 사고 사슬에서 언급하는 비율이 Claude 3.7 Sonnet 25%에 그쳤다고 보고했다. 옥스퍼드 그룹(2025-07)은 최근 CoT 논문 1,000편 중 약 25%가 CoT를 해석가능성 기법으로 부당하게 취급한다고 지적했고, UNC(2025-12-28)가 이를 반박했다. 이 논쟁은 닫히지 않았다 — 2026-02에도 사슬 길이 70~85% 지점의 충실성 저하에 대한 기계적 증거가 보고됐다.

표준화 축: MCP는 JSON-RPC 2.0 기반 클라이언트-서버로 Tools/Resources/Prompts 세 원소를 규정했고, Agent Skills는 progressive disclosure(필요한 것을 필요할 때만 컨텍스트에 올리기)를 폴더 규약으로 구현했다. 둘 다 '컨텍스트는 유한한 예산'이라는 전제를 공유한다.

2024-09-12OpenAI — o1-preview — Learning to Reason with LLMs 출처
2025-01-22DeepSeek — DeepSeek-R1 — 순수 RL로 추론 능력 창발 출처
2025-02-24Anthropic — Claude 3.7 Sonnet — 하이브리드 추론, thinking budget 최대 128K 출처
2025-04-03Anthropic — Reasoning models don't always say what they think — 힌트 언급 비율 25% 출처
2025-10-16Anthropic — Agent Skills 출시 (SKILL.md, progressive disclosure) 출처

논쟁사고 사슬 감시 가능성은 '새롭지만 취약한 기회'로 불린다. RL 압력이 CoT의 충실성을 파괴할 수 있기 때문이다. 충실성 논쟁(2023-07 → 2025-04 → 2025-07 → 2025-12 → 2026-02)은 현재 진행형이며, 여기서 어느 쪽이 이기느냐가 AI 감독 체계 전체의 설계 전제를 바꾼다.

데모 03

테스트 타임 컴퓨트 — 수확 체감의 형태

생각 예산 64토큰

정답률0%

응답당 비용×1.0

이 도식이 보여 주는 것은 형태뿐이다(정확도 로그 포화, 비용 선형). 실제 계수는 과제·모델·검증 가능성에 따라 크게 다르다. 검증이 값싼 영역(수학·코딩)에서는 RLVR과 결합해 기울기가 가파르고, 검증이 비싼 영역에서는 훨씬 완만하다. Claude 3.7 Sonnet의 thinking budget 상한이 128K 토큰이라는 것은 사양이지 최적점이 아니다.

062026

하네스 엔지니어링 — 용어의 분열과 아직 열린 질문들

같은 단어를 최소 여섯 갈래로 쓰고 있다. 이 다의성 자체가 2026년 현재의 상태다.

하네스는 정의가 가장 크게 갈리는 단어다. 최소 여섯 갈래 — 사용자 관점 통제 시스템(Böckeler), 실천 규범(Hashimoto), 조직 운영 체계(OpenAI 2026-02), 제품 런타임(OpenAI 2026-08 Codex), OS 비유(Schmid), 엔터프라이즈 인프라 8요소(Databricks). 학계 형식화(de Macedo 2026-06)는 필요충분조건 4개를 제시하면서 동시에 이 다의성이 시스템 비교와 설계 공적 귀속을 막는다고 비판했다.

포함관계조차 정면으로 상반된다. Böckeler는 하네스 엔지니어링을 컨텍스트 엔지니어링의 한 형태로 보고, Addy Osmani는 반대로 컨텍스트 엔지니어링이 하네스 엔지니어링 안의 한 구성요소라고 한다. 억지로 통일되지 않는다 — 실무자가 어디서 출발했느냐에 따라 방향이 뒤집힌다.

평가 신뢰성이 흔들리는 것도 이 시기의 특징이다. Evaluation awareness(모델이 평가 중임을 인지하는 것)가 2026년 평가 타당성의 최대 교란 요인으로 지목됐고, 벤치마크 자체의 수정 이력도 늘었다(Terminal-Bench 2.1에서 28개 과제 수정, FrontierMath 개정판에서 Tier 1~3만 123문항 수정·5문항 제거). 2026-08-27에는 LMArena의 표본 품질을 정면 비판하는 글까지 나왔다.

현실 영향도 측정되기 시작했다. Stanford Digital Economy Lab(2026-08-12)은 22~25세의 AI 노출 직군 고용이 19% 낮다고 보고했고, McKinsey(2026-08-25)는 전사 확산 44%에 EBIT 기여 인정 37%로 전년과 사실상 같다고 보고했다. 확산과 성과 사이의 간극이 이 시기의 열린 질문이다.

2026-03-25ARC Prize — ARC-AGI-3 공개 — 인간 100% 대 프론티어 AI 0.51% 출처
2026-04-02Birgitta Böckeler (Thoughtworks) — Harness engineering — Agent = Model + Harness 출처
2026-07-21과학기술정보통신부 — AI 기본법 시행령 시행 출처
2026-07-28Model Context Protocol — 스펙 개정 — 프로토콜 코어의 무상태화, MRTR 패턴 도입 출처
2026-08-12Stanford Digital Economy Lab — Canaries in the Coal Mine 개정판 — 22~25세 AI 노출 직군 고용 19% 낮음 출처
2026-08-26Artificial Analysis — 리더보드 176개 중 96개가 오픈웨이트 출처

열린 질문① 하네스 다의성이 수렴할 것인가, 아니면 층위별로 갈라진 채 굳을 것인가. ② Evaluation awareness 아래에서 벤치마크가 무엇을 측정한다고 말할 수 있는가. ③ 확산(44%)과 EBIT 기여(37%) 사이의 간극이 도입 초기 지연인가 구조적 한계인가. 이 아카이브는 이 질문들에 답하지 않는다. 관측만 계속 쌓는다.

데모 04

연도별 사건 수 (n=1143, 1차 출처 확인분 포함)

막대에 마우스를 올리면 그 해의 건수가 나온다.

숫자로 보기

회색 띠는 시대 구분이다. 이 분포는 사건 밀도가 아니라 관측 밀도다 — 최근 편향(recency bias)이 강하게 들어 있고, 전사(1943–2016)는 이미 정전화(canonize)된 항목만 남아 낮게 나온다. 이 아카이브가 축별 급감·급증 탐지를 별도 도구로 돌리는 이유가 여기 있다: 절대 건수가 아니라 축 내부의 추세 변화를 봐야 한다.

단원 ③ · 본문 완성

최근 3년간의 큰 변화점

여섯 갈래. 마지막 절은 이 아카이브가 답하지 않는 질문을 그대로 남긴다.

2024 — 롱컨텍스트와 computer use, 그리고 '넣을 수 있다 ≠ 쓴다'

용량은 3자릿수 늘었지만 실효 회상은 따라오지 않았다. 컨텍스트가 주의 예산으로 재정의된 해다.

확대 경로는 구조와 레시피 양쪽이다. RoPE 기반의 YaRN(주파수 대역별 차등 보간 + 어텐션 온도 보정)이 표준 확장 레시피가 됐고, KV 캐시 압축(MLA)과 하이브리드·슬라이딩 어텐션이 비용 측을 맡았다.

그러나 실효 회상은 용량을 따라오지 않았고, 2026년에도 이 문제가 활성이다. 2026-05 Classifier Context Rot 는 80만 토큰의 무해한 활동 뒤에 나온 위험 행동을 프런티어 모델이 최대 30배 더 자주 놓친다고 보고했다 — 안전 감시가 컨텍스트 길이에 취약하다는 뜻이라 함의가 크다. 2026-06에는 컨텍스트 창을 다 쓰기 전에 조기 포기하는 현상도 보고됐다.

경제성 축도 같이 움직였다. 프롬프트 캐싱이 반복 프리픽스의 KV를 재사용하고 그 할인을 API 가격에 반영하면서, 롱컨텍스트 전략의 성립 여부가 가격표에 의해 결정되기 시작했다.

computer use는 grounding(언어 표현을 화면 좌표에 접지) 능력에 걸려 있고, OSWorld 계열이 그 평가대다. 2026-04 GPT-5.5가 OSWorld-Verified 78.7%를 보고했다 — 2년 만의 상승폭이 크지만 여전히 완전 자동화 수준은 아니다.

2023-11-06OpenAI — GPT-4 Turbo 128K 컨텍스트 출처
2024-02-15Google DeepMind — Gemini 1.5 Pro — 프리뷰 100만 토큰 출처
2024-06-27Google — Gemini 1.5 Pro 200만 토큰을 전체 개발자에게 개방 출처
2024-10-22Anthropic — Claude 3.5 Sonnet computer use 퍼블릭 베타 출처
2026-05-12Sam Martin·Fabien Roger — Classifier Context Rot — 80만 토큰 뒤 위험 행동을 최대 30배 더 자주 놓침 출처

논쟁롱컨텍스트가 RAG를 대체하느냐는 2024년의 뜨거운 질문이었고, 2026년의 답은 대체하지 않았다에 가깝다. 회상 저하·비용·지연 셋 다 남아 있고, 실무 표준은 여전히 검색 + 선별된 컨텍스트다.

데모

컨텍스트 윈도우의 확대

로그 눈금 · 토큰

로그 눈금. 확대 자체는 YaRN 계열 레시피와 KV 압축이 받쳤지만, 실효 회상은 따라오지 않았다. 사양 크기를 성능 지표로 인용하는 것은 이 구간에서 가장 흔한 오독이다.

2025 — RLVR이 표준 레시피가 되기까지

RLVR·GRPO. 그리고 사고 사슬 감시 가능성이 흔들린 해.

GRPO가 비용 면의 열쇠였다. 별도 가치함수(critic) 없이 같은 프롬프트에 대한 여러 샘플의 상대 순위로 어드밴티지를 계산해 메모리·연산을 낮춘다. 이 단순화가 오픈 진영의 재현을 가능하게 했다.

RLVR의 경계가 곧 이 레시피의 경계다. 검증 함수가 값싼 영역에서만 기울기가 가파르다. 검증이 비싸거나 불가능한 영역(글쓰기, 전략 판단, 대인 상호작용)에서는 같은 방법이 통하지 않으며, 여기서 reward hacking이 곧바로 나타난다.

충실성 논쟁은 2026년까지 이어진다. 2023-07 Anthropic 측정 → 2025-04 힌트 언급 25% → 2025-07 옥스퍼드 CoT Is Not Explainability(최근 CoT 논문 1,000편 중 약 25%가 CoT를 해석가능성 기법으로 취급한다고 지적) → 2025-12 UNC 반박 → 2026-02 사슬 길이 70~85% 지점의 충실성 저하에 대한 기계적 증거. 닫히지 않았다.

이게 왜 중요한가: 사고 사슬 감시 가능성은 현재 AI 감독 체계가 기대는 몇 안 되는 자산이고, RL 압력이 그것을 파괴할 수 있다. "새롭지만 취약한 기회"라는 표현이 붙은 이유다. 여기서 어느 쪽이 이기느냐가 축 ⑩ 전체의 설계 전제를 바꾼다.

2024-09-12OpenAI — o1-preview — Learning to Reason with LLMs 출처
2025-01-22DeepSeek — DeepSeek-R1 — 순수 RL로 추론 능력 창발 출처
2025-04-03Anthropic — 힌트 언급 비율 Claude 3.7 Sonnet 25% 출처
2025-09-17DeepSeek — DeepSeek-R1 논문 Nature 게재 — 8인 심사, 심사보고서 공개 출처

논쟁R1-Zero의 '창발' 주장은 재현 시도가 갈렸다. 순수 RL만으로 나오는지, 사전학습 코퍼스에 이미 들어 있던 추론 패턴이 유인된 것인지의 구분이 실험적으로 깔끔하지 않다. 이 아카이브는 저자 주장과 심사 과정을 기록할 뿐 판정하지 않는다.

2025–2026 — MCP 스펙 변천과 progressive disclosure

무상태화(2026-07)까지의 변천은 프로토콜이 배포 환경에 맞춰 접히는 과정이었다.

전송 계층 변천: HTTP+SSE → Streamable HTTP(2025-03-26) → 무상태 코어 + MRTR(2026-07-28). 방향은 일관된다 — 장기 연결과 서버 측 세션 상태를 버리는 쪽이다. 배포 현실(서버리스, 오토스케일, 로드밸런서)이 프로토콜을 규정했다.

다른 원소도 같이 봐야 한다. Elicitation(서버가 실행 중 사용자에게 되묻기)과 Sampling(MCP 서버가 거꾸로 클라이언트의 LLM에 추론을 요청 — 서버가 자체 모델 키 없이 지능을 빌려 씀)은 클라이언트-서버의 방향성을 양방향으로 만든다.

수직·수평의 분리: MCP가 에이전트↔도구의 수직 축이라면 A2A는 에이전트↔에이전트의 수평 축이다. Agent Card로 서로를 발견한다. 거버넌스는 2025-12 리눅스재단 산하 AAIF로 옮겨 갔고 MCP·goose·AGENTS.md가 창립 프로젝트다.

공급망 보안이 2026년의 실제 작업이다. Skill Card(퍼블리셔 신원·능력·스캔 결과를 담는 개방형 신뢰 아티팩트)와 SkillSpector(정적 분석 + LLM 의미 분석으로 은닉 지시 탐지)가 2026-06에 나왔다. 툴 설명문이 곧 프롬프트라는 사실이 공격면이 됐기 때문이다.

2025-10-16Anthropic — Agent Skills 출시 (SKILL.md, progressive disclosure) 출처
2025-12-18Anthropic — Agent Skills를 개방 표준으로 공개 (agentskills.io) [2차 출처] 출처
2026-06-01NVIDIA / OpenClaw — Skill Card와 SkillSpector — 스킬 공급망 신뢰 아티팩트 출처
2026-07-28Model Context Protocol — 스펙 개정 — 프로토콜 코어 무상태화, MRTR 패턴 출처

주의툴 설명문은 모델이 읽는 프롬프트다. 따라서 서드파티 MCP 서버를 붙이는 것은 신뢰할 수 없는 텍스트를 시스템 프롬프트 근처에 붙이는 일과 같다. 이 인식 없이 레지스트리에서 서버를 임의로 붙이면 프롬프트 주입 경로를 스스로 만드는 셈이다.

2026 — 하네스 다의성의 지도

같은 단어를 최소 여섯 갈래로 쓴다. 포함관계조차 저자에 따라 정반대다.

여섯 갈래를 나열하면: 사용자 관점 통제 시스템(Böckeler), 실천 규범(Hashimoto), 조직 운영 체계(OpenAI 2026-02 — "인간은 조종하고 에이전트가 실행한다"), 제품 런타임(OpenAI 2026-08 Codex CLI+SDK+app-server+MCP = "open agent harness"), OS 비유(Schmid), 엔터프라이즈 인프라 8요소(Databricks — 시스템 프롬프트·도구·샌드박스·파일시스템·메모리·피드백 루프·가드레일·관측/거버넌스).

포함관계는 정면으로 상반된다. Böckeler와 HumanLayer는 하네스 엔지니어링을 컨텍스트 엔지니어링의 하위로 보고, Addy Osmani는 반대로 컨텍스트 엔지니어링을 하네스 엔지니어링 안의 구성요소로 본다. 억지로 통일되지 않는다 — 실무자가 컨텍스트 관리에서 확장해 왔는지, 시스템 설계에서 하위분해해 왔는지에 따라 방향이 뒤집힌다.

학계 형식화(de Macedo 2026-06-08, arXiv:2606.10106)는 T1~T4 조건을 제시하면서 동시에 이 다의성이 시스템 비교와 설계 공적 귀속을 막는다고 비판한다. 즉 형식화 시도 자체가 문제의 존재를 증언한다.

이 아카이브의 입장: 수렴하지 않은 것을 수렴한 것처럼 쓰지 않는다. 각 정의를 화자와 날짜와 함께 기록하고, 어느 것이 맞는지는 판정하지 않는다.

2026-04-02Birgitta Böckeler (Thoughtworks) — Harness engineering for coding agent users 출처
2026-06-26Andrew Ng (The Batch) — 3층 루프 — agentic / developer feedback / external feedback 출처
2026-08-19OpenAI — Codex as a platform: build on the open agent harness 출처

OSAID 기준으로 본 '오픈'의 실체, 그리고 시행일의 구조

최상위 오픈웨이트일수록 전용 라이선스로 회귀하는 경향. 그리고 발효와 적용은 다른 날짜다.

리더보드 구성 변화는 실력 역전과 표본 구성 변화를 함께 반영한다. Artificial Analysis(2026-08-26) 기준 Intelligence Index 상위는 Claude Opus 5 63 대 Kimi K3 60이고, 전체 176개 중 96개가 오픈웨이트다. 격차의 절대값보다 격차가 좁혀진 속도가 관측 대상이다.

아키텍처 어휘도 오픈 진영이 주도하는 국면이 있다 — MLA, Sparse Attention, MTP, Gated DeltaNet, Hybrid Mamba-Transformer. 2026년 프론티어의 기본값인 하이브리드 어텐션이 대표적이다.

규제의 실무 함의는 날짜의 층이다. 통과 / 공포 / 발효 / 단계별 적용을 섞으면 준비 시점이 통째로 어긋난다. 이 아카이브가 규제 항목에서 이 넷을 절대 섞지 않는 이유이며, 소송 항목에서 진행 단계(약식판결은 확정판결이 아니다)를 반드시 명시하는 이유도 같다.

자율 규범도 병행한다. EU AI Act 제50조 대응 실천규약에 서명하는 사업자가 나오기 시작했고(2026-07 Cohere), C2PA·SynthID 같은 출처 표기 표준이 그 기술적 뒷면이다.

2026-07-21과학기술정보통신부 — AI 기본법 시행령 시행 — AI 제품·서비스 확인제도 신설 출처
2026-07-27EU — AI 옴니버스 규정 (EU) 2026/1744 발효 — 고위험 의무 2027-12-02·2028-08-02로 연기 출처
2026-08-26Artificial Analysis — Intelligence Index — 리더보드 176개 중 96개가 오픈웨이트 출처

구분해 둘 것① 오픈웨이트와 오픈소스 ② 받을 수 있음과 돌릴 수 있음 ③ 발효일과 적용일 ④ 약식판결과 확정판결. 넷 다 기사에서 가장 자주 뭉개지는 구분이다.

데모

리더보드 176개의 구성

2026-08-26

리더보드 등재 기준의 표본이므로 시장 점유율이 아니다. 그럼에도 구성 변화의 방향은 뚜렷하며, 상위권일수록 전용 라이선스로 회귀하는 반대 경향이 동시에 관측된다.

열린 쟁점과 관측 편향의 처리

Evaluation awareness 아래에서 벤치마크가 무엇을 측정한다고 말할 수 있는가.

평가 신뢰성 문제는 세 층이다 — ① 데이터 오염(완전 검출 불가, 새 문제셋으로 간접 측정), ② evaluation awareness, ③ 채점자 편향(LLM-as-a-judge는 심판 모델의 편향을 그대로 전이). 2026-08-27에는 LMArena 표본 품질을 정면 비판하는 글까지 나왔다(자체 표본 500표 중 52%에 이견).

이 아카이브 자체도 편향을 갖는다. 연도별 사건 수는 사건 밀도가 아니라 관측 밀도다 — 최근일수록 1차 출처가 남아 있고 수집도 촘촘하며, 전사는 이미 정전화된 항목만 남아 낮게 나온다. 그래서 절대 건수가 아니라 축 내부의 추세 변화를 별도 도구로 본다.

열린 질문 세 개를 그대로 남긴다. ① 하네스 다의성이 수렴할 것인가, 아니면 층위별로 갈라진 채 굳을 것인가. ② evaluation awareness 아래에서 벤치마크가 무엇을 측정한다고 말할 수 있는가. ③ 확산(44%)과 EBIT 기여(37%)의 간극이 도입 초기 지연인가 구조적 한계인가.

이 아카이브는 이 질문들에 답하지 않는다. 관측만 계속 쌓는다. 답이 나온 것처럼 쓰는 것이 이 프로젝트에서 가장 피하려는 실패다.

2026-03-25ARC Prize — ARC-AGI-3 — 인간 100% 대 프론티어 AI 0.51% 출처
2026-06-12Epoch AI — FrontierMath 개정판 — Tier 4에서 12문항 수정·7문항 제거, Tier 1~3에서 123문항 수정·5문항 제거 출처
2026-08-12Stanford Digital Economy Lab — 22~25세 AI 노출 직군 고용 19% 낮음 출처
2026-08-25McKinsey — State of AI 2026 — 전사 확산 44%, EBIT 기여 인정 37% 출처

열린 질문위 세 질문에 이 아카이브는 답하지 않는다. 판정 대신 관측을 쌓고, 뒤집히면 지우지 않고 상태만 바꾼다. 그것이 이 자료를 나중에 다시 읽을 수 있게 만드는 유일한 방법이다.

단원 ④ · 본문 완성

꼭 알아야 할 기본 지식

각 항목은 아카이브 축 문서의 용어 정의를 학습 순서로 재배열하고, 실무에서 자주 뭉개지는 구분을 앞세워 다시 쓴 것이다.

30개 용어

토큰과 컨텍스트 윈도우

토큰화는 성능·비용·다국어 형평에 동시에 걸린다. 중립적인 전처리가 아니다.

토큰token: 서브워드 단위. BPE 계열이 표준이며 코퍼스 통계로 병합 규칙을 학습한다. 어휘에 없는 문자열은 바이트 단위까지 분해된다.
컨텍스트 윈도우context window: 사양상의 상한이며 실효 회상과 다르다. Lost in the Middle / Context Rot가 그 간극이다.
토큰 단가price per token: 동일 성능 기준 추론 비용이 연 약 10배 떨어지는 현상을 LLMflation이라 부른다. 단 워크플로당 총비용은 오히려 오를 수 있다(추론 역설).

파라미터 · 가중치 · MoE

총 파라미터는 VRAM 요구, 활성 파라미터는 토큰당 연산. 둘을 섞으면 비교가 무의미해진다.

파라미터 / 가중치parameter / weight: 지식 용량의 대리 지표. 다만 데이터 양·품질과 후속학습이 같은 크기에서 성능을 크게 가른다.
MoE / 활성 파라미터Mixture of Experts: 총 ≠ 활성. 추론 시 전체 expert를 메모리에 상주시켜야 하므로 open weights ≠ runnable weights. all-to-all 통신과 부하 불균형이 서빙 난제다.
증류distillation: 2025년 이후 지정학 쟁점이 됐다 — 모델 출력으로 경쟁 모델을 학습시키는 것이 약관·수출통제 양쪽에 걸린다.

사전학습 · SFT · RLHF · RLVR

후속학습이 제품 성격의 대부분을 결정한다. 능력과 정렬은 별개 공학이다.

사전학습pre-training: 자기지도 최대우도 학습. 데이터 큐레이션(중복제거·모델 기반 선별)이 성능을 크게 가르며, 고품질 공개 텍스트의 유한성이 'peak data' 논의를 낳았다.
SFTsupervised fine-tuning: instruction tuning(FLAN 계열)이 zero-shot 일반화를 끌어올린 것이 출발점. 데이터 품질이 양보다 지배적이다.
RLHF / DPORL from Human Feedback: RLAIF는 사람 대신 명시된 원칙으로 AI가 스스로 비판·수정한다(Constitutional AI). Model Spec처럼 행동 규범을 자연어 문서로 외부화하는 흐름과 짝을 이룬다.
RLVRRL with Verifiable Rewards: GRPO와 결합해 2025년 추론 모델의 표준 레시피가 됐다. 검증이 비싼 영역에서는 같은 방법이 통하지 않으며 reward hacking이 곧바로 나타난다.

프롬프트 · 시스템 프롬프트 · 프롬프트 주입

프롬프트에 적은 금지는 요청이지 통제가 아니다. 여기서 모든 주입 공격이 성립한다.

프롬프트prompt: in-context learning의 매개체. few/one/zero-shot 구분은 프롬프트 안 예시 개수의 문제이며 GPT-3 논문이 정립한 평가 프레임이다.
시스템 프롬프트system prompt: 지시 계층은 학습된 선호이지 강제된 우선순위가 아니다. 그래서 계층은 확률적으로만 지켜진다.
프롬프트 주입prompt injection: direct(사용자가 직접) / indirect(모델이 읽는 콘텐츠에 숨김)로 나뉜다. MCP 생태계에서는 tool poisoning(툴 설명문에 지시를 숨김)과 line jumping(호출 전에 행동을 바꿈)이 별도 공격군을 이룬다.
치명적 삼중주lethal trifecta: Willison(2025)의 정식화. 에이전트 권한 설계의 실무 체크리스트로 쓰인다 — 셋 중 하나를 끊는 것이 방어의 기본형이다.

RAG · 임베딩 · 청킹

최대 실패 원인은 검색기가 아니라 청킹이다.

RAGRetrieval-Augmented Generation: 파라메트릭/논파라메트릭 결합. 롱컨텍스트가 이를 대체할 것이라는 2024년의 예측은 2026년 기준 실현되지 않았다.
임베딩 / 벡터 검색embedding: ANN(HNSW·IVF·PQ)으로 속도를 얻고 정확도를 내준다. MTEB의 핵심 결론은 모든 과제를 지배하는 임베딩은 없다는 것이다.
하이브리드 검색 / 리랭킹hybrid search / reranking: cross-encoder 재순위화는 질의-문서 쌍을 하나로 입력해 정확도를 얻고 지연을 낸다. late interaction(ColBERT 계열)이 그 중간을 노린다.
청킹chunking: 문맥 보존 청크 임베딩(2026-06 voyage-context-4처럼 청킹 없이 32K 초과 문서를 처리)과 GraphRAG(사전 지식그래프 구축)가 각각 다른 방향의 대응이다.

도구 호출 · 에이전트 · 루프

복합 신뢰도와 ACI. 그리고 하네스 4조건.

도구 호출tool use / function calling: 스키마가 곧 인터페이스 계약이다. 툴 정의를 전부 컨텍스트에 싣는 비용 때문에 Tool Search·code execution 같은 우회가 나왔다.
ReAct 루프Reason + Act: 오늘날 에이전트 루프의 원형. 하네스 조건 T1(추론-행동-관찰을 엮는 적응적 루프)의 최소 구현에 해당한다.
복합 신뢰도compounding reliability: 이 산술이 human-in-the-loop을 사실상 기본값으로 만들었고, '대부분의 실무 문제는 에이전트가 아니라 워크플로로 충분하다'는 2024년 말의 결론을 낳았다.
ACIAgent-Computer Interface: 지능이 가중치가 아니라 스캐폴딩에도 상당 부분 존재한다는 주장의 실증 근거. 벤치마크 점수를 모델의 성질로만 읽으면 안 되는 이유다.

환각 · 벤치마크 · 오염

2026년의 평가 타당성은 세 층에서 동시에 흔들린다.

환각hallucination: RAG는 출처를 붙여 검증 가능성을 높이지만 환각을 없애지는 않는다. 검색된 문서와 파라메트릭 지식이 충돌할 때의 행동은 별도 연구 주제다(맥락적 충실성 vs 파라메트릭 충실성).
오염contamination: 홀드아웃(제작자만 갖는 비공개 부분집합)이 표준 대응이다. 다만 홀드아웃도 반복 제출로 서서히 새어 나간다.
pass@kpass@k: 실행 기반 검증(출력 문자열이 아니라 실제 실행 결과로 채점)과 함께 봐야 한다. 코딩 벤치마크에서 이 둘을 안 밝힌 수치는 근거로 쓰기 어렵다.
평가 인지evaluation awareness: sandbagging(능력을 의도적으로 숨김)과 결합하면 안전 평가 자체가 무력화된다. 평가 환경과 배포 환경의 구별 불가능성을 설계 목표로 삼는 방향이 논의된다.

양자화 · KV 캐시 · 추론 비용

서빙 병목은 대부분 연산이 아니라 메모리다.

양자화quantization: bpw(가중치당 비트), imatrix(활성 분포를 반영한 레이어별 강도 조절), QAT(학습 중 양자화 모사). NVFP4/MXFP4는 하드웨어 가속을 받지만 품질은 별개 문제다.
KV 캐시KV cache: PagedAttention(고정 크기 블록 비연속 할당), RadixAttention(프리픽스 트리로 요청 간 공유), MLA(저차원 잠재 벡터로 압축)가 각각 다른 층에서 이 병목을 친다.
prefill / decodeprefill / decode: 성격이 반대라서 분리(PD disaggregation)의 근거가 된다. SLO 축은 TTFT(첫 토큰까지)와 TPOT(토큰당)이며, 평가 지표는 처리량이 아니라 goodput(SLO를 만족한 요청 기준)이다.
추론 비용 하락LLMflation: 추론 역설(Inference Paradox). 'price-at-fixed-capability'(특정 벤치마크 점수를 내는 최저가 모델의 가격)를 시계열로 봐야 하며, 모델별 가격 변화와 구분해야 한다.