한국어EN
축 ②

RAG·파인튜닝·컨텍스트

기록 86개 · 정리 노트 2개 · 관련 축으로 붙은 기록도 함께 보여요.

모델이 모르는 것을 그때그때 넣어 주는 방법들

학습이 끝난 모델은 그 이후의 일도, 회사 안의 문서도 모릅니다. 이 축은 그 간극을 메우는 세 갈래를 함께 봅니다. 필요한 문서를 찾아 입력에 붙여 주는 RAG, 가중치를 조금 더 손보는 파인튜닝, 그리고 한 번에 넣을 수 있는 컨텍스트 자체를 넓히는 일이에요. 세 가지는 경쟁 관계처럼 보이지만 실제 시스템에서는 대개 섞여 쓰이고, 어느 쪽에 무게를 둘지가 곧 설계 결정이 됩니다.

Allen Institute for AI (Ai2)
AstaBrief 8B 공개

딥리서치류 기능이 8B 오픈웨이트로 내려온 지점이다. 인용 정확도·재현율을 평가 축으로 삼은 점이 중요한데, 보고서 생성에서 문제가 되는 것은 문장 품질이 아니라 인용이 실재하는지이기 때문이다. 학습 데이터까지 공개해 재현 가능한 비교 기준이 생겼다.

Cohere
Embed 5 공개

임베딩 모델의 경쟁점이 점수에서 운영 비용으로 옮겨 간 사례다. 등급이 임베딩 공간을 공유한다는 설계는 재색인 비용 — 대규모 RAG에서 모델 교체를 막는 가장 큰 장벽 — 을 없애려는 것이고, 이것이 되면 임베딩 모델 교체 주기가 짧아진다.

Jaewon Chu 외
RASO(Retrieval-Augmented Skill Optimization via Cross-Harness Adaptation) 공개

스킬을 하네스마다 새로 학습하는 대신 저장소에서 검색해 적응시킨다는 접근으로, 스킬이 모델·하네스에 묶인 산출물에서 이전 가능한 자산으로 바뀐다. 같은 주 ClawScan의 스킬 심사 강화와 함께 보면 스킬이 유통되는 물건이라는 전제가 양쪽에서 굳어지는 중이다.

OpenAI
Astra for Law 공개

ChatGPT for Financial Services(09-10)에 이은 두 번째 수직 산업 제품. 범용 모델 위에 도메인 검색·거버넌스를 얹어 파는 패턴이 분기가 아니라 주 단위로 반복되고 있다.

xAI
Grok Build에 메모리를 추가함

에이전트 메모리를 벡터 저장소가 아니라 사람이 읽고 고칠 수 있는 파일로 두는 설계가 또 하나 늘었다 — 메모리의 정본을 어디에 둘 것인가에 대한 업계의 수렴 방향.

툴·에이전트공식 발표
규정 검토를 한 모델에 통째로 맡기지 않은 설계

수백 쪽짜리 설계 문서와 계속 개정되는 법령을 한 모델에 통째로 넣지 않고, 총괄 역할이 검토 계획과 순서를 정한 뒤 문서에서 찾기·규정에서 찾기·둘을 대조하기를 각각 다른 담당에 나눈 실제 도입 사례가 정리된다. 누락과 정보 혼선이라는 구체적 실패를 근거로 든 분업이라는 점이 눈에 띈다. 검색은 용어가 정확히 맞아야 찾히는 조항과 표현이 달라도 같은 뜻인 조항이 섞여 있어 키워드와 벡터를

OpenAI
ChatGPT for Financial Services 공개

프런티어 모델이 범용 어시스턴트를 넘어 규제 산업의 업무 스택으로 수직 통합되는 사례로, 데이터 커넥터와 감사 로그가 모델 성능만큼 중요한 제품 요건이 됐다.

Mistral AI·Cloudera
규제 산업 대상 주권형 엔터프라이즈 AI 제공을 위한 전략적 협력을 발표함

'모델을 판다'에서 '고객 데이터 위에서 전용 모델을 학습시킨다'로 계약 형태가 바뀌는 흐름이며, 에어갭 배포가 상용 요건으로 올라왔다.

OpenAI
ChatGPT Work에 Data agent를 공개함

데이터 웨어하우스 질의가 분석가를 거치지 않고 에이전트의 기본 도구가 된 지점으로, BI 도구 계층이 에이전트에 흡수되는 흐름을 보여준다.

툴·에이전트공식 발표
vLLM
GLM 5.3 최적화 1편으로 Hybrid HiSparse 오프로딩을 공개함

100만 토큰급 컨텍스트를 단일 노드에서 감당하려는 시도로, 장문맥 에이전트의 메모리 병목 해법이 희소 어텐션과 계층 메모리의 결합으로 수렴하고 있다.

KDDI
Google Cloud 스택으로 소비자용 RAG 앱 Buffmee를 최적화한 사례를 공개함

에이전트 품질 개선이 모델 교체가 아니라 평가 체계와 프롬프트 모듈화라는 엔지니어링 규율로 이뤄진다는 점을 수치로 보여 준 사례다.

Hongyu Qu 외
LatentStream 공개

긴 영상을 컨텍스트에 다 넣는 대신 메모리를 진화시키는 갈래로, RAG의 검색-생성 분리를 시계열 입력에서 무너뜨린다. 저자 자체 보고로 온라인·오프라인 영상 벤치마크에서 최고 성능이라 주장하나 구체 수치는 초록에 없다

OpenAI
ChatGPT의 의료 데이터 연결 확대

범용 챗봇이 규제 의료 기록 시스템에 직접 연결되는 단계. 컨텍스트 연결(RAG·커넥터)의 전선이 공개 웹에서 규제 데이터 영역으로 넘어갔고, 안전성 근거는 아직 벤더 자체 평가에 의존

Aurélien Lac, Tony Wu
NeoMME 공개

생성 모델을 검색기로 재활용하던 ColPali 계보 대신 처음부터 인코더로 설계한 단일 타워로 되돌아간 갈래 — 멀티모달 검색에서 '인코더 전용'이 다시 유효하다는 주장. 저자 자체 보고로 동일 해상도에서 ColModernVBERT 대비 약 2배 인코딩 처리량, 계층적 토큰 풀링과 비대칭 양자화로 255배 압축에서도 기준 성능 95% 이상 유지.

Ming Wu, Pengyuan Zhu
Agent Zero Memory 공개

그래프 단일 구조에 기대던 에이전트 장기기억을 타임라인·그래프·문서 삼중 구조와 출처 추적(provenance)·인용 잠금으로 재편한 갈래. 저자 자체 보고로 LongMemEval 95.60%·LoCoMo 93.60%이며, 8개 언어모델에 걸쳐 질의당 비용이 약 30배 차이 나는데도 정확도 편차는 3.4%포인트에 그쳐 성능을 가르는 것은 모델 선택이 아니라 기억 아키텍처라고 주장.

Claude Code 한도를 갉아먹는 네 가지 순서

Claude Code 요금은 토큰으로 표시되지만 실제 비용은 GPU 추론 시간이고, 토큰 단가는 모델 크기·입력/출력 방향·캐시 여부로 정해진다. 입력(프리필)은 병렬 처리되지만 출력(디코드)은 순차 생성이라 출력 단가가 약 5배 비싸고, 보이지 않는 사고 토큰도 출력으로 과금되며 이펙트·모델 설정은 다음 세션까지 유지되므로 세션마다 확인해야 한다. 프롬프트 캐싱은 저장 시 정가의 최대 2배

Martino M. L. Pulici, Cuong Xuan Chu, Evgeny Kharlamov, Volker Tresp
A Storage-Retrieval Gap in Parametric Knowledge Graph Memory 공개

검색 시점에 그래프를 조회하는 GraphRAG 계보와 달리 그래프를 모델 가중치로 미리 컴파일해 두는 파라메트릭 지식그래프 갈래를 열면서, 동시에 그 갈래의 병목이 저장이 아니라 어댑터 선택(라우팅)임을 못박았다 — 의미 유사도를 넘어서는 어댑터 선택 기제를 찾는 것이 남은 과제라고 저자들이 결론. 수치는 저자 자체 보고.

Pranav Bykampadi 외
MAGG 공개

에이전틱 시스템의 지식그래프를 '추출된 트리플의 평평한 저장소'에서 누가 사실을 소유하는지·왜 채택됐는지·어떻게 쓰여야 하는지를 기록하는 거버넌스 대상으로 재정의한 갈래. 저자 자체 보고로 SciERC에서 평면 삽입 대비 strict 트리플 F1 47%·mapped 트리플 F1 51% 개선, 120개 트리플 블라인드 검토에서 거버넌스 통과 트리플이 더 자주 출처 근거를 가졌고, MuSiQue

Ashwin Gerard Colaco·Nada Lahjouji
What to Keep, What to Forget 발표

흩어져 있던 컨텍스트 압축 연구를 하나의 이론틀로 정리

Voyage AI (MongoDB)
voyage-context-4 출시

청킹이라는 RAG 전처리 단계를 임베딩 모델 안으로 흡수하려는 시도

Shijie Xia 외
Diagnosing and Mitigating Context Rot in Long-horizon Search 발표

Context Rot을 검색 에이전트 맥락에서 정량화하고 근본 해결이 어렵다는 것도 함께 보임

Chen, Razkenari 외 (AWS 계열)
Is GraphRAG Needed? 공개

검색 지표 중심 평가가 그래프 기법의 이점을 과대평가해 왔다는 반성의 주류화

Sam Martin·Fabien Roger
Classifier Context Rot 발표

롱컨텍스트 한계가 안전 감시 성능까지 무너뜨림을 보인 실증

Jingbo Sun 외
AutoSearch 발표

Search-R1 계열의 후속. 검색 횟수 자체를 학습 대상으로 삼음

Dongzhe Fan 외
Do We Still Need GraphRAG? 발표

에이전틱 검색이 두 방식의 격차를 좁힘을 보여 2024년 GraphRAG 논쟁을 갱신

Saroj Mishra 외
SoK: Agentic Retrieval-Augmented Generation 발표

에이전틱 RAG의 첫 체계적 분류. 후속 연구의 기준점

Anthropic
Claude Sonnet 4.6 출시

Free·Pro 요금제의 claude.ai와 Claude Cowork 기본 모델이 됐고, 조기 접근 개발자들이 전작보다 크게 선호했으며 2025년 11월의 Opus 4.5보다도 자주 선호했다고 자사 발표

Pietro Ferrazzi 외
Is Agentic RAG worth it? 발표

에이전틱 RAG가 항상 낫지는 않다는 실증. 설계 선택의 근거가 되는 반증형 결과

Nikhil Verma
Active Context Compression 발표

컨텍스트 관리 주체가 파이프라인에서 에이전트 자신으로 옮겨가는 흐름

Elias Lumer 외
Don't Break the Cache 발표

캐시 상품화 이후 처음으로 3사를 같은 조건에서 비교한 실측

Philipp Schmid
The importance of Agent Harness in 2026

하네스를 운영체제로 보는 정의 갈래의 1차 출처

Yi Yu 외
Agentic Memory 발표

무엇을 기억하고 버릴지를 사람이 정하지 않고 학습으로 정한 사례

Google Research
Titans와 이를 일반화한 이론틀 MIRAS 소개

롱컨텍스트 한계를 검색이 아니라 아키텍처로 우회하려는 노선

Anthropic
Code Execution with MCP 공개

툴 정의가 컨텍스트를 잠식하는 문제에 대한 구조적 해법

툴·에이전트공식 발표
DeepSeek
DeepSeek-OCR

10배 미만 압축에서 OCR 정밀도 97%, 20배에서 약 60%. 이미지를 컨텍스트 압축 매체로 쓰는 발상 전환

Minki Kang 외
ACON 발표

미세조정 없이 컨텍스트를 줄여 소형 모델도 장기 에이전트로 쓸 수 있게 하는 방향

Anthropic
Effective context engineering for AI agents

compaction·structured note-taking·sub-agent·just-in-time retrieval 4패턴 명명

Anthropic
Claude API에 context editing과 memory tool 베타 출시

컨텍스트 관리가 API 기본 기능으로 편입

Manus (Yichao Ji)
Context Engineering for AI Agents 공개

실제 운영 에이전트의 컨텍스트 엔지니어링 원칙을 공개한 1차 기록

Chroma (Kelly Hong, Anton Troynikov, Jeff Huber)
Context Rot 기술 보고서 공개

컨텍스트 로트를 업계 용어로 정착시킨 보고서

Xiang, Wu 외 (홍콩이공대 등)
When to use Graphs in RAG 논문과 GraphRAG-Bench 공개

그래프가 언제 도움이 되는가를 벤치마크로 검증하는 국면 전환점 — 2026년 회의론의 방법론적 선행

Mem0 (Chhikara, Khant 외)
Mem0 논문 공개

에이전트 장기 기억 상용 제품이 그래프 표현을 핵심 확장으로 채택 — 그래프 엔지니어링이 RAG를 넘어 메모리 계층으로 확산

Bowen Jin 외 (UIUC)
Search-R1 발표

검색 전략을 프롬프트가 아닌 학습으로 획득

Ali Modarressi 외 (뮌헨대·MCML·Adobe Research)
NoLiMa 발표

needle-in-a-haystack 성적이 롱컨텍스트 능력을 과대평가함을 보임

Zep (Rasmussen, Chalef 외)
시간 인식 지식그래프 엔진 Graphiti 기반 에이전트 메모리 아키텍처 공개

시간적 지식그래프를 에이전트 메모리의 1급 설계 요소로 내세운 대표 사례

Aditi Singh 외 (클리블랜드주립대 외)
Agentic RAG 서베이 발표

agentic retrieval이 독립 범주로 정착한 지표

Xiaoxi Li 외 (인민대)
Search-o1 발표

agentic retrieval을 추론 모델 내부 루프로 통합

Brian J Chan 외 (국립정치대·중앙연구원)
Cache-Augmented Generation 발표

롱컨텍스트 시대에 RAG 자체를 생략하는 갈래

Microsoft Research (Edge, Trinh, Larson)
LazyGraphRAG 공개

GraphRAG 원저자들이 스스로 비용 문제를 인정하고 지연 그래프 구축으로 방향을 튼 사건

HKU (Guo, Xia, Huang 외)
LightRAG 공개

Microsoft GraphRAG 고비용 인덱싱에 대한 오픈소스 진영의 대표적 경량 대안

gusye1234 (오픈소스 커뮤니티)
약 1,100줄 코드로 GraphRAG 핵심 기능을 재구현한 nano-graphrag v0.0.8 릴리스

공식 구현이 무겁다는 커뮤니티 불만이 해킹 가능한 초경량 재구현으로 표출

OpenAI
API Prompt Caching

3사 중 마지막으로 프리픽스 캐시를 상품화

Anthropic
Contextual Retrieval

청크 앞에 LLM 생성 설명 50~100토큰을 붙여 검색 실패율 35% 감소, BM25 결합 49%, 리랭킹까지 67%

Ant Group (Liang, Sun 외)
KAG(Knowledge Augmented Generation) 공개

중국 빅테크가 GraphRAG 계보를 전문 도메인(금융·의료)용으로 산업화한 사례

Michael Günther 외 (Jina AI)
Late Chunking 발표

청킹으로 문맥이 끊기는 문제를 임베딩 순서 변경으로 해결

Peng, Zhu 외 (베이징대·앤트그룹 등)
Graph Retrieval-Augmented Generation

난립하던 변종들을 하나의 분류 체계로 묶어 그래프 기반 RAG를 독립 연구 분야로 공식화

Anthropic
Prompt caching 공개 베타

캐시 경제성이 가격표로 노출되어 이후 에이전트 경제성의 핵심 변수가 됨

DeepSeek
Context Caching on Disk

프리픽스 캐시의 상품화, 서빙 내부 최적화가 API 가격표로 노출

Zhuowan Li 외 (Google DeepMind·미시간대)
Retrieval Augmented Generation or Long-Context LLMs? 발표

롱컨텍스트 vs RAG 논쟁을 비용·성능 트레이드오프로 정리

Microsoft Research
GraphRAG를 GitHub에 오픈소스로 공개하고 Azure 배포용 solution accelerator 제공

연구 기법이 널리 복제 가능한 구현체로 확산된 시점

Google
Gemini 1.5 Pro 200만 토큰 컨텍스트를 전체 개발자에게 개방

초장문 컨텍스트가 대기자 명단을 벗어나 일반 개발자 선택지가 됨

Manuel Faysse 외 (Illuin Technology·CentraleSupélec 외)
ColPali 발표

OCR·파싱 파이프라인을 생략한 시각 문서 검색 계보

Ziyan Jiang 외 (워털루대)
LongRAG 발표

RAG와 롱컨텍스트를 대립이 아닌 역할 재배분으로 다룸

Bernal Jiménez Gutiérrez 외 (오하이오주립대·스탠퍼드)
HippoRAG 발표

GraphRAG 계보의 다중 홉 검색 갈래

Darren Edge 외 (Microsoft Research)
GraphRAG 논문 발표

국소 검색으로는 답할 수 없는 전역 요약 질의를 다룸

Neo4j
Google Cloud 네이티브 통합으로 GenAI용 GraphRAG 기능 출시 발표

그래프 DB 벤더가 GraphRAG를 상품 카테고리로 채택한 초기 사례 — 학계 용어의 상용 스택 편입 시점

Cheng-Ping Hsieh 외 (NVIDIA)
RULER 발표

광고된 컨텍스트 길이와 실효 길이의 격차를 표준화된 방식으로 노출

Google DeepMind
Gemini 1.5 Pro

컨텍스트 길이가 자릿수 단위로 도약하며 RAG는 죽었다 논쟁을 촉발

Microsoft Research
GraphRAG 블로그 공개

벡터 유사도 검색 밖의 구조화 인덱스 계보

Parth Sarthi 외 (스탠퍼드)
RAPTOR 발표

청크 단위 검색의 대안으로 계층 요약 인덱스 제시

Shi-Qi Yan 외 (중국과기대·UCLA)
Corrective RAG 발표

검색 실패를 전제로 한 방어적 RAG 설계

Greg Kamradt
needle in a haystack 장문 회상 압박 테스트 공개

커뮤니티 테스트가 사실상 표준 평가로 정착, 선언된 길이와 실제 회상 성능이 다르다는 인식 확립

Anthropic
Claude 2.1 출시, 200K 토큰 컨텍스트

컨텍스트 길이 경쟁이 20만 토큰대로 진입

OpenAI
GPT-4 Turbo 128K와 Assistants API Retrieval 발표

직접 만든 RAG 파이프라인이 플랫폼 기본 기능으로 흡수되기 시작한 분기점

Akari Asai 외 (워싱턴대·AI2·IBM Research)
Self-RAG 발표

검색을 고정 파이프라인에서 모델 결정으로 옮긴 전환점

Charles Packer 외 (UC 버클리)
MemGPT 발표

컨텍스트 밖 메모리 관리 계보(이후 memory tool 등)의 원형

Nelson F. Liu 외 (스탠퍼드·UC 버클리·Samaya AI)
Lost in the Middle 발표

롱컨텍스트를 넣기만 하면 된다는 가정에 대한 첫 대규모 반증

Tim Dettmers 외
QLoRA

4비트 NF4·이중 양자화·페이지드 옵티마이저로 65B를 48GB GPU 한 장에서 파인튜닝

Anthropic
Claude 컨텍스트 윈도우 9K에서 100K로 확대

롱 컨텍스트 경쟁의 출발 신호탄, RAG 없이 문서를 통째로 넣는 선택지의 현실화

Pinecone
시리즈B 1억 달러, 기업가치 7억 5천만 달러

3주 사이 세 건의 대형 라운드로 LLM의 장기 기억 서사가 자본시장에서 정점

OpenAI
ChatGPT 플러그인 및 retrieval 플러그인 오픈소스 공개

랩이 직접 검색 증강을 제품 표면에 올린 첫 사례, 벡터DB 생태계에 직접 수요 신호

Hugging Face
PEFT 라이브러리 첫 정식 릴리스 v0.1.0

LoRA·Prefix/Prompt Tuning을 몇 줄로 연결해 소비자용 GPU 파인튜닝 대중화의 기반

Jerry Liu
GPT Index(현 LlamaIndex) 첫 공개 릴리스

LangChain 다음 달 등장해 RAG 인덱싱 계층의 또 다른 표준 어휘를 형성

Harrison Chase
LangChain 첫 공개 릴리스 (PyPI 0.0.1)

로더-청킹-임베딩-벡터스토어-리트리버라는 RAG 표준 어휘를 확산

Keshav Santhanam 외 (스탠퍼드)
ColBERTv2 발표

late interaction을 실용 규모 인덱스로 끌어내린 후속

Microsoft (Edward J. Hu 외)
LoRA

가중치를 동결하고 저랭크 행렬만 학습해 GPT-3 175B 기준 학습 파라미터를 1만분의 1로, 추론 지연 증가 없음

FAIR·UCL·NYU (Lewis 외)
RAG 원 논문

파라메트릭 메모리와 논파라메트릭 메모리를 결합한 검색 증강 생성의 정본

Omar Khattab 외 (스탠퍼드)
ColBERT 발표

단일 벡터 검색과 구분되는 late interaction 계보의 출발점