RAG·파인튜닝·컨텍스트
기록 86개 · 정리 노트 2개 · 관련 축으로 붙은 기록도 함께 보여요.
모델이 모르는 것을 그때그때 넣어 주는 방법들
학습이 끝난 모델은 그 이후의 일도, 회사 안의 문서도 모릅니다. 이 축은 그 간극을 메우는 세 갈래를 함께 봅니다. 필요한 문서를 찾아 입력에 붙여 주는 RAG, 가중치를 조금 더 손보는 파인튜닝, 그리고 한 번에 넣을 수 있는 컨텍스트 자체를 넓히는 일이에요. 세 가지는 경쟁 관계처럼 보이지만 실제 시스템에서는 대개 섞여 쓰이고, 어느 쪽에 무게를 둘지가 곧 설계 결정이 됩니다.
딥리서치류 기능이 8B 오픈웨이트로 내려온 지점이다. 인용 정확도·재현율을 평가 축으로 삼은 점이 중요한데, 보고서 생성에서 문제가 되는 것은 문장 품질이 아니라 인용이 실재하는지이기 때문이다. 학습 데이터까지 공개해 재현 가능한 비교 기준이 생겼다.
임베딩 모델의 경쟁점이 점수에서 운영 비용으로 옮겨 간 사례다. 등급이 임베딩 공간을 공유한다는 설계는 재색인 비용 — 대규모 RAG에서 모델 교체를 막는 가장 큰 장벽 — 을 없애려는 것이고, 이것이 되면 임베딩 모델 교체 주기가 짧아진다.
스킬을 하네스마다 새로 학습하는 대신 저장소에서 검색해 적응시킨다는 접근으로, 스킬이 모델·하네스에 묶인 산출물에서 이전 가능한 자산으로 바뀐다. 같은 주 ClawScan의 스킬 심사 강화와 함께 보면 스킬이 유통되는 물건이라는 전제가 양쪽에서 굳어지는 중이다.
ChatGPT for Financial Services(09-10)에 이은 두 번째 수직 산업 제품. 범용 모델 위에 도메인 검색·거버넌스를 얹어 파는 패턴이 분기가 아니라 주 단위로 반복되고 있다.
에이전트 메모리를 벡터 저장소가 아니라 사람이 읽고 고칠 수 있는 파일로 두는 설계가 또 하나 늘었다 — 메모리의 정본을 어디에 둘 것인가에 대한 업계의 수렴 방향.
수백 쪽짜리 설계 문서와 계속 개정되는 법령을 한 모델에 통째로 넣지 않고, 총괄 역할이 검토 계획과 순서를 정한 뒤 문서에서 찾기·규정에서 찾기·둘을 대조하기를 각각 다른 담당에 나눈 실제 도입 사례가 정리된다. 누락과 정보 혼선이라는 구체적 실패를 근거로 든 분업이라는 점이 눈에 띈다. 검색은 용어가 정확히 맞아야 찾히는 조항과 표현이 달라도 같은 뜻인 조항이 섞여 있어 키워드와 벡터를
프런티어 모델이 범용 어시스턴트를 넘어 규제 산업의 업무 스택으로 수직 통합되는 사례로, 데이터 커넥터와 감사 로그가 모델 성능만큼 중요한 제품 요건이 됐다.
'모델을 판다'에서 '고객 데이터 위에서 전용 모델을 학습시킨다'로 계약 형태가 바뀌는 흐름이며, 에어갭 배포가 상용 요건으로 올라왔다.
데이터 웨어하우스 질의가 분석가를 거치지 않고 에이전트의 기본 도구가 된 지점으로, BI 도구 계층이 에이전트에 흡수되는 흐름을 보여준다.
100만 토큰급 컨텍스트를 단일 노드에서 감당하려는 시도로, 장문맥 에이전트의 메모리 병목 해법이 희소 어텐션과 계층 메모리의 결합으로 수렴하고 있다.
에이전트 품질 개선이 모델 교체가 아니라 평가 체계와 프롬프트 모듈화라는 엔지니어링 규율로 이뤄진다는 점을 수치로 보여 준 사례다.
긴 영상을 컨텍스트에 다 넣는 대신 메모리를 진화시키는 갈래로, RAG의 검색-생성 분리를 시계열 입력에서 무너뜨린다. 저자 자체 보고로 온라인·오프라인 영상 벤치마크에서 최고 성능이라 주장하나 구체 수치는 초록에 없다
범용 챗봇이 규제 의료 기록 시스템에 직접 연결되는 단계. 컨텍스트 연결(RAG·커넥터)의 전선이 공개 웹에서 규제 데이터 영역으로 넘어갔고, 안전성 근거는 아직 벤더 자체 평가에 의존
생성 모델을 검색기로 재활용하던 ColPali 계보 대신 처음부터 인코더로 설계한 단일 타워로 되돌아간 갈래 — 멀티모달 검색에서 '인코더 전용'이 다시 유효하다는 주장. 저자 자체 보고로 동일 해상도에서 ColModernVBERT 대비 약 2배 인코딩 처리량, 계층적 토큰 풀링과 비대칭 양자화로 255배 압축에서도 기준 성능 95% 이상 유지.
그래프 단일 구조에 기대던 에이전트 장기기억을 타임라인·그래프·문서 삼중 구조와 출처 추적(provenance)·인용 잠금으로 재편한 갈래. 저자 자체 보고로 LongMemEval 95.60%·LoCoMo 93.60%이며, 8개 언어모델에 걸쳐 질의당 비용이 약 30배 차이 나는데도 정확도 편차는 3.4%포인트에 그쳐 성능을 가르는 것은 모델 선택이 아니라 기억 아키텍처라고 주장.
Claude Code 요금은 토큰으로 표시되지만 실제 비용은 GPU 추론 시간이고, 토큰 단가는 모델 크기·입력/출력 방향·캐시 여부로 정해진다. 입력(프리필)은 병렬 처리되지만 출력(디코드)은 순차 생성이라 출력 단가가 약 5배 비싸고, 보이지 않는 사고 토큰도 출력으로 과금되며 이펙트·모델 설정은 다음 세션까지 유지되므로 세션마다 확인해야 한다. 프롬프트 캐싱은 저장 시 정가의 최대 2배
검색 시점에 그래프를 조회하는 GraphRAG 계보와 달리 그래프를 모델 가중치로 미리 컴파일해 두는 파라메트릭 지식그래프 갈래를 열면서, 동시에 그 갈래의 병목이 저장이 아니라 어댑터 선택(라우팅)임을 못박았다 — 의미 유사도를 넘어서는 어댑터 선택 기제를 찾는 것이 남은 과제라고 저자들이 결론. 수치는 저자 자체 보고.
에이전틱 시스템의 지식그래프를 '추출된 트리플의 평평한 저장소'에서 누가 사실을 소유하는지·왜 채택됐는지·어떻게 쓰여야 하는지를 기록하는 거버넌스 대상으로 재정의한 갈래. 저자 자체 보고로 SciERC에서 평면 삽입 대비 strict 트리플 F1 47%·mapped 트리플 F1 51% 개선, 120개 트리플 블라인드 검토에서 거버넌스 통과 트리플이 더 자주 출처 근거를 가졌고, MuSiQue
흩어져 있던 컨텍스트 압축 연구를 하나의 이론틀로 정리
Context Rot을 검색 에이전트 맥락에서 정량화하고 근본 해결이 어렵다는 것도 함께 보임
검색 지표 중심 평가가 그래프 기법의 이점을 과대평가해 왔다는 반성의 주류화
에이전틱 검색이 두 방식의 격차를 좁힘을 보여 2024년 GraphRAG 논쟁을 갱신
에이전틱 RAG의 첫 체계적 분류. 후속 연구의 기준점
Free·Pro 요금제의 claude.ai와 Claude Cowork 기본 모델이 됐고, 조기 접근 개발자들이 전작보다 크게 선호했으며 2025년 11월의 Opus 4.5보다도 자주 선호했다고 자사 발표
에이전틱 RAG가 항상 낫지는 않다는 실증. 설계 선택의 근거가 되는 반증형 결과
compaction·structured note-taking·sub-agent·just-in-time retrieval 4패턴 명명
실제 운영 에이전트의 컨텍스트 엔지니어링 원칙을 공개한 1차 기록
컨텍스트 로트를 업계 용어로 정착시킨 보고서
그래프가 언제 도움이 되는가를 벤치마크로 검증하는 국면 전환점 — 2026년 회의론의 방법론적 선행
에이전트 장기 기억 상용 제품이 그래프 표현을 핵심 확장으로 채택 — 그래프 엔지니어링이 RAG를 넘어 메모리 계층으로 확산
needle-in-a-haystack 성적이 롱컨텍스트 능력을 과대평가함을 보임
시간적 지식그래프를 에이전트 메모리의 1급 설계 요소로 내세운 대표 사례
GraphRAG 원저자들이 스스로 비용 문제를 인정하고 지연 그래프 구축으로 방향을 튼 사건
공식 구현이 무겁다는 커뮤니티 불만이 해킹 가능한 초경량 재구현으로 표출
청크 앞에 LLM 생성 설명 50~100토큰을 붙여 검색 실패율 35% 감소, BM25 결합 49%, 리랭킹까지 67%
중국 빅테크가 GraphRAG 계보를 전문 도메인(금융·의료)용으로 산업화한 사례
난립하던 변종들을 하나의 분류 체계로 묶어 그래프 기반 RAG를 독립 연구 분야로 공식화
롱컨텍스트 vs RAG 논쟁을 비용·성능 트레이드오프로 정리
연구 기법이 널리 복제 가능한 구현체로 확산된 시점
OCR·파싱 파이프라인을 생략한 시각 문서 검색 계보
그래프 DB 벤더가 GraphRAG를 상품 카테고리로 채택한 초기 사례 — 학계 용어의 상용 스택 편입 시점
커뮤니티 테스트가 사실상 표준 평가로 정착, 선언된 길이와 실제 회상 성능이 다르다는 인식 확립
직접 만든 RAG 파이프라인이 플랫폼 기본 기능으로 흡수되기 시작한 분기점
롱컨텍스트를 넣기만 하면 된다는 가정에 대한 첫 대규모 반증
롱 컨텍스트 경쟁의 출발 신호탄, RAG 없이 문서를 통째로 넣는 선택지의 현실화
랩이 직접 검색 증강을 제품 표면에 올린 첫 사례, 벡터DB 생태계에 직접 수요 신호
LoRA·Prefix/Prompt Tuning을 몇 줄로 연결해 소비자용 GPU 파인튜닝 대중화의 기반
LangChain 다음 달 등장해 RAG 인덱싱 계층의 또 다른 표준 어휘를 형성
가중치를 동결하고 저랭크 행렬만 학습해 GPT-3 175B 기준 학습 파라미터를 1만분의 1로, 추론 지연 증가 없음