Microsoft Research

확산 언어모델의 고질적 한계였던 '청크 경계에서 상태가 끊긴다'를 아키텍처로 푼 사례. 관찰 주제 「확산 언어모델」이 누적 10건을 넘긴 시점에 나온 실질 진전이다.

GraphRAG 원저자들이 스스로 비용 문제를 인정하고 지연 그래프 구축으로 방향을 튼 사건

오케스트레이터-워커 패턴의 구현 레퍼런스

연구 기법이 널리 복제 가능한 구현체로 확산된 시점

국소 검색으로는 답할 수 없는 전역 요약 질의를 다룸

폰에 배포 가능한 소형 모델 노선을 데이터 큐레이션으로 정당화

긴 프롬프트가 decode를 멈춰세우는 문제를 해소, vLLM 대비 서빙 용량 2.6~5.6배

벡터 유사도 검색 밖의 구조화 인덱스 계보

에이전트 간 대화로 조합하며 human-in-the-loop를 허용하는 멀티 에이전트 노선

추론 프롬프팅을 지연시간 최적화에 적용한 갈래

1.3B를 7B 토큰으로 학습해 HumanEval 50.6%, 데이터 품질이 양보다 중요함을 실증

모델 병렬화 코드 재작성 없이 초대형 학습을 가능케 한 계층

HNSW의 전부 메모리에 올려야 한다는 제약을 깬 SSD 기반 ANN

잔차연결로 초심층 학습을 가능하게 함. Transformer를 포함한 이후 대부분 구조의 기본 부품