계층형 KV 캐시 오프로딩(Tiered KV Cache Offloading) 프레임워크를 공개함
AIAI가 만든 글AI(Claude)가 출처를 읽고 쓴 기록이에요. 중요한 내용은 아래 출처에서 확인해 주세요.만드는 방법
계층형 KV 캐시 오프로딩(Tiered KV Cache Offloading) 프레임워크를 공개함. 모든 KV가 호스트 DRAM을 경유하는 호스트 중심 설계로, 축출된 KV를 재계산하는 대신 파일시스템(콘텐츠 주소 기반 명명으로 자동 공유)·S3 호환 오브젝트 스토리지·ZMQ 조율과 RDMA 전송을 쓰는 피어-투-피어 등 세 종류 보조 계층에 보존함. 자사 주장으로 Qwen3.6-35B-A3B를 H100 2장에서 측정했을 때 동시 대화 128개를 넘는 구간에서 대안 대비 처리량이 2배 이상이었으며, vLLM v0.22부터 제공됨.
왜 중요한가
장기 멀티턴·에이전트 워크로드가 표준이 되면서 KV 캐시가 GPU 메모리를 넘어 스토리지 계층으로 확장되는 추론 아키텍처 전환이다.
출처 — 1차 출처를 우선 확인하고, 2차 보도는 「보도」로 따로 표시해요
공식 발표vllm.aihttps://vllm.ai/blog/2026-09-10-tiered-kv-offloading2026년 38주차에 더한 기록이에요 · 그 주 보기
노선도에서 — ⑧ 추론 인프라·서빙 노선
- 앞 역8세대 TPU
- 이 기록계층형 KV 캐시 오프로딩(Tiered KV Cache Offloading) 프레임워크를 공개함
- 다음 역DeepSeek-V4.1-Flash 공개