'Taking vLLM Apart: A Practical Guide to Disaggregated Serving' 공개
'Taking vLLM Apart: A Practical Guide to Disaggregated Serving' 공개 — 프리필/디코드 분리와 CPU 작업의 GPU 분리를 실무 수치로 정리. L40S 48GB 2장·Qwen2.5-7B-Instruct·약 8k 토큰 프롬프트에서 통합(collocated) 배치의 p99 토큰간 지연(ITL)은 0.4 req/s에 23ms에서 169ms로 뛰고 2 req/s에 263ms에 이르는 반면, 프리필/디코드 분리는 전 부하 구간에서 25~52ms를 유지. AMD MI300X·Qwen3-235B 에서는 TTFT 1초와 ITL 50ms를 동시에 만족한 요청이 분리 73/100 대 통합 30/100. 다중 노드 H200 에서는 통합 레플리카 대비 평균 종단 지연 59%·P95 67% 감소. 분리 가능한 작업을 셋으로 제시: ①프리필/디코드 분리(10k 토큰 Llama-3.1-70B 프롬프트에서 약 3GB의 KV 캐시를 RDMA로 전송) ②토크나이즈·채팅 템플릿·파싱을 맡는 GPU 없는 렌더 계층(9k 토큰 프롬프트에 CPU 약 15ms) ③다중 턴 대화에서 캐시를 재사용하는 양방향 KV 전송.
왜 중요한가
분리 서빙이 연구 주장에서 운영 안내로 내려왔다. 평균 처리량이 아니라 p99 지연을 기준으로 삼은 것이 핵심인데, 에이전트 루프는 꼬리 지연에 그대로 노출되기 때문이다. 같은 주 OpenAI가 속도를 별도 과금 등급으로 떼어 낸 것과 같은 압력의 오픈소스 쪽 대응이다.
출처 — 1차 출처를 우선 확인하고, 2차 보도는 「보도」로 따로 표시해요
공식 발표vllm.aihttps://vllm.ai/blog/2026-09-29-disaggregated-serving-guide2026년 41주차에 더한 기록이에요 · 그 주 보기