vLLM

분리 서빙이 연구 주장에서 운영 안내로 내려왔다. 평균 처리량이 아니라 p99 지연을 기준으로 삼은 것이 핵심인데, 에이전트 루프는 꼬리 지연에 그대로 노출되기 때문이다. 같은 주 OpenAI가 속도를 별도 과금 등급으로 떼어 낸 것과 같은 압력의 오픈소스 쪽 대응이다.

장기 멀티턴·에이전트 워크로드가 표준이 되면서 KV 캐시가 GPU 메모리를 넘어 스토리지 계층으로 확장되는 추론 아키텍처 전환이다.

주요 오픈 추론 엔진에서 AMD GPU가 NVIDIA 외 실질적 대안으로 최적화되는 과정을 구체적 수치로 남긴 기록이다.

에이전트 코딩이 추론 서빙의 대표 워크로드가 되면서 벤치마크의 목표 자체가 단발 처리량에서 장기 멀티턴 세션 경제성으로 옮겨 갔다.

100만 토큰급 컨텍스트를 단일 노드에서 감당하려는 시도로, 장문맥 에이전트의 메모리 병목 해법이 희소 어텐션과 계층 메모리의 결합으로 수렴하고 있다.

멀티노드 모델 로딩·가중치 교체(RL 롤아웃)가 서빙 스택의 1급 문제로 승격

V1 재설계 이후 두 번째 실행 계층 재작성. 서빙 경쟁이 커널에서 스케줄러·실행 코어로 이동

텍스트 전용이던 오픈소스 서빙 인프라가 비자기회귀·멀티모달 생성까지 포괄하는 확장 신호

prefix caching 기본값화, V0 대비 최대 1.7배