추론 인프라·서빙UCSD·PKU (Zhong 외)
DistServe
DistServe — goodput 최적 PD 분리
왜 중요한가
prefill과 decode를 별도 GPU 풀로 나눠 지연 지표를 독립 튜닝
출처 — 1차 출처만 싣고, 직접 이동해 확인할 수 있어요
논문arxiv.orghttps://arxiv.org/abs/2401.096702026년 8월 24일에 더한 조각 · 그 주 보기
같은 주에 나온 조각01.17AlphaGeometry Nature 논문 게재논문01.17SGLang + RadixAttention 공개공식 발표01.16Pinecone serverless 발표공식 발표