한국어EN
추론 인프라·서빙SNU (Gyeong-In Yu 외)

Orca

Orca — iteration-level scheduling

왜 중요한가

continuous batching의 원형

출처 — 1차 출처만 싣고, 직접 이동해 확인할 수 있어요 공식 발표usenix.orghttps://www.usenix.org/conference/osdi22/presentation/yu2026년 8월 24일에 더한 조각 · 그 주 보기
같은 축의 가까운 조각11.30Speculative Decoding논문02.02Accelerating LLM Decoding with Speculative Sampling논문03.10llama.cpp 저장소 생성공식 발표06.01AWQ논문
DeepSpeed Inference 발표오픈 베타 시작