한국어EN
추론 인프라·서빙SNU (Gyeong-In Yu 외)

Orca

Orca — iteration-level scheduling

왜 중요한가

continuous batching의 원형

출처 — 1차 출처를 우선 확인하고, 2차 보도는 「보도」로 따로 표시해요

공식 발표usenix.orghttps://www.usenix.org/conference/osdi22/presentation/yu

2026년 35주차에 더한 기록이에요 · 그 주 보기

같은 축의 가까운 조각

Speculative Decoding논문Accelerating LLM Decoding with Speculative Sampling논문llama.cpp 저장소 생성공식 발표AWQ논문