한국어EN
추론 인프라·서빙MIT Han Lab (Ji Lin 외)

AWQ

AWQ

왜 중요한가

활성값 기준 상위 가중치만 보호하는 양자화, TinyChat이 HF FP16 대비 3배 이상

출처 — 1차 출처만 싣고, 직접 이동해 확인할 수 있어요 논문arxiv.orghttps://arxiv.org/abs/2306.009782026년 8월 24일에 더한 조각 · 그 주 보기
같은 주에 나온 조각06.01RefinedWeb논문05.29DPO논문
같은 축의 가까운 조각06.20vLLM + PagedAttention 공개공식 발표08.21GGUF 포맷 도입보도03.10llama.cpp 저장소 생성공식 발표02.02Accelerating LLM Decoding with Speculative Sampling논문
DPORefinedWeb