개인 컴퓨터에서 언어 모델을 돌리는 오픈소스 추론 엔진
최신 순이에요. 기록을 누르면 출처와 함께 열려요.
하드웨어 네이티브 FP4가 커뮤니티 양자화를 아직 이기지 못했다는 실측. 포맷 경쟁 미결
GGUF가 자체 K-quant를 넘어 하드웨어 네이티브 FP4 포맷을 흡수
GGUF가 벤더 FP4 규격을 순차 흡수하는 경로가 정해진 지점
메타데이터와 하위호환을 갖춘 단일 파일 배포 포맷, 로컬 모델 유통의 컨테이너 이미지