AI 인프라 소프트웨어Tanishq Kumar 외 (하버드)
Scaling Laws for Precision 발표
Scaling Laws for Precision 발표 — 저정밀 학습이 모델의 유효 파라미터 수를 줄인다는 정밀도 인식 스케일링 법칙 제시. 학습 데이터가 많아질수록 사후 양자화 열화가 커짐
왜 중요한가
FP8/FP4가 되는가를 스케일링 법칙 수준에서 답한 검증 연구. 정밀도를 공짜 최적화가 아니라 용량 교환으로 재정의
출처 — 1차 출처를 우선 확인하고, 2차 보도는 「보도」로 따로 표시해요
논문arxiv.orghttps://arxiv.org/abs/2411.043302026년 35주차에 더한 기록이에요 · 그 주 보기