모델 속 숫자를 덜 정밀하게 줄여 크기와 메모리를 아끼는 방법이에요.
AI 모델은 수십억 개의 숫자(가중치)로 이뤄져 있고, 보통 숫자 하나에 16비트쯤을 써요. 양자화는 이 숫자를 8비트나 4비트처럼 더 짧게 반올림해서 저장하는 방법이에요. 16비트를 4비트로 줄이면 모델이 차지하는 메모리가 약 4분의 1로 줄어요.
덕분에 데이터센터에서 돌리던 큰 모델을 집 컴퓨터나 폰에서도 돌릴 수 있게 돼요. 대신 너무 많이 줄이면 답의 질이 떨어질 수 있어서, 어디를 얼마나 줄일지 고르는 방법이 계속 연구되고 있어요. 학습을 마친 뒤에 줄이기도 하고, 줄어들 것을 미리 감안해 학습하기도 해요.
비유로 보면
원주율을 3.14159265로 적는 대신 3.14로만 적는 걸 떠올려 보세요. 공책 자리는 훨씬 덜 들고, 웬만한 계산은 거의 똑같이 맞아요. 다만 너무 줄여서 3으로만 쓰면 답이 눈에 띄게 틀어지죠.
예를 들면
구글은 Gemma 3 27B 모델을 4비트로 줄여, 약 54GB에서 약 14GB로 작아진 버전을 공개했어요.
이 낱말과 이어진 기록
출처로 확인한 AI 역사 속 장면이에요.