큰 모델의 실력을 작은 모델에게 옮겨 가르치는 방법이에요.
증류는 크고 똑똑한 '선생 모델'의 답을 작은 '학생 모델'이 따라 하도록 학습시키는 방법이에요. 학생은 정답만 보는 게 아니라 선생이 각 답을 얼마나 그럴듯하게 봤는지까지 배워서, 혼자 배울 때보다 빨리 실력이 붙어요. 2015년 힌턴 연구진의 논문이 이 방법을 널리 알렸어요.
이렇게 만든 작은 모델은 빠르고 싸서 폰이나 노트북에서도 돌릴 수 있어요. 대신 선생보다 실력이 조금 떨어지는 경우가 많아요. 다른 회사 AI의 답을 대량으로 모아 허락 없이 증류에 쓰는 일을 두고 분쟁이 벌어지기도 해요.
비유로 보면
전교 1등 친구의 정리 노트를 떠올려 보세요. 교과서를 처음부터 다 읽는 대신, 그 친구가 중요하다고 표시한 곳과 헷갈려한 곳을 따라 공부하면 훨씬 빨리 따라잡을 수 있죠. 그래도 노트만으로 그 친구만큼 잘하기는 어려워요.
예를 들면
선생 모델이 '고양이 70%, 호랑이 25%'라고 본 사진이라면, 학생은 '둘이 꽤 닮았구나'까지 함께 배워요.
이 낱말과 이어진 기록
출처로 확인한 AI 역사 속 장면이에요.
Anthropic
중국 랩 증류 공격 고발
증류 분쟁이 의혹에서 정량적 고발로. 소송이 아니라 탐지 공개와 산업 공동 대응을 택한 것이 법적 수단의 한계를 반영
학습 데이터·후속학습공식 발표
Geoffrey Hinton·Oriol Vinyals·Jeff Dean (Google)
Distilling the Knowledge in a Neural Network arXiv 공개
큰 모델의 지식을 작은 모델로 옮기는 증류를 정식화. 오늘의 소형 모델 계보의 뿌리