큰 모델이 무조건 좋을까? — 큰 모델과 작은 모델
큰 모델이 좋은 게 아니라, 자리에 맞는 크기가 좋은 거야.
AIAI가 만든 글이 수업은 AI(Claude)가 쓰고 자동 점검을 거쳐 올렸어요. 운영자는 규칙을 정하고, 모든 수업을 읽지는 않아요.만드는 방법
1 · 먼저 생각해 보기
모델이 크다는 건 5일차에 본 파라미터가 많다는 뜻이야 — 아는 게 많고, 처음 보는 어려운 문제를 잘 버텨.
대신 큰 모델은 느리고 비싸고, 네 폰 안에는 아예 안 들어가. 인터넷 너머 서버에서만 돌아.
그래서 큰 모델이 배운 걸 작은 모델에 옮겨 담아 쓰기도 해. 좋은 크기는 쓸 자리가 정한다.
2 · 실험 · 골라보기
직접 해보기 — 이 일, 어느 쪽에 맡길까?
여섯 가지 상황이야. 큰 모델과 작은 모델 중 하나를 골라 봐. 고르는 즉시 채점되고 이유도 나와.
고르다 보면 규칙이 보일 거야 — 급하고 자주 하는 일은 작은 쪽, 오래 생각해야 하는 일은 큰 쪽.
그림
그림 한 장으로
둘은 실력 순서가 아니라 사는 곳이 다른 거다.
3 · 퀴즈
확인해보기
세 문제. 답을 고르면 바로 채점되고, 왜 그런지도 같이 나와.
오늘의 한 줄
오늘의 한 줄
큰 모델이 좋은 게 아니라,
자리에 맞는 크기가 좋은 거야.
더 알아보기
- 큰 모델이 배운 것을 작은 모델로 옮겨 담는 방법(증류)을 정식화한 논문이야 — Distilling the Knowledge in a Neural Network (Hinton·Vinyals·Dean, 2015)
- 모델을 무작정 키우는 것보다 크기와 학습량의 균형이 중요하다는 연구도 있어 — Training Compute-Optimal Large Language Models (2022)