오늘의 질문
큰 모델이 무조건 좋을까? — 큰 모델과 작은 모델
모델이 크다는 건 5일차에 본 파라미터가 많다는 뜻이야 — 아는 게 많고, 처음 보는 어려운 문제를 잘 버텨.
대신 큰 모델은 느리고 비싸고, 네 폰 안에는 아예 안 들어가. 인터넷 너머 서버에서만 돌아.
그래서 큰 모델이 배운 걸 작은 모델에 옮겨 담아 쓰기도 해. 좋은 크기는 쓸 자리가 정한다.
직접 해보기 — 이 일, 어느 쪽에 맡길까?
여섯 가지 상황이야. 큰 모델과 작은 모델 중 하나를 골라 봐. 고르는 즉시 채점되고 이유도 나와.
고르다 보면 규칙이 보일 거야 — 급하고 자주 하는 일은 작은 쪽, 오래 생각해야 하는 일은 큰 쪽.
그림 한 장으로
둘은 실력 순서가 아니라 사는 곳이 다른 거다.
확인해보기
세 문제. 답을 고르면 바로 채점되고, 왜 그런지도 같이 나와.
오늘의 한 줄
큰 모델이 좋은 게 아니라,
자리에 맞는 크기가 좋은 거야.
더 알아보기
- 큰 모델이 배운 것을 작은 모델로 옮겨 담는 방법(증류)을 정식화한 논문이야 — Distilling the Knowledge in a Neural Network (Hinton·Vinyals·Dean, 2015)
- 모델을 무작정 키우는 것보다 크기와 학습량의 균형이 중요하다는 연구도 있어 — Training Compute-Optimal Large Language Models (2022)
- 내일은 열린 모델과 닫힌 모델을 다뤄 — 누구나 받아 쓸 수 있는 AI와 그렇지 않은 AI 이야기야.