모델 크기·데이터·계산량을 늘리면 성능이 예측 가능하게 오른다는 관찰이에요.
스케일링 법칙은 모델의 파라미터 수, 학습 데이터 양, 계산량을 키울수록 AI의 예측 오차가 꽤 일정한 규칙을 따라 줄어든다는 관찰이에요. 2020년 OpenAI 연구진이 이를 정리해 발표했고, 덕분에 '더 크게 만들면 얼마나 좋아질지'를 미리 어림할 수 있게 됐어요.
2022년 친칠라 연구는 모델만 키울 게 아니라 데이터도 같은 비율로 늘려야 한다고 보여 줬어요. 다만 이름은 '법칙'이어도 자연법칙이 아니라 지금까지 관찰된 경향이에요. 이 경향이 앞으로도 이어질지는 연구자들 사이에서도 의견이 갈려요.
비유로 보면
운동 연습량과 기록을 떠올려 보세요. 연습을 두 배로 늘릴 때마다 기록이 비슷한 비율로 좋아진다면, 다음 대회 기록을 미리 짐작할 수 있죠. 하지만 그 흐름이 언제까지 이어질지는 아무도 장담하지 못해요.
예를 들면
친칠라는 파라미터 700억 개에 데이터를 더 많이 먹여, 파라미터 2,800억 개짜리 모델보다 좋은 성적을 냈어요.
이 낱말과 이어진 기록
출처로 확인한 AI 역사 속 장면이에요.
OpenAI (Kaplan 외)
Scaling Laws for Neural Language Models
손실이 모델·데이터·연산의 멱법칙으로 예측 가능함을 제시해 대규모 투자의 근거가 됨