모델 아키텍처·학습 기법DeepMind (Hoffmann 외)
Chinchilla
Chinchilla — 400여 모델로 파라미터와 토큰을 같은 비율로 늘리라 도출
왜 중요한가
당시 대형 모델들이 undertrained였음을 폭로, 70B가 280B Gopher를 상회
출처 — 1차 출처만 싣고, 직접 이동해 확인할 수 있어요
논문arxiv.orghttps://arxiv.org/abs/2203.155562026년 8월 24일에 더한 조각 · 그 주 보기