모델 안에서 학습으로 맞춰지는 숫자 하나하나예요.
파라미터는 모델 안에 들어 있는 숫자들이에요. 신경망의 연결마다 붙은 가중치가 대표적이에요. 학습은 결국 이 숫자들을 조금씩 고쳐서 좋은 답이 나오는 조합을 찾는 일이에요.
모델 크기를 '파라미터 몇 개'로 말하기도 해요. 2020년에 나온 GPT-3는 약 1,750억 개였고, 폰 안에 들어가는 작은 모델은 수십억 개 정도예요. 숫자가 많으면 담을 수 있는 패턴이 늘지만, 많다고 무조건 똑똑한 건 아니에요. 무엇을 얼마나 잘 배웠는지가 함께 따라와야 해요.
비유로 보면
음악 믹서에 달린 수많은 손잡이를 떠올려 보세요. 손잡이 하나하나가 파라미터이고, 학습은 좋은 소리가 날 때까지 손잡이를 조금씩 돌리는 일이에요. 다만 AI의 손잡이는 수십억 개가 넘어요.
예를 들면
'7B 모델'의 B는 billion(10억)이라서, 파라미터가 약 70억 개라는 뜻이에요.