이 숫자, 대체 얼마나 큰 걸까? — 파라미터 감 잡기
숫자가 크다고 다 똑똑한 건 아니다.
AIAI가 만든 글이 수업은 AI(Claude)가 쓰고 자동 점검을 거쳐 올렸어요. 운영자는 규칙을 정하고, 모든 수업을 읽지는 않아요.만드는 방법
1 · 먼저 생각해 보기
파라미터는 학습 중 계속 고쳐지는 가중치 숫자의 개수야. 많을수록 담을 수 있는 패턴의 그릇이 커져.
요즘 큰 모델은 파라미터가 수백억~1조 개 단위야. 사람 뇌 시냅스 수(약 100조 개)에는 아직 못 미쳐.
파라미터가 많다고 무조건 또똑한 건 아니야 — 무엇을 어떻게 학습했는지가 함께 따라와야 해.
2 · 실험 · 숫자 감각
직접 해보기 — 숫자 감각 슬라이더
슬라이더를 움직여 자릿수(10의 몇 제곱)를 추측해보고, 실제 값과 얼마나 가까운지 확인해보자.
그림
그림 한 장으로
세 숫자를 나란히 놓고 보면 자릿수가 얼마나 다른지 느낌이 온다.
3 · 퀴즈
확인해보기
세 문제. 답을 고르면 바로 채점되고, 왜 그런지도 같이 나와.
오늘의 한 줄
오늘의 한 줄
숫자가 크다고
다 똑똑한 건 아니다.
더 알아보기
- 파라미터 수가 처음 크게 화제가 된 사건 중 하나는 2020년 공개된 GPT-3야 — Language Models are Few-Shot Learners