오늘의 질문
크기만 키웠는데 왜 새 재주가 생겼을까 — 2020 GPT-3
어제 배운 트랜스포머 뼈대를 바꾸지 않고 그냥 크게 키웠더니, 2020년에 숫자 1,750억 개짜리 모델이 나왔어. 이름이 GPT-3야.
놀라운 건 크기가 아니라 배우는 방식이었어. 다시 훈련시키지 않고 질문 안에 예시 두세 개만 끼워 넣어도 바로 따라 했거든.
그래서 논문 제목도 '언어 모델은 예시 몇 개만 보면 된다'였어. 이때부터 '뭐라고 시키느냐', 즉 프롬프트가 중요해졌지.
직접 해보기 — 자릿수 감각 — GPT는 얼마나 커진 걸까
손잡이를 움직여 '10의 몇 제곱쯤일까'를 먼저 어림해 봐. 정답 확인을 누르면 실제 숫자가 나와. 맞히는 게 목적이 아니라 자릿수가 얼마나 훌쩍 뛰는지 느끼는 게 목적이야.
그림 한 장으로
같은 자로 재서 막대로 그리면 차이가 한눈에 보여.
확인해보기
세 문제. 답을 고르면 바로 채점되고, 왜 그런지도 같이 나와.
오늘의 한 줄
뼈대는 그대로, 크기와 읽은 글만 키웠더니
예시만 봐도 따라 하는 재주가 생겼어.
더 알아보기
- GPT-3 원논문이야. 제목이 곧 오늘의 핵심 — 예시 몇 개만 보면 된다 — Language Models are Few-Shot Learners (2020)
- 같은 해 6월, 누구나 글을 넣고 글을 받는 방식으로 GPT-3를 열어 준 공식 발표 — OpenAI API 베타 (OpenAI, 2020)
- 내일은 2022년 ChatGPT — 모델보다 '대화창'이 세상을 바꾼 이야기.