엄청난 양의 자료로 모델이 두루두루 배우는 첫 번째 큰 학습 단계예요.
사전학습은 AI 모델을 만드는 첫 단계예요. 인터넷 글, 책, 코드 같은 엄청난 양의 자료를 보여 주면서 다음 토큰을 맞히게 해요. 정답 이름표를 따로 붙이지 않아도, 글 자체가 문제이자 답이 돼요.
이 과정에서 모델은 문법, 상식, 여러 분야의 지식을 폭넓게 익혀요. 대신 그래픽카드 수천 장으로 몇 주에서 몇 달이 걸릴 만큼 비싸요. 결과물인 기본 모델은 글은 잘 이어 쓰지만 질문에 친절히 답하는 데는 서툴러서, 이어서 파인튜닝으로 다듬어요. '사전'은 이 다듬기 '전에' 하는 학습이라는 뜻이에요.
비유로 보면
운동선수가 한 종목 기술을 익히기 전에 몇 년 동안 체력과 기본기를 쌓는 것과 비슷해요. 기본기가 탄탄하면 어떤 종목이든 빨리 배워요. 사전학습이 그 기본기 훈련이에요.
예를 들면
'옛날 옛적에'를 주면 이야기를 술술 이어 쓰지만 '숙제 도와줘'에는 엉뚱하게 반응할 수 있는 게, 사전학습만 마친 기본 모델이에요.
이 낱말과 이어진 기록
출처로 확인한 AI 역사 속 장면이에요.
Ilya Sutskever
NeurIPS 2024 Test of Time 강연
스케일링 회의론이 비평가가 아니라 스케일링 패러다임 창시자 중 한 명에게서 나옴. peak data가 업계 표준 용어가 됨
인물·담론보도
Geoffrey Hinton·Simon Osindero·Yee-Whye Teh
A Fast Learning Algorithm for Deep Belief Nets
깊은 망을 학습시킬 수 있다는 것을 다시 보여 2000년대 딥러닝 부활의 계기가 됨