예시를 보며 틀린 만큼 모델 속 숫자를 조금씩 고치는 과정이에요.
학습은 모델이 예시를 보고 답을 내 본 뒤, 정답과 얼마나 다른지 재서 그 차이가 줄어드는 쪽으로 안의 숫자(파라미터)를 아주 조금 고치는 일이에요. 이걸 셀 수 없이 많이 반복하면 처음엔 엉터리이던 답이 점점 그럴듯해져요.
틀린 정도를 거꾸로 따라가며 어떤 숫자를 얼마나 고칠지 계산하는 방법을 역전파라고 해요. 큰 모델을 학습시키려면 그래픽카드를 수천 장 넘게 써서 몇 주에서 몇 달이 걸리기도 해요. 학습은 모델을 만들 때 크게 하고, 다 만든 모델을 쓰는 일은 추론이라고 따로 불러요.
비유로 보면
수학 문제집을 풀고 채점한 뒤, 틀린 문제를 보고 풀이 습관을 고치는 것과 비슷해요. 다만 AI는 '아하!' 하고 깨닫는 게 아니라, 틀린 만큼 숫자를 기계적으로 조금씩 옮겨요.
예를 들면
문장의 다음 단어를 가리고 맞혀 보게 한 뒤, 틀리면 숫자를 고치는 걸 끝없이 반복하는 게 대형 언어 모델의 학습이에요.
이 낱말과 이어진 기록
출처로 확인한 AI 역사 속 장면이에요.
David Rumelhart·Geoffrey Hinton·Ronald Williams
Learning representations by back-propagating errors
은닉층이 과제에 유용한 내부 표현을 스스로 학습함을 보여 다층 신경망 학습을 실용화