틀린 정도를 출력에서 입력 쪽으로 거꾸로 전해 가중치를 고치는 방법이에요.
역전파는 여러 층으로 된 신경망을 학습시키는 핵심 방법이에요. 신경망이 답을 내면 먼저 정답과의 차이(오차)를 재요. 그다음 이 오차를 마지막 층부터 첫 층 쪽으로 거꾸로 전하면서, 가중치마다 오차에 얼마나 책임이 있는지 계산해 그만큼 고쳐요.
층이 하나뿐일 땐 어느 숫자를 고칠지 쉬웠지만, 층이 많으면 가운데 숫자들의 책임을 따지기 어려웠어요. 역전파는 미분의 연쇄 법칙으로 이 문제를 풀어요. 1970년대에 먼저 나온 연구가 있었고, 1986년 러멜하트·힌턴·윌리엄스의 논문이 널리 알렸어요. 지금의 대형 언어 모델도 이 방법으로 학습해요.
비유로 보면
모둠 과제 점수가 낮게 나왔을 때, 발표부터 거꾸로 짚어 가며 '어느 단계에서 얼마나 틀렸나'를 따져 보는 것과 비슷해요. 책임이 큰 부분은 많이, 작은 부분은 조금 고치는 거예요.
예를 들면
AI가 고양이 사진을 '개'라고 하면, 역전파가 그 실수에 영향을 준 숫자 수백만 개를 한꺼번에 조금씩 고쳐요.
이 낱말과 이어진 기록
출처로 확인한 AI 역사 속 장면이에요.
David Rumelhart·Geoffrey Hinton·Ronald Williams
Learning representations by back-propagating errors
은닉층이 과제에 유용한 내부 표현을 스스로 학습함을 보여 다층 신경망 학습을 실용화
Paul Werbos
하버드 박사 학위논문에서 다층 신경망의 오차 역전파 학습을 기술
1986년 재발견 이전의 최초 서술로 평가됨. 역전파 우선권 논쟁의 기준점