사람이 더 나은 답을 고른 기록으로 AI를 다듬는 학습법이에요.
RLHF는 '사람 피드백으로 하는 강화학습'의 영어 약자예요. AI가 같은 질문에 답을 여러 개 내면, 사람이 어느 쪽이 더 나은지 고르는 일을 아주 많이 반복해요. 정답을 가르치는 게 아니라 사람이 더 좋아하는 쪽을 알려 주는 거예요.
사람이 모든 답에 점수를 줄 수는 없으니, 고른 기록으로 사람 취향을 흉내 내는 채점 모델을 먼저 만들어요. 그다음 AI가 이 채점 모델에게 높은 점수를 받는 쪽으로 조금씩 바뀌게 훈련해요.
2022년 InstructGPT 연구에서는 이렇게 다듬은 작은 모델의 답을 사람들이 100배 넘게 큰 모델의 답보다 더 좋아했어요. 같은 해 나온 ChatGPT도 이 방법으로 다듬어졌어요. 다만 사람 취향을 따르다 보니 듣기 좋은 말만 하려는 버릇이 생길 수 있다는 지적도 있어요.
비유로 보면
장기자랑 심사를 떠올려 보세요. 심사위원은 무대마다 정답을 알려 주지 않고, 두 무대 중 어느 쪽이 더 좋았는지만 골라요. 그 선택이 쌓이면 참가자는 사람들이 어떤 무대를 좋아하는지 감을 잡게 돼요.
예를 들면
같은 질문에 '짧고 정확한 답'과 '길고 장황한 답'이 나오면, 사람이 하나를 고르고 그 기록이 학습 재료가 돼요.
이 낱말과 이어진 기록
출처로 확인한 AI 역사 속 장면이에요.
OpenAI (Ouyang 외)
InstructGPT 논문 arXiv 공개
1.3B 출력이 175B GPT-3보다 선호됨을 보여 RLHF를 정렬의 표준 절차로 정착