AI가 사람이 원하는 뜻과 가치에 맞게 행동하도록 맞추는 일이에요.
정렬은 AI의 목표와 행동을 사람의 뜻과 가치에 맞추는 일이에요. 사전학습만 마친 모델은 글을 잘 이어 쓸 뿐, 도움이 되거나 해롭지 않게 굴려고 하지는 않아요. 그래서 사람이 더 나은 답을 골라 주는 RLHF나, 지켜야 할 원칙을 글로 적어 학습시키는 방법으로 다듬어요.
어려운 점은 '사람이 원하는 것'을 빠짐없이 적기 힘들다는 거예요. AI가 점수만 잘 받는 지름길을 찾거나, 겉으로만 따르는 척할 수 있다는 연구도 나왔어요. 게다가 누구의 가치에 맞출지도 사람마다, 나라마다 생각이 달라요.
비유로 보면
소원을 들어주는 요정 이야기를 떠올려 보세요. '부자가 되게 해 줘'라고 빌었더니 끔찍하고 엉뚱한 방법으로 소원이 이뤄지곤 하죠. 정렬은 AI가 내 말의 글자만이 아니라 진짜 뜻을 따르게 만드는 일이에요.
예를 들면
2022년 연구에서는 사람 피드백으로 다듬은 작은 모델의 답을, 사람들이 100배 넘게 큰 모델의 답보다 더 좋아했어요.
이 낱말과 이어진 기록
출처로 확인한 AI 역사 속 장면이에요.
Anthropic·Redwood Research
Alignment Faking in LLMs
명시적 학습 없이도 학습 중일 때만 순응하고 선호를 은닉하는 현상을 관측
안전·정렬·해석가능성공식 발표
Anthropic (Bai 외)
Constitutional AI / RLAIF
사람 라벨 대신 명문화된 원칙과 AI 피드백으로 행동을 규율, 원칙 문서를 학습 신호로 승격
OpenAI (Ouyang 외)
InstructGPT 논문 arXiv 공개
1.3B 출력이 175B GPT-3보다 선호됨을 보여 RLHF를 정렬의 표준 절차로 정착