한국어EN
수업 지도하루 5분 AI 수업5부 안을 들여다보기

답이 두 개 있을 때, 사람은 어느 쪽에 점수를 줄까? — 사람이 점수 매기기

정답을 알려 준 게 아니라, 어느 쪽이 더 나은지만 알려 줬어.

  • 5분
  • 골라보기
  • 퀴즈 3

AI가 만든 글이 수업은 AI(Claude)가 쓰고 자동 점검을 거쳐 올렸어요. 운영자는 규칙을 정하고, 모든 수업을 읽지는 않아요.만드는 방법

1 · 먼저 생각해 보기

같은 질문에 답을 두 개 내게 한 다음, 사람이 더 나은 쪽을 고르는 일을 수만 번 반복해. 그 고른 기록이 다음 학습의 재료야.

맞고 틀림을 채점하는 게 아니야. 모은 건 사람의 취향이야. 그 취향을 흉내 내는 작은 채점 모델을 먼저 만들고, 그 점수를 따라 AI를 다듬어.

효과가 컸어. 2022년에 공개된 연구에서, 이렇게 다듬은 작은 모델의 답을 사람들은 130배 넘게 큰 모델의 답보다 더 좋아했어.

2 · 실험 · 골라보기

직접 해보기 — 네가 사람 채점자라면 어느 쪽에 점수를 줄래

여섯 가지 상황에서 답이 둘씩 나와. 더 나아 보이는 쪽에 점수를 줘 봐. 다 고르면 사람들이 쓴 기준이 보일 거야.

정답은 '더 맞는 답'이 아니라 '사람들이 더 많이 고른 답'이야. 채점자가 된 기분으로 골라 봐.

그림

사람이 고른 기록이 점수가 되기까지

사람은 답을 써 주지 않아. 둘 중 하나를 고를 뿐이야.

답 두 개같은 질문에사람이 고름더 나은 쪽 하나채점 모델사람 취향을 흉내모델 다듬기점수 높은 쪽으로사람이 답마다 일일이 점수를 매기면 끝이 없어. 그래서 고른 기록으로 채점 모델을 먼저만들고, 그 뒤부턴 그 모델이 대신 점수를 줘.핵심: 정답을 알려 주는 게 아니라, 어느 쪽이 더 나은지만 알려 준다
이 방식을 줄여서 RLHF라고 불러. 사람 피드백으로 하는 강화학습이라는 뜻이야.

3 · 퀴즈

확인해보기

세 문제. 답을 고르면 바로 채점되고, 왜 그런지도 같이 나와.

오늘의 한 줄

오늘의 한 줄

정답을 알려 준 게 아니라,
어느 쪽이 더 나은지만 알려 줬어.

더 알아보기