AI한테 '안 돼'는 누가 가르칠까 — AI 안전
안전은 AI의 착한 성격이 아니라, 누군가 값을 치르고 붙여 둔 장치야.
AIAI가 만든 글이 수업은 AI(Claude)가 쓰고 자동 점검을 거쳐 올렸어요. 운영자는 규칙을 정하고, 모든 수업을 읽지는 않아요.만드는 방법
1 · 먼저 생각해 보기
AI 안전은 AI를 착하게 만드는 마법이 아니라, 모델 위에 하나씩 덧붙이는 장치야. 크게 세 가지 — 거절하기, 하기 전에 물어보기, 나중에 들여다보기.
장치를 붙이면 진짜로 달라져. 2025년 한 연구에서는 규칙을 어기게 만드는 꼼수 질문의 성공률이 86%에서 4.4%로 떨어졌어.
대신 공짜는 아니야. 계산이 그만큼 더 들고(그 연구에선 약 24% 증가), 멀쩡한 부탁까지 덜컥 거절해 버리는 '과잉 거절'이 생겨. 그래서 요즘은 거절 실력과 과잉 거절을 같이 재.
2 · 실험 · 전후 비교
직접 해보기 — 안전장치를 떼고 붙여 보기
같은 모델이야. 위에 얹은 장치만 떼었다 붙였다 하면 행동이 어떻게 달라지는지 봐.
그림
같은 모델, 장치를 떼었을 때와 붙였을 때
바뀐 건 모델이 아니라 모델을 둘러싼 장치야.
3 · 퀴즈
확인해보기
세 문제. 답을 고르면 바로 채점되고, 왜 그런지도 같이 나와.
오늘의 한 줄
오늘의 한 줄
안전은 AI의 착한 성격이 아니라,
누군가 값을 치르고 붙여 둔 장치야.
더 알아보기
- 사람이 일일이 라벨을 붙이는 대신 '원칙을 적은 글'을 학습 신호로 쓴 방법 — 거절을 가르치는 뿌리가 된 논문 — Constitutional AI (Anthropic, 2022)
- 꼼수 성공률 86%에서 4.4%, 계산은 23.7% 증가라는 숫자가 나온 원문 — Constitutional Classifiers (Anthropic, 2025)
- AI가 AI를 자동으로 감사하게 만든 오픈소스 도구 — Petri (Anthropic, 2025)