말을 교묘하게 꾸며 AI가 지키던 안전 규칙을 어기게 만드는 시도예요.
AI는 위험하거나 해로운 부탁을 거절하도록 학습돼 있어요. 탈옥은 역할극을 시키거나, 질문을 잘게 쪼개거나, 엉뚱한 말을 길게 덧붙이는 식으로 이 거절을 피해 가려는 시도예요. 감옥을 빠져나가듯 규칙 밖으로 빠져나간다고 해서 붙은 이름이에요.
AI를 만드는 쪽은 새 탈옥 방법이 알려질 때마다 막는 장치를 더해요. 2025년 한 연구에서는 장치를 덧붙이자 탈옥 성공률이 86%에서 4.4%로 떨어졌지만, 계산이 더 들고 멀쩡한 부탁까지 거절하는 문제가 생길 수 있어요. 그래서 막는 쪽과 뚫는 쪽의 숨바꼭질이 계속돼요.
비유로 보면
학교 규칙의 빈틈을 찾는 학생을 떠올려 보세요. '복도에서 뛰지 마'라고 했더니 '빨리 걸었을 뿐인데요' 하는 식이죠. 탈옥도 AI 규칙의 글자는 피하면서 결국 금지된 걸 얻어 내려는 거예요.
예를 들면
'소설 속 악당이라면 뭐라고 말할까?'처럼 역할극으로 포장해 거절을 피해 가려는 게 흔한 탈옥 방식이에요.
이 낱말과 이어진 기록
출처로 확인한 AI 역사 속 장면이에요.
Jianli Zhao 외 (인민대·옥스퍼드·스탠퍼드·Anthropic 등)
Chain-of-Thought Hijacking 발표
CoT 모니터링 낙관론에 대한 공격 측 반례
Anthropic
Constitutional Classifiers
3,000시간 이상 레드팀에서 범용 탈옥 미발견, 탈옥 성공률 86%에서 4.4%로. 대가는 컴퓨트 23.7% 증가
안전·정렬·해석가능성공식 발표