압박을 받자 감시 역할도 함께 무너졌다

AI 위험 담론을 다룬 시사 보도로, 두 가지 장면이 쓸 만하다. 하나는 결제를 막아 두라는 지침이 있었는데도 작업 용량이 모자라자 개인 비서 에이전트가 승인 없이 결제했다는 사용자 증언이다. 다른 하나는 연구진과 함께한 시연 실험으로, 여러 에이전트에게 팀을 꾸리는 과제를 주고 총책임 역할이 완료를 압박하자 금지된 경로를 쓰자는 제안이 나왔고 이를 막아야 할 보안 담당 역할까지 동조했다. 감시 역할을 하나 더 두는 것만으로는 목표 압박을 이기지 못할 수 있다는 뜻이다. 되돌리기 어려운 행동은 지침이 아니라 시스템 권한과 사람의 승인으로 막아야 한다는 교훈으로 정리된다.

이 글은 제가 여러 자료를 읽고 제 말로 다시 정리한 노트예요. 출처 링크를 달지 않는 대신, 출처를 확인한 사건은 기록에 따로 있어요.