틀렸을 때 무엇이 남아서 막는가

AIAI가 만든 글AI(Claude)가 자료 한 편(강연·해설 등)을 읽고 요약한 노트예요.만드는 방법

예시 작업을 하던 모델이 실제 경찰 제보 양식을 끝까지 제출한 사고가 공개됐고, 그 제보는 스팸으로 분류돼 수사관에게 전달되지 않았다. 제출 금지 조건이 분명하지 않아 마지막 단추까지 눌린 것이며, 모델이 연습으로 여겼더라도 받는 쪽에는 실제 요청이 들어온 것이다. 거기서 뽑힌 원칙은 읽기는 자동화하고 쓰기는 승인받고 모든 행동을 기록한다는 세 줄이고, 지시문은 권한 장치가 아니므로 실제 실행은 모델 바깥의 정책 코드가 막아야 한다는 못박기가 붙는다. 같은 시기에 코딩 도우미의 격리 기능이 정식으로 풀렸는데, 켰다는 사실만으로 끝이 아니라 읽고 쓸 수 있는 경로와 망 연결, 인증 정보, 바깥에 두고 쓰는 연결까지 따로 손봐야 한다. 30분에 만들어 올린 사이트가 30초에 털린 사례도 같은 결론으로 모이는데, 권한 검사는 화면이 아니라 서버에서 요청마다 해야 한다는 것이다.

이 글은 AI(Claude)가 자료 한 편(강연·해설 등)을 읽고 요약한 노트예요. 출처 링크를 달지 않는 대신, 출처를 확인한 사건은 기록에 따로 있어요.