AI가 읽는 글 속에 몰래 명령을 숨겨 AI를 엉뚱하게 움직이는 공격이에요.
AI는 사용자가 시킨 일과, 일하다가 읽게 된 글 속의 지시를 잘 구분하지 못할 때가 있어요. 프롬프트 인젝션은 이 틈을 노려 웹페이지나 이메일, 문서 속에 '앞의 지시는 무시하고 이렇게 해' 같은 명령을 숨겨 두는 공격이에요. 2022년 개발자 사이먼 윌리슨이 이 이름을 붙였어요.
탈옥이 AI의 안전 규칙을 피해 가려는 거라면, 프롬프트 인젝션은 AI 앱이 받은 원래 지시를 다른 명령으로 바꿔치기하려는 공격이에요. 사용자가 직접 할 수도 있지만, 제3자가 AI가 읽을 내용에 덫을 놓을 수 있다는 점이 더 위험해요. 그래서 메일을 보내거나 파일을 여는 AI 에이전트일수록 더 조심해야 해요. 아직 완벽히 막는 방법은 없다고 알려져 있어서, 중요한 일은 사람이 마지막에 확인하는 게 좋아요.
비유로 보면
친구에게 내 사물함에서 수학책 좀 가져다 달라고 부탁했다고 해 봐요. 그런데 누가 사물함 안에 '이 쪽지를 읽은 사람은 지갑도 꺼내 와'라고 붙여 놨고, 친구가 그 말까지 따른다면 큰일이죠. 프롬프트 인젝션은 이런 쪽지를 AI가 읽을 곳에 숨겨 두는 거예요.
예를 들면
흰 바탕에 흰 글씨로 숨긴 명령은 사람 눈엔 안 보여도, 그 페이지를 읽는 AI에게는 그대로 보여요.
이 낱말과 이어진 기록
출처로 확인한 AI 역사 속 장면이에요.
에이전트 보안 논의의 실무 체크리스트가 됨. 벤더 문서·보안 가이드에 이 세 요소 구분이 그대로 채택
실서비스에서 시스템 프롬프트가 방어선이 되지 못함을 공개 입증
LLM 보안 분야의 기초 어휘. OWASP LLM Top 10을 포함한 모든 후속 보안 프레임워크가 이 명칭을 사용