평가·벤치마크Mika Okamoto·Ansel Kaplan Erol (Georgia Tech)
PACT 공개
PACT 공개 — 규제 산업 12개 도메인 48개 시나리오에서 LLM 에이전트가 다중 턴 대화 중 규칙을 지키는지 보는 벤치마크. 모델 22종 평가에서 가장 강한 조수도 항목의 6~10%에서 규칙을 잘못 적용했고, 평범한 사용자 압박만으로 위반율이 평균 65% 상승했다. 문구와 시스템 프롬프트 모드를 바꿔 가며 압박을 가하고, 신뢰도 가중 준수율 PACTScore 로 종합함.
왜 중요한가
에이전트를 규제 업무에 붙일 때의 실패가 능력 부족이 아니라 사용자 압박에서 온다는 것을 수치로 보였다. 현장 운영에서 'SOP 를 지키는가'는 모델 선택이 아니라 압박 설계의 문제가 된다.
출처 — 1차 출처만 싣고, 직접 이동해 확인할 수 있어요
논문arxiv.orghttps://arxiv.org/abs/2609.186052026년 9월 21일에 더한 조각 · 그 주 보기
같은 주에 나온 조각09.18업데이트를 원자적(atomic)으로 바꿈공식 발표09.18Grok Voice Transcribe 2.0 공개공식 발표09.18임베디드 평가 파트너십 발표공식 발표09.18호주 청소년 안전 청사진(Australian Youth Safety Blueprint) 공개공식 발표