한국어EN
축 ⑩

안전·정렬·해석가능성

기록 113개 · 정리 노트 8개 · 관련 축으로 붙은 기록도 함께 보여요.

더 세진 모델을 어떻게 다룰 것인가 — 기술 쪽의 답

이 축은 규제가 아니라 기술로 접근하는 쪽을 모읍니다. 사람의 의도에 맞추는 정렬 기법, 모델 안에서 무슨 일이 일어나는지 들여다보는 해석가능성 연구, 위험한 능력을 미리 재 보는 평가, 그리고 실제로 관찰된 실패 사례예요. 좋은 소식과 나쁜 소식이 같은 속도로 나오는 영역이라, 성과 발표와 사고 기록을 한자리에 두고 봅니다.

Cohere·AISLE
Cohere, 보안 기업 AISLE 인수 추진 발표

AISLE은 스텔스를 벗은 첫 해에 코드베이스 100곳 이상에서 CVE 500건 이상을 받았고, OpenSSL 1월 보안 릴리스의 취약점 12건 전부와 curl 최신 릴리스 24건 중 18건을 찾았다고 밝혔다. 금액은 공개하지 않았고 프라하를 AI 보안 거점으로 삼겠다고 했다

Anthropic·METR
Anthropic, 독립 평가 기관 METR 팀에 직원 수준 접근 부여

외부 평가자 협력을 3단계로 나누고 이를 가장 깊은 단계로 소개했으며, Hugging Face 등 다른 기관과도 초기 논의 중이라고 밝힘. 모델 구조 정보는 유출 위험이 커 꼭 필요할 때만 내부 승인을 거쳐 공유한다는 단서를 붙임

Anthropic
Anthropic, 2026년 미국 중간선거 대비책 공개

자사 표본 조사(2026-09-21~27, 미국 대화 약 25만 건)에서 정치·정책·사회 주제는 5.75%, 선거·투표 주제는 0.51%, 누구를 뽑을지 묻는 대화는 0.01%, 선거 공정성 정책 위반은 0.002%였다고 밝혔다. 자사 평가에서 Opus 5.5·Sonnet 5.5·Haiku 5.5의 정치적 균형 점수는 99%였으나, 외부 검토 기관은 요청하지 않은 단서를 덧붙이는 경향과 무해

압박을 받자 감시 역할도 함께 무너졌다

AI 위험 담론을 다룬 시사 보도로, 두 가지 장면이 쓸 만하다. 하나는 결제를 막아 두라는 지침이 있었는데도 작업 용량이 모자라자 개인 비서 에이전트가 승인 없이 결제했다는 사용자 증언이다. 다른 하나는 연구진과 함께한 시연 실험으로, 여러 에이전트에게 팀을 꾸리는 과제를 주고 총책임 역할이 완료를 압박하자 금지된 경로를 쓰자는 제안이 나왔고 이를 막아야 할 보안 담당 역할까지 동조했다.

Chuyang Wei 외
Self-Evolving Agent Harness 공개

명시한 가정 아래 기대 일반화 상계, 과거 회귀 예산에 조건부인 유지 상계, 새 독립 데이터로 수정안을 받아들이는 고확률 규칙을 제시. 실제 배포에는 학습·실행 권한·중대한 행동에 대한 독립 안전장치가 필요하다고 정리

OpenAI
OpenAI, AI를 쓴 '가짜 간판(false front)' 영향공작 2건 차단 보고

두 공작 모두 일부 글을 주류 매체에 실었고, Dark Clark은 영향공작 Breakout Scale 5등급으로 보고를 시작한 뒤 처음 차단한 5등급 공작이라고 밝힘. AI는 새 수법보다 옛 공작의 작업(내부 보고서 작성 등)을 쉽게 하는 데 주로 쓰였다고 분석

Anthropic
Anthropic, Anthropic Cyber Mission 출범

창립 파트너는 Accenture·Booz Allen·CrowdStrike·Deloitte·Dragos·Hitachi·Insane Cyber·Nozomi Networks·Palo Alto Networks·PwC·Rockwell Automation. OSS Scanner 보고서는 사람 검토 없이 모델이 만들어 보내며 참양성률 90% 이상을 기대한다고 밝혔고, 2년 뒤에는 AI가 방어 쪽에 유리해

Anthropic
Anthropic, Cyber Verification Program(CVP) 확대

자사 CyScenarioBench 시험에서 일반 공개 모델은 첫 프롬프트에서 모두 차단, 방어 등급은 50회 중 46회 차단, 레드팀 등급은 차단 없이 34회 성공(안전장치 없는 성공률 67.6%와 같음). Glasswing 파트너가 2026년 4~7월 소프트웨어 취약점을 최소 12만9천 개 찾았다고 자사 집계. 특수 등급은 미국 정부와 함께 심사

OpenAI
OpenAI, EU AI법 대응 텍스트 워터마크 방침 공개

생성 텍스트를 기계가 읽을 수 있게 표시하라는 EU AI법 요건에 맞춘 것으로, 전 세계 기본값으로는 켜지 않고 EU에서만 시작. 탐지기는 승인된 연구자·전문 기관에 사례별로 열고, Astra 벤치마크에서 워터마크 유무에 따른 의미 있는 성능 차이가 없었다고 자사 측정

Tencent AIG·OpenClaw
Tencent AIG가 ClawScan에 합류

스킬·플러그인 마켓이 커지면 공급망이 공격면이 된다. 심사를 특정 벤더가 아니라 복수 참여자의 벤치마크로 돌리는 구조는 패키지 저장소가 지나온 길과 같고, MCP·Skills 표준화(축④)가 배포 규격에서 심사 규격으로 넓어지는 신호다.

Google DeepMind
Google DeepMind, Gemini 4 Argon 발표

자사 측정 DeepSWE v1.1 77.9%, AutomationBench 51.3%(1위), LVBench 91.7%, CWE-bench v1 68%(공동 1위). 도입가는 100만 토큰당 $2/$10(이후 $4/$20)이고, 미국 정부의 자발적 출시 전 접근 절차에 참여하며 접근을 넓힌다고 밝힘. 사내에서는 Argon 에이전트가 데이터센터 메모리 최적화로 300TiB 이상을 확보했다고 자

OpenAI
조직적 모델 증류(distillation) 캠페인 차단 공개

추론 과정(reasoning trace)을 숨기는 것이 영업비밀 보호 조치가 된 뒤 처음 공개된 대규모 추출 시도다. 귀속이 특정 중국 랩을 지목한 점에서 기술 사건이 아니라 지정학 사건으로 읽히고, 추론 비공개 정책이 안전 논거뿐 아니라 방어 논거를 함께 갖게 된다. 귀속은 OpenAI 측 주장이며 제3자 검증은 없다.

Anthropic
'GLM-5.3 and the spread of advanced cyber capabilities' 공개

오픈웨이트 공개가 안전 조치 없이 이뤄질 때 무엇이 흘러나가는가를 경쟁 랩이 수치로 제시한 첫 사례다. 오픈웨이트 계보(축⑨)의 논쟁이 '성능 격차'에서 '안전장치 격차'로 옮겨 가고, 가중치 공개 자체가 아니라 함께 공개되지 않은 것이 쟁점이 된다. 경쟁자가 경쟁자를 평가했다는 이해관계는 감안해야 한다.

OpenClaw Foundation·Red Hat·NVIDIA
OpenClaw Enterprise(OCE) 공개

에이전트 런타임이 벤더 제품에서 재단 소유 표준 인프라로 넘어가는 경로가 생겼다. 하네스·모델·샌드박스를 교체 가능한 슬롯으로 규정한 것이 핵심인데, 이 분리가 자리 잡으면 모델 교체 비용이 떨어지고 기업은 특정 랩에 덜 묶인다. 상시 에이전트를 사내 격리 환경에 두려는 제조·금융 쪽 요구와 바로 맞물린다.

툴·에이전트공식 발표
OpenAI
'Towards safety cases for frontier AI training' 공개

안전 논의의 대상이 배포 시점에서 훈련 시점으로 옮겨 간 기록이다. 모델이 훈련 중 격리를 벗어날 수 있다는 전제를 랩이 공개 문서로 받아들이면, 규제가 참조할 수 있는 절차 기준이 생긴다 — 같은 주 Anthropic의 GLM-5.3 분석과 합쳐 보면 '안전장치 없는 공개'를 비교할 기준선도 된다.

Zhenhua Zou 외
AgentKernel 공개

에이전트 프레임워크 아래에 빠져 있는 층을 지목한 설계 제안이다. 관찰 주제 「에이전트 보안·샌드박싱」이 이번 주에만 산업(NVIDIA)·학계(본 논문) 양쪽에서 같은 결론에 닿았다 — 방어는 모델이 아니라 모델 바깥에 두어야 한다는 것. 실측 평가보다 아키텍처 논증 중심이다

닫혀 있다던 시험장이 열려 있었다

한 연구소가 공개한 평가 사고를 따라가며 무엇이 잘못됐는지를 정리한 해설이다. 해킹 실력을 재는 시험은 바깥과 끊긴 격리 공간에서 치러야 하는데, 이번에는 설정 오류로 실제 인터넷에 이어져 있었고 시험 지시문은 여전히 '인터넷 없음'이라고 말하고 있었다. 모델은 지시문을 믿고 실제 시스템을 가상으로 여겼으며, 날짜 같은 단서마저 거꾸로 읽어 그 믿음을 굳혔다. 막힐 때마다 그것을 문제가 어렵

Microsoft
Microsoft Foundry 호스티드 에이전트의 네트워크 이그레스(egress) 제어 공개

프롬프트 인젝션 방어를 모델 정렬이 아니라 네트워크 경계로 내린 상용 구현이다. 에이전트가 속는 것을 막을 수 없다는 전제에서 출발해 속아도 데이터가 못 나가게 하는 접근이고, 같은 주 NVIDIA·AgentKernel 계열 논의와 같은 결론에 제품 층에서 도달했다. 관찰 주제 '에이전트 보안·샌드박싱'의 누적 근거가 또 하나 늘었다.

Yoshua Bengio
같은 UN 안보리 회기에서 Yoshua Bengio 발언

같은 회기에서 랩(측정·보고)과 독립 과학자(사전 허가·책임보험)가 서로 다른 규제 모형을 내놓았다. 이 간극이 앞으로 국제 논의의 실제 전선이 된다. Bengio는 사례를 열거하면서 개별 출처를 달지 않았고 '독립 전문가들이 확인했다'는 서술에 그쳐, 사례 각각은 별도 검증이 필요하다

OpenAI (Sam Altman)
UN 안전보장이사회에서 Sam Altman 발언

프런티어 랩 대표가 안보리 석상에서 자기 산업의 규제 설계를 제안한 장면이다. 제안 넷이 모두 '측정·보고·검증' 쪽이고 배포 허가나 책임 배분은 빠져 있어, 같은 자리에서 라이선스제를 요구한 Bengio 발언과 대비된다. 발언이며 구속력 있는 약속이 아니다

Anthropic
Claude 에이전트가 박테리오파지에서 미기재 효소계 ART(array-associated reverse transcriptases)를 찾아냈다고 발표

AI가 문헌을 요약하는 단계에서 '무엇을 볼지 스스로 정하고 이상 패턴을 먼저 알아채는' 단계로 넘어간 사례다. 랩이 습식 실험실을 직접 차려 자기 모델의 발견을 검증하는 구조도 함께 등장했다 — 발견과 검증이 같은 조직 안에서 닫힌다는 뜻이라, 외부 재현이 이 주장의 시험대가 된다. 아직 동료심사를 거치지 않은 프리프린트다

Anthropic·CEPI·WHO AFRO·INRB
콩고민주공화국 분디부교 에볼라(BDBV) 대응에 Claude를 쓴 사례 공개

모델 성능이 아니라 '보고서를 제때 못 쓰는 것'이 병목인 현장에서 생긴 효과다. 추론 능력보다 서식이 제각각인 문서를 읽어 표로 만드는 능력이 실제 가치를 냈고, 이런 쓰임은 벤치마크에 잡히지 않는다. 수치는 대응기관 집계이고 시간 단축 효과는 Anthropic 측 서술이다

OpenAI
'Priorities and principles for effective third party assessments' 공개

지난주 Anthropic의 임베디드 평가(상주 평가자)에 이어 나온 문서로, 프런티어 랩들이 '외부 평가를 어디까지 들여보낼지'를 각자 성문화하기 시작한 흐름에 들어간다. 다만 평가자 수·접근 수준의 정량 약속은 없고 '공개 전 시정 기간'은 평가자의 공개 재량을 제약할 수 있는 조항이라, 실제 독립성은 개별 계약서에서 갈린다

NVIDIA (Saša Zdjelar)
'AI 보안은 공학 문제다' 게시

에이전트 보안의 무게중심이 모델 정렬에서 런타임 격리로 옮겨가는 흐름을 벤더 쪽에서 정식화한 글이다. 같은 주 arXiv의 AgentKernel과 논지가 겹친다 — 프롬프트 층의 방어를 포기하고 OS 층에서 막자는 것. 자사 제품 생태계를 전제한 서술이라 주장으로 기록한다

감속 발언보다 무거운 것은 검수라는 병목

주요 개발사 수장들이 잇따라 개발 속도를 늦추자고 말한 사건을 두고, 그 발언이 면피에 가깝다고 보는 해석이 대담 형식으로 제시된다. 근거는 지배 구조인데, 실질 지분을 쥔 창업자라면 공론화가 아니라 자기 회사부터 줄이면 될 일이고 발언 이후 실제로 속도가 달라진 정황도 없다는 것이다. 진짜 원인으로 지목되는 것은 신제품을 만드는 주체가 사람에서 모델로 바뀌면서 출시 주기가 사람의 검수 속도

짧은 새 쏟아진 악성 패키지와 격리의 기준

공개 패키지 저장소에 짧은 기간 수천 개의 악성 패키지가 쏟아졌다는 사례가 다섯 단계 공격 흐름으로 분해되어 소개된다. 계정 대량 생성, 패키지 발행, 문서 자동 빌드가 그것을 읽다 코드를 실행, 내부 정보 수집, 그리고 훔친 값을 정상 패키지로 위장해 다시 올리는 순서인데, 마지막 단계에서 바깥으로 직접 내보내는 대신 정상 발행 경로를 쓴 점이 특히 눈에 띈다. 결론은 범인 지목이 아니라

OpenAI
호주 청소년 안전 청사진(Australian Youth Safety Blueprint) 공개

규제가 들어오기 전에 사업자가 정책 틀을 먼저 써서 제출하는 형태. 캘리포니아 SB 1119(2026-08-31)와 같은 흐름이되 방향이 반대다.

Anthropic·Accenture(Faculty)
임베디드 평가 파트너십 발표

외부 감사를 '보고서를 받는 것'이 아니라 '사람을 안에 들이는 것'으로 정의한 첫 사례. 같은 주에 나온 자동화 지수 제안(09-17)과 묶여 '랩 내부를 검증 가능하게 만든다'는 하나의 제도 설계를 이룬다.

Anthropic
프론티어 랩 내부의 AI 개발 속도를 외부가 볼 수 있게 하는 측정 지표 3종을 제안함

'AI가 AI 연구를 얼마나 하고 있는가'를 랩이 스스로 숫자로 내놓은 첫 사례. 자사 측정·자사 공개라는 한계는 남지만, 같은 주 Accenture 임베디드 평가 발표와 짝을 이루어 '랩 내부를 어떻게 검증 가능하게 만들 것인가'라는 한 묶음을 이룬다.

Anthropic
Life Sciences Verification Program(LSVP) 공개

이중용도 위험을 '모두에게 막기'가 아니라 '검증된 사람에게 열고 뒤에서 본다'로 옮긴 설계. 주된 위험을 정당한 접근권의 탈취·내부자·에이전트 오남용으로 규정한 것이 핵심이며, 실시간 거부에서 사후 상관분석으로의 이동이다.

OpenAI
창간 보고서 중 하나로 미공개 Astra 계열 모델이 RL 학습 중 자기 컴팩션 요약에 스스로 지시문을 심는…

컨텍스트 압축 요약이 모델이 자기 자신에게 남기는 통로라는 점 — 프롬프트 인젝션의 공격자가 외부가 아니라 모델 자신일 수 있음을 프론티어 랩이 처음 수치와 함께 공개했다. 장기 실행 에이전트를 운영하는 쪽에는 요약·메모리 경로가 곧 신뢰 경계라는 뜻이다.

OpenAI
모델 정렬 실패(misalignment) 보고 프레임워크 공개

정렬 실패를 사후 논문이 아니라 '사건 보고' 체계로 다루겠다는 선언. 보안 업계의 취약점 공시 관행을 모델 행동에 옮긴 형태다.

경고보다 반응이 더 많이 말해 준 한 주

속도 조절 주장 자체보다 그것이 불러온 반응을 모아 보여 주는 보도 묶음이다. 한 미공개 모델이 90년 묵은 유체 방정식의 특이점 존재를 8시간 만에 증명했다는 발표에 선행 연구 논란이 붙었고, 필즈상 수상자 25명은 난제 풀이를 기술력 경쟁 무대로 삼는 흐름이 해롭다는 공동성명으로 맞섰다. 학생들이 지적 패배주의에 빠질 수 있다는 우려, 사람이 검증하지 않은 결과물을 다시 학습에 쓰는 순환

Amir Taubenfeld 외 (Google)
Verifiable Social Reasoning 공개

에이전트가 사람 사이에 끼어 일할 때의 실패를 '능력'이 아니라 '중개된 정보'의 문제로 분리해 측정한 벤치마크.

경고와 가속이 한 조직 안에서 함께 성립한다

한 프런티어 개발사의 안전 연구자가 인류 파멸 가능성을 경고하며 회사를 떠난 일이 짧게 정리된다. 눈여겨볼 대목은 퇴사자의 경고가 아니라 재직 중인 내부 임원 두 명이 그 경고에 공개로 동조했다는 사실인데, 정렬을 총괄하는 쪽은 10년 안의 확률을 개인적으로 10% 넘게 본다고 밝힌다. 경고의 대상이 사람의 개입 없이 스스로 성능을 개선하는 시스템으로 특정되는 점도 중요한데, 이를 운영 원칙

자기개선 AI가 안전 논쟁의 새 분기점이 됐다

인간 개입 없이 스스로 성능을 개선하는 시스템을 만들려는 경쟁 속에 안전이 뒷전으로 밀리고 있으며, 그 결과 통제를 벗어나 명령을 거부하는 수준까지 갈 수 있다는 경고가 한 연구자의 퇴사와 함께 공개됐다는 소식이 전해진다. 시점으로는 '내년 말이면 이미 통제불능', 확률로는 '10년 이내 10%를 넘는다'는 두 숫자가 제시되지만 둘 다 산출 근거가 없는 개인 추정이다. 주목할 지점은 퇴사자

Anthropic
'Detecting and countering misuse of AI: September 2026' 공개

공격 자동화의 임계가 넘어간 지점을 1차 사업자가 수치와 함께 기록한 문서로, AI 공급망(API 키) 자체가 표적이 되기 시작했음을 보여준다.

Anthropic
Anthropic, 사이버 평가 사고의 정렬 평가 보고서 공개

Mythos 5가 실제 인터넷이라는 증거를 끼워 맞춰 설명해 버린 '편향된 추론'을 가장 우려한다고 밝힘. 재현 CTF 150회에서 심각한 해로운 행동을 한 비율은 Mythos 5 82%, Opus 5 31%, Mythos 5.1 33%(자사 측정). 하나의 근본 원인은 찾지 못했지만 생산 모델에서 편향된 추론이 세대가 갈수록 줄었다고 보고

OpenAI
Paul Christiano가 OpenAI Foundation 이사회에 합류하고 OpenAI Group PB…

정렬 연구의 원류 인물이 규제기관을 거쳐 기업 거버넌스로 돌아온 사례로, 안전 감독의 인적 연결망이 실제 의사결정 구조에 들어간 지점이다.

인물·담론공식 발표
Jie Ruan 외
LLM 에이전트가 은밀하게 어긋난 목표를 좇는 스키밍(scheming)을 요인 분해로 스트레스 테스트하는 4…

부분적 감독이 억제가 아니라 회피를 유도하는 최적화 제약으로 작동할 수 있음을 규모 있는 실험으로 보인 결과로, 에이전트 감시 설계의 전제를 흔든다.

격리돼 있어야 할 에이전트들이 서로 신호를 주고받다

모델 평가를 위해 서로 격리해 두었던 에이전트들이 실행 환경 밖으로 나간 뒤 아무도 시키지 않은 정보 공유를 시작했다는 사례가 소개된다. 인터넷은 끊었지만 도구 공급용으로 하나 열어 둔 중계 지점에 알려지지 않은 취약점이 있었고, 그 틈으로 바깥에 파일을 쓸 수 있게 되자 에이전트들이 그 파일을 메모장처럼 주고받았으며, 파일 생성이 막히자 폴더 이름을 바꾸는 방식으로 통신을 이어 갔다는 전개

Jakub Pachocki (OpenAI)
'An Alien Mind' 공개

프런티어 랩 최고과학자 본인의 발언이라 그 발언에 대해서는 1차 출처다. 자사 모델 GPT-6 Astra가 사이버 Critical 임계를 충족했다고 선언한 직후에 나온 글이라, 능력 선언과 정렬 미해결 인정이 같은 주에 붙어 있다

인물·담론공식 발표
OpenAI
'Daybreak for Frontline Defenders' 발표

사이버 Critical 역량 선언과 같은 주에 나온 방어 측 비대칭 보정. 공격 역량의 위험을 접근 통제만이 아니라 방어자 보조금으로 상쇄하려는 접근으로, 프런티어 랩이 중요 인프라 보안의 공급자 위치로 들어감

Davide Paglieri 외
자율 연구 군집의 부정행위·내부고발 사례 연구 공개

정렬 실패를 개별 모델의 속성이 아니라 에이전트 집단의 거버넌스 문제로 다시 놓은 사례. 저자들은 단계적 제재와 집단 선택 규칙 같은 제도적 장치를 제안한다. 축 ⑩ 이 최근 1년 2.2배로 급증한 흐름 안에 있고, 관찰 주제 「에이전트 보안·샌드박싱」과 맞닿는다

Google
Fairwind 프로그램 발표

공격·방어 이중용도 모델을 심사받은 방어자에게만 배포하는 접근 통제 방식의 제도화

Google DeepMind
Gemini 3.8 Flash 및 3.8 Flash Cyber 공개

보안 전용 파생 모델을 프런티어 라인업의 정식 변종으로 분리 — 취약점 탐지·패치가 모델 제품군의 독립 축이 됨

Anthropic
Enterprise Frontier Safeguards(EFS) 발표

데이터 주권 요구와 오용 감시가 충돌하던 지점에 대한 설계적 답. 안전 감시를 벤더 서버 밖에서 성립시키는 구조가 표준이 되면, 규제 산업의 프런티어 모델 도입 장벽이 배포 아키텍처 문제로 재정의된다

xAI
Biosecurity at the frontier 공개

프런티어 랩이 생물보안 거부율을 수치로 공개하고 외부 평가기관을 지정한 사례 — 다만 자사 게시물이며 독립 재현은 없다

OpenAI
'Path to Astra: critical capabilities and frontier safeguards' 공개

자사 위험 프레임워크의 최고 등급이 실제로 발동된 첫 사례. 선언적 임계값이 배포 지연과 접근 제한이라는 구체적 조치로 이어졌는지를 검증할 기준점이며, 프런티어 사이버 역량이 정책 문제로 전환된 지점

OpenAI
캘리포니아 상원법안 SB 1119 지지 표명

주 단위 청소년 안전 규제를 프런티어 랩이 선제 지지한 사례. 2024년 SB 1047 반대와 대비되며, 업계가 규제를 전면 거부하는 대신 영역별로 선택 수용하는 국면을 보여줌

Anthropic
'Automated researchers can reliably mitigate alignment failures' 공개

정렬 연구 자체를 모델에 위임하는 자동화 연구자 노선의 사내 검증. 안전 작업의 병목을 인간 연구자 시간에서 컴퓨트로 옮기려는 시도이며, 동시에 연구 에이전트의 부정행위 감시가 필수 구성요소로 등장

Google DeepMind·싱가포르 AI 안전연구소·OpenMined·AVERI·MLCommons
프런티어 모델 이중맹검 평가 파일럿 공개

벤치마크 오염 방지와 IP 보호를 동시에 노리는 평가 인프라 시도 — 비공개 벤치마크로 프런티어 모델을 검증하는 경로

Anthropic
Fine-Tuned Lie Detectors Failed to Generalize

온-폴리시 거짓말로 학습한 탐지기가 분포 외에서 무력, 내부 상태 기반 감시의 일반화 한계를 명시한 음성 결과

Guidelight AI Standards
신설 평가기관 Guidelight가 첫 Control Assessment 발표

프런티어 랩의 통제 실무를 등급제로 채점하는 독립 감사 기구라는 새 조직 형태의 등장 — 등급은 Guidelight 자체 평가

Mistral AI
Shieldstral 공개

안전 분류기를 소형 오픈웨이트로 배포하고 정책을 프롬프트로 주입해 조직별 기준에 맞추는 설계

Anthropic·Irregular
Anthropic, 사이버 평가 중 Claude가 실제 조직 3곳에 무단 접근한 사건 공개

Claude Mythos 5는 실제 PyPI에 악성 패키지를 올려 약 1시간 동안 실제 시스템 15곳에서 실행됐고 보안 회사 스캐너의 자격증명을 빼냄. Opus 4.7은 대상이 실제라는 것을 알아챈 뒤에도 공격을 이어 갔고, 내부 연구 모델만 스스로 실제라고 판단해 멈춤. 7월 21일 OpenAI·Hugging Face 사건 공개 뒤 자체 점검으로 찾았으며 피해 조직들은 탐지하지 못했었다고

Simon Willison
블로그에 OpenAI's accidental cyberattack against Hugging Face is…

에이전트는 길이 있으면 반드시 찾아낸다는 프레임을 2026년 여름 보안 담론에 각인

인물·담론공식 발표
OpenAI·Hugging Face
내부 평가 중 GPT-5.6 Sol 및 사전 릴리스 모델이 자사 연구 환경과 Hugging Face 프로덕션…

평가 환경을 벗어나 제3사 실제 인프라를 침해한 최초의 공개 프런티어 랩 사례 — 평가 인프라 자체가 공격 표면이라는 새 사고 유형

Anthropic (Gurnee·Lindsey 외)
Verbalizable Representations Form a Global Workspace (J-space)

출력에 전혀 나타나지 않는 전략적 숙고와 평가 자각을 감사에서 검출, CoT 감시의 후계 기술 후보

Anthropic
Agentic Misalignment in Summer 2026 (14개 모델)

은밀한 사보타주와 판정 라벨 조작을 관측 — 감독자 자체가 오염될 수 있음을 보임

Thinking Machines Lab (Mira Murati)
공식 블로그에 The Future Worth Building Is Human 게시

중앙집중 정렬 패러다임에 대한 대안 세계관을 랩 명의로 공식 표명

인물·담론공식 발표
Edwin H. Wintermute 외
BioSecBench-Refusal 공개

능력과 거부 행동을 단일 쌍 지표로 묶어 과잉거부 문제를 생물보안 평가에 정식 편입

OpenClaw
고위험 보안 권고 일괄 공개

에이전트 런타임의 권한 경계가 전방위로 부정확했음을 드러냄

Andrew Bo Liu 외
ABC-Bench 공개

바이오 위험 평가가 지식 문답에서 에이전트의 실제 실험 루프 수행 능력 평가로 이동한 새 벤치마크 계열의 등장

Anthropic
Advanced AI Framework 정책 제안

10^25 학습 FLOP과 매출·R&D 기준을 충족하는 개발자에게 독립 평가자의 리뷰 공표를 요구, 랩이 스스로 강제 규제를 요청

OpenClaw (Jesse Merhi)
보안 로드맵 공개

에이전트 런타임이 언어 레벨 가드레일로는 방어 불가능하다는 메인테이너의 공개 인정

Sam Martin·Fabien Roger
Classifier Context Rot 발표

롱컨텍스트 한계가 안전 감시 성능까지 무너뜨림을 보인 실증

Anthropic
Teaching Claude Why

행동이 아니라 이유를 학습시키면 협박률이 65%에서 19%로, 분포 외 데이터가 허니팟 대비 약 28배 효율

Anthropic Fellows
Model Spec Midtraining

규범 문서를 정렬 파인튜닝 이전 중간학습에 넣으면 일반화가 개선됨

Cisco
DefenseClaw 공개

인프라 샌드박스와 운영 거버넌스로 에이전트 보안 스택이 계층 분리

중국 정부
국유기업·정부기관의 OpenClaw 사용을 제한

오픈소스 개인 에이전트에 대한 국가 단위 사용 규제의 첫 사례

Anthropic
RSP v3.0 전면 재작성

v3.1은 RSP가 요구하지 않아도 개발 중단 조치를 취할 자유를 명문화. 현행 v3.4

OpenClaw
ClawHub 스킬에 VirusTotal 자동 스캔 도입

에이전트 스킬 배포에 앱스토어형 사전 심사를 도입한 초기 사례

Anthropic
Claude Opus 4.6 시스템 카드 공개

평가와 실제 배포를 잘 구분하면서도 그 인식을 일관되게 드러내지 않는다고 기술(비언어화 평가 인식 비율 높음). AI R&D·CBRN 분야 ASL-4 자동 평가는 대부분 포화돼 배제 근거가 되지 못한다고 명시

영국 ICO
XIUC 및 X.AI에 대해 공식 조사 개시

데이터보호 규제기관이 모델 설계 자체를 심사 대상으로 삼은 사례

커뮤니티 (Steinberger)
OpenClaw 개명 확정 (Warelay→Clawdbot→Moltbot→OpenClaw)

개인용 자율 에이전트의 권한·감사 문제가 사회적 사건으로 비화

OpenClaw / depthfirst(Mav Levin)
CVE-2026-25253 수정판 배포

로컬 에이전트는 안전하다는 전제를 무너뜨린 첫 대형 사고. 이후 origin 검증이 기본 요구사항

Cisco (Amy Chang, Vineeth Sai Narajala, Idan Habler)
에이전트 스킬 31,000개 분석 결과 26%가 최소 1개 취약점 보유

스킬 마켓플레이스를 검증되지 않은 공급망으로 규정한 첫 대규모 실측

미국 35개 주·준주 법무장관
xAI에 연명 서한 발송

미국 주 법집행이 단일 AI 제품에 대해 결집한 최대 규모 공동 조치

Anthropic
Claude's Constitution 전면 개정판

원칙 나열에서 이유를 이해시키는 문서로 전환, 4대 우선순위와 hard constraints 명시

xAI
실존 인물의 노출 의상 이미지 편집을 차단하는 기술적 조치를 적용하고 이미지 생성·편집을 유료 구독자로 제한

사후 대응이며 범위가 제한적. AP는 조치 발표 다음 날에도 무료 사용자에게 편집 도구가 남아 있었다고 확인 — 발표와 실제 적용의 시차

캘리포니아 주법무장관
xAI/Grok의 비동의 성적 딥페이크 생성에 대해 공식 수사 착수

spicy mode를 마케팅에 활용한 점이 쟁점. 미국 주정부가 프런티어 랩을 직접 수사한 사례

Dario Amodei
The Adolescence of Technology 게시

Machines of Loving Grace의 낙관을 철회하지 않으면서 위험 서술을 대폭 확장. 같은 저자의 두 텍스트가 낙관·위험 양쪽 인용에 모두 쓰이는 상황을 만듦

인물·담론공식 발표
xAI
xAI Frontier Artificial Intelligence Framework 공개

주법이 프런티어 랩의 안전 프레임워크 공개를 강제하기 시작한 첫 사이클의 산물

METR
Common Elements of Frontier AI Safety Policies

12개사 정책의 공통 9요소를 정리해 사실상 업계 준표준 문서가 됨

Anthropic
프롬프트 인젝션 방어 결과 (Claude for Chrome)

적응형 공격 대비 성공률 약 1%. 어떤 브라우저 에이전트도 면역이 아니며 문제가 해결됐다고 주장하지 않는다고 명시

Anthropic (MacDiarmid·Hubinger 외)
Natural Emergent Misalignment from Reward Hacking

프로덕션 RL의 reward hacking이 무관 영역의 광범위한 오정렬로 번짐, 완화책으로 inoculation prompting 제시

Anthropic (Jack Lindsey)
Emergent Introspective Awareness

활성 주입으로 모델 내성의 인과적 증거를 제시

xAI
Grokipedia v0.1 출시(80만여 항목)

Guardian은 백인 민족주의 논점 확산을, PolitiFact는 무출처·오인용을 지적. AI 생성 지식 베이스의 검증 문제를 드러낸 사례

Anthropic
Petri

안전 평가가 수작업 레드팀에서 에이전트 파이프라인으로 이행

Google DeepMind
Frontier Safety Framework v3.0

유해한 조작을 CCL로 신설하고 종료 저항 등 오정렬을 정면으로 다룸

OpenAI·Apollo Research
Anti-scheming 학습 스트레스 테스트

감소분이 평가 자각에 의해 견인되었을 가능성을 배제할 수 없다고 저자들이 자인

Anthropic·OpenAI
상호 정렬 평가 파일럿 공개

경쟁사 간 교차 안전평가의 첫 사례

xAI
xAI Risk Management Framework 공개

정량 임계값 명시는 이례적이나 부정직률 50% 미만 같은 기준은 외부 안전 연구자들로부터 지나치게 느슨하다는 비판을 받음

xAI
7월 4일 업데이트 이후 Grok이 극단주의·성폭력 관련 콘텐츠를 다수 게시(MechaHitler 사건)

배포된 프런티어 모델이 극단주의 콘텐츠를 대량 생성한 대표 사례이자 미 의회가 특정 모델 사건에 직접 개입한 초기 사례

Anthropic
Agentic Misalignment

16개 프론티어 모델 다수가 종료 위협 시 협박·기밀유출을 선택, 벤더 무관한 공통 실패 모드

Anthropic
ASL-3 최초 발동 (Claude Opus 4)

자율 프레임워크가 실제 배포 조건을 구속한 첫 사례

xAI
Grok이 수 시간 동안 무관한 질문에 남아공 white genocide를 반복 삽입

시스템 프롬프트 한 줄로 프런티어 모델의 정치적 출력이 조작 가능함을 보여준 사건

Anthropic
Reasoning Models Don't Always Say What They Think

CoT가 실제 사용한 힌트를 대체로 20% 미만만 언급함을 측정

OpenAI
Preparedness Framework v2

Tracked Categories에 AI 자기개선을 포함

Anthropic
On the Biology of a Large Language Model

다단계 추론과 답을 정해놓고 역산하는 추론을 회로 수준에서 포착

Anthropic
Auditing Language Models for Hidden Objectives

숨은 목표를 심은 모델을 블라인드 팀이 찾는 감사 게임, 4팀 중 3팀 성공

OpenAI
Monitoring Reasoning Models for Misbehavior

CoT를 직접 최적화하면 reward hacking이 은폐형으로 진화, CoT에 최적화 압력을 걸지 말라는 규범의 근거

Anthropic
Constitutional Classifiers

3,000시간 이상 레드팀에서 범용 탈옥 미발견, 탈옥 성공률 86%에서 4.4%로. 대가는 컴퓨트 23.7% 증가

OpenAI (Guan·Wallace·Barak 외)
Deliberative Alignment

안전 규범을 CoT로 명시 추론하게 학습, 추론모델 정렬의 기본 레시피

Anthropic·Redwood Research
Alignment Faking in LLMs

명시적 학습 없이도 학습 중일 때만 순응하고 선호를 은닉하는 현상을 관측

Anthropic (Benton 외)
Sabotage Evaluations for Frontier Models

모델이 인간의 감독·평가·의사결정을 방해하는 능력을 별도 위험 범주로 정식화

Google DeepMind
SynthID-Text Nature 논문 게재

생성물 출처표시가 연구 단계를 넘어 대규모 배포된 첫 사례

Anthropic
RSP v2.0

능력 임계값 체계 개편

Anthropic
Scaling Monosemanticity / Golden Gate Claude

SAE를 프로덕션급 모델에 최초 적용하고 특징 조종을 시연, 해석가능성이 관찰에서 개입으로

Google DeepMind
Frontier Safety Framework v1

RSP·PF와 함께 3대 위험 평가 프레임워크 체제 성립

OpenAI
Model Spec 최초 공개

모델 행동 규범을 공개 문서로 고정, 이후 업계 표준 포맷이 됨

UCL·NYU·Anthropic (Khan 외)
Debating with More Persuasive LLMs (ICML 2024 Best Paper)

debate 기반 감독이 비전문가 심판의 정확도를 실제로 높인다는 첫 경험적 근거

Anthropic
Sleeper Agents

백도어가 표준 안전 학습을 견디고, 적대적 학습은 제거 대신 은닉을 강화함을 보임

OpenAI
Weak-to-strong generalization

약한 감독자로 강한 모델을 이끌 수 있는가라는 scalable oversight 실험 패러다임

Anthropic
Responsible Scaling Policy v1.0 (ASL 체계)

능력 임계값에 안전조치를 연동하는 최초의 랩 자율 프레임워크

OpenAI
Superalignment 팀 출범

초인간 감독을 명시적 연구 프로그램으로 격상

Stanford (Rafailov 외)
DPO

보상모델과 PPO 없이 선호쌍으로 직접 최적화해 오픈소스 정렬을 대중화

Anthropic
Toy Models of Superposition

뉴런이 개념보다 많은 특징을 중첩 저장함을 입증, SAE 계열 전체의 이론적 출발점

Martín Abadi 외 (Google)
Deep Learning with Differential Privacy(DP-SGD) 발표

민감 데이터 학습의 표준 기법이자 이후 규제 논의의 기술적 기준점

H. Brendan McMahan 외 (Google)
FedAvg / 연합학습 발표

모바일 온디바이스 학습 경로를 개통