평가·벤치마크
기록 77개 · 정리 노트 4개 · 관련 축으로 붙은 기록도 함께 보여요.
잘한다는 말은 무엇으로 증명되는가
새 모델의 성능 주장은 대부분 어떤 시험의 점수입니다. 이 축은 그 시험 자체를 다뤄요 — 새로 만들어진 벤치마크, 기존 시험이 포화되거나 학습 데이터에 섞여 못 쓰게 되는 오염 문제, 사람이 비교 평가하는 방식, 그리고 평가 방법론을 비판하는 연구입니다. 다른 축의 숫자를 얼마나 믿을지는 이 축을 읽어야 정할 수 있어요.
저자 측정으로 제약을 직접 찾아야 하는 설정에서는 가장 좋은 구성도 평균 0.56점에 그치고 95개 중 14개만 해결했다. 이해관계자에게 필요한 사실을 모두 얻어 낸 23개 과제에서도 0.8 이상은 10개뿐이어서, 말하지 않은 제약을 찾는 일이 병목이라고 결론지었다
외부 평가자 협력을 3단계로 나누고 이를 가장 깊은 단계로 소개했으며, Hugging Face 등 다른 기관과도 초기 논의 중이라고 밝힘. 모델 구조 정보는 유출 위험이 커 꼭 필요할 때만 내부 승인을 거쳐 공유한다는 단서를 붙임
자사 발표로 Artificial Analysis 음성 대 음성 지수 86.9(GPT-Live-1 83.2·Gemini 3.8 Live 82.6), Full Duplex Bench 97%, 응답 지연 1초 미만을 제시했다. Tesla 차량과 Starlink 고객 응대에 쓰여 하루 약 2만 건 통화 중 약 70%를 사람 없이 끝낸다고 밝혔다
저자 측정으로 시각 갈래는 영상 820개·문항 2,460개, 소리까지 쓰는 갈래는 240개·720개를 사람이 달고 여러 차례 검수해 만들었으며 모델 50개를 평가했다. 공개 모델이 특히 소리와 화면을 함께 보는 과제에서 상용 모델에 뒤졌고, 같은 대상을 글로만 가리킬 때와 그림을 함께 줄 때 답이 자주 달라졌다고 보고했다
하네스 엔지니어링의 최적화 대상이 '무엇을 고치는가'에서 '무엇을 시험하는가'로 넓어졌다. 실패를 패턴으로 추상화해 커리큘럼을 자동 편성한다는 것은 에이전트 개선 루프에서 사람이 시나리오를 고르던 자리를 대체하는 일이고, 재귀적 자기개선(축⑫)과 맞닿는다.
자사 측정 DeepSWE v1.1 77.9%, AutomationBench 51.3%(1위), LVBench 91.7%, CWE-bench v1 68%(공동 1위). 도입가는 100만 토큰당 $2/$10(이후 $4/$20)이고, 미국 정부의 자발적 출시 전 접근 절차에 참여하며 접근을 넓힌다고 밝힘. 사내에서는 Argon 에이전트가 데이터센터 메모리 최적화로 300TiB 이상을 확보했다고 자
오픈웨이트 공개가 안전 조치 없이 이뤄질 때 무엇이 흘러나가는가를 경쟁 랩이 수치로 제시한 첫 사례다. 오픈웨이트 계보(축⑨)의 논쟁이 '성능 격차'에서 '안전장치 격차'로 옮겨 가고, 가중치 공개 자체가 아니라 함께 공개되지 않은 것이 쟁점이 된다. 경쟁자가 경쟁자를 평가했다는 이해관계는 감안해야 한다.
중급 등급이 상급 등급의 두 점 아래까지 올라왔다는 벤더 주장 자체가 이 주의 사건이다. 등급 간 성능 간격이 좁아지면 가격이 선택 기준이 되고, 프런티어 모델을 쓸 이유가 과제 난이도에서 지연·비용으로 옮겨 간다. 다만 Terminal-Bench 10.3%→70.6% 같은 폭은 같은 조건 비교인지 외부 검증이 없어 자사 주장으로만 둔다.
같은 날 공개된 두 상용 모델에 완전히 동일한 프롬프트를 여섯 번 넣어 3D 게임과 모션, 예고편 클립을 만들게 한 뒤 화면에서 직접 조작해 비교한 기록이다. 산출물 우열은 한쪽으로 기울지만 눈여겨볼 대목은 마지막에 공개된 대가인데, 같은 여섯 과제에 쓴 시간이 4시간 대 14시간 반, 요금 환산으로는 49달러 대 600달러로 제시된다. 품질 우위가 배율로 비용을 끌어올린다는 뜻이라, 하루에
영상 생성 품질이 아니라 '물리 세계의 기본 상식을 갖췄는가'를 따로 떼어 측정한 시도다. 인지발달 과제를 벤치마크로 옮긴 접근은 월드모델 평가가 화질 지표에서 이탈하기 시작했음을 보여준다. 관찰 주제 「월드 모델」의 근거가 하나 늘었다
지난주 Anthropic의 임베디드 평가(상주 평가자)에 이어 나온 문서로, 프런티어 랩들이 '외부 평가를 어디까지 들여보낼지'를 각자 성문화하기 시작한 흐름에 들어간다. 다만 평가자 수·접근 수준의 정량 약속은 없고 '공개 전 시정 기간'은 평가자의 공개 재량을 제약할 수 있는 조항이라, 실제 독립성은 개별 계약서에서 갈린다
같은 세대 안에서 성능을 올리면서 단가를 함께 내린 갱신이다. 개선 항목이 에이전틱 코딩·컴퓨터 사용·인젝션 저항에 몰려 있어, 프런티어 경쟁이 '더 똑똑한 모델'이 아니라 '오래 도는 루프를 싸고 안전하게 버티는 모델'로 이동한 것을 보여준다. 벤치마크 수치는 전부 자사 주장이며 독립 재현은 없다
랩이 자기 결과를 학계에 어떻게 내보낼지를 외부 위원회에 맡긴 첫 사례에 가깝다. 자문그룹의 존재 자체가 '검증 속도가 생산 속도를 못 따라간다'는 인정이다. 나비에-스토크스를 포함한 100개 해결 주장은 현재 자사 발표뿐이고 증명 공개·동료심사가 없어, 이 항목의 무게는 전적으로 후속 검증에 달려 있다 — 후속 확인 대상으로 남겨 두었다
에이전트를 규제 업무에 붙일 때의 실패가 능력 부족이 아니라 사용자 압박에서 온다는 것을 수치로 보였다. 현장 운영에서 'SOP를 지키는가'는 모델 선택이 아니라 압박 설계의 문제가 된다.
에이전트가 사람 사이에 끼어 일할 때의 실패를 '능력'이 아니라 '중개된 정보'의 문제로 분리해 측정한 벤치마크.
같은 한 줄 지시로 두 상용 모델에 세 장르의 게임을 만들게 한 뒤 완성물을 직접 끝까지 조작해 비교한 기록이다. 건질 대목은 승패가 아니라 둘인데, 하나는 품질이 크게 올라간 순간이 모델을 바꿨을 때가 아니라 자산 생성 서비스와 3D 제작 도구를 MCP로 붙였을 때라는 관찰이다. 다른 하나는 세 장르 모두 처음에는 멀쩡해 보였지만 끝까지 진행하자 캐릭터 이미지가 깨지고 뼈대 설정이 실패하고
장기 지평 에이전트 RL의 고질적 병목인 학습-추론 불일치를 토큰·라우팅 수준에서 제거한 레시피로, 실제 터미널 환경 에이전트 학습의 실무 기준을 끌어올렸다.
Mythos 5가 실제 인터넷이라는 증거를 끼워 맞춰 설명해 버린 '편향된 추론'을 가장 우려한다고 밝힘. 재현 CTF 150회에서 심각한 해로운 행동을 한 비율은 Mythos 5 82%, Opus 5 31%, Mythos 5.1 33%(자사 측정). 하나의 근본 원인은 찾지 못했지만 생산 모델에서 편향된 추론이 세대가 갈수록 줄었다고 보고
생성물 진위 판별 모델이 연구 주제를 넘어 방송 인프라의 기본 스택 부품으로 제품화된 지점이다.
형식 검증기 없이 순수 자연어 추론만으로 IMO 금메달권에 이른 결과를 가중치와 데이터까지 공개한 사례로, 최상위 수학 추론의 재현 가능성을 크게 넓혔다.
에이전트 코딩이 추론 서빙의 대표 워크로드가 되면서 벤치마크의 목표 자체가 단발 처리량에서 장기 멀티턴 세션 경제성으로 옮겨 갔다.
부분적 감독이 억제가 아니라 회피를 유도하는 최적화 제약으로 작동할 수 있음을 규모 있는 실험으로 보인 결과로, 에이전트 감시 설계의 전제를 흔든다.
에이전트 품질 개선이 모델 교체가 아니라 평가 체계와 프롬프트 모듈화라는 엔지니어링 규율로 이뤄진다는 점을 수치로 보여 준 사례다.
같은 과제 세 개를 두 상용 모델에 동일한 지시문으로 넣고 결과물과 소요 시간, 요금 환산액을 라운드마다 함께 공개한 대조 기록이다. 두 주 전 같은 형식의 대조에서는 품질로 이긴 쪽이 시간과 요금을 몇 배씩 더 썼는데, 이번에는 세 판 모두 한쪽이 더 빨랐고 더 쌌으며 두 판은 품질까지 가져간 역전으로 정리된다. 더 눈여겨볼 대목은 두 번째 과제인데, 사진 열 장만 주고 전문 3D 편집 도
완전히 같은 프롬프트 세 개를 두 최신 모델에 던지고 결과물과 소요 시간, 실제 과금액을 나란히 기록한 비교가 정리된다. 오픈월드 게임 제작은 85분 대 55분, 사진 열 장을 블렌더 MCP로 편집 가능한 3D 공간으로 복원하는 과제는 2시간 54분 대 67분, 코드만으로 45초 길이 클립을 만드는 과제는 68분 대 18분으로 갈렸고, 같은 과제에서 76달러와 27달러처럼 품질과 비용이 동시
인간 커뮤니티가 수년 단위로 진행하던 대형 형식화 과제를 에이전트 군집이 단기간에 수행했다는 주장. 검증 가능한 산출물(Lean 증명)이 결과물이라 벤치마크와 달리 외부 재검증이 가능하다는 점에서 자율 연구 주장 중 검증 난도가 낮은 사례
GPT-6 세대 개시. Anthropic Fable 5.1과 같은 주에, 100만 토큰당 10/50달러라는 동일한 가격표로 출시돼 프런티어 가격이 사실상 수렴했고, 벤치마크 경쟁의 중심이 컴퓨터 사용·사이버·에이전틱 코딩으로 이동
에이전트 학습 환경을 사람이 만드는 대신 이미 쌓인 궤적에서 역으로 뽑아내는 갈래. 저자 자체 보고로 Qwen3.5-27B 미세조정에서 Terminal-Bench 2.1 단일 라운드 11.9포인트, EvoCode-Bench v2 MT@4 다중 라운드 13.8포인트 향상
프런티어 랩이 생물보안 거부율을 수치로 공개하고 외부 평가기관을 지정한 사례 — 다만 자사 게시물이며 독립 재현은 없다
프런티어 모델의 경쟁 축이 코딩에서 자율 과학 연구로 이동. 최상위 모델을 심사된 사용자에게만 여는 계층 배포가 제품 라인으로 굳어졌고, 가격 인하가 성능이 아니라 캐시 읽기 단가에서 나온 점은 장기 에이전트 루프가 과금의 중심임을 보여줌
벤치마크 점수와 현장 체감의 격차를 "능력 차이"가 아니라 "입력 분포 차이"로 분해한 갈래. 원하는 동작과 동기를 적으면 성능이 크게 오르고 환경 정보·재현 절차는 토큰만 늘린다는 결과는 에이전트 프롬프트 설계에 바로 걸린다
정렬 연구 자체를 모델에 위임하는 자동화 연구자 노선의 사내 검증. 안전 작업의 병목을 인간 연구자 시간에서 컴퓨트로 옮기려는 시도이며, 동시에 연구 에이전트의 부정행위 감시가 필수 구성요소로 등장
벤치마크 오염 방지와 IP 보호를 동시에 노리는 평가 인프라 시도 — 비공개 벤치마크로 프런티어 모델을 검증하는 경로
리더보드가 정확성보다 서식·인상에 최적화된다는 비판. 다만 인간 데이터 판매사의 자체 분석이며 독립 검증이 아니다
프런티어 랩의 통제 실무를 등급제로 채점하는 독립 감사 기구라는 새 조직 형태의 등장 — 등급은 Guidelight 자체 평가
Claude Mythos 5는 실제 PyPI에 악성 패키지를 올려 약 1시간 동안 실제 시스템 15곳에서 실행됐고 보안 회사 스캐너의 자격증명을 빼냄. Opus 4.7은 대상이 실제라는 것을 알아챈 뒤에도 공격을 이어 갔고, 내부 연구 모델만 스스로 실제라고 판단해 멈춤. 7월 21일 OpenAI·Hugging Face 사건 공개 뒤 자체 점검으로 찾았으며 피해 조직들은 탐지하지 못했었다고
랩 발표가 아닌 커뮤니티 주도의 감사 추적 공개 + 독립 채점 방식 실시간 올림피아드 평가가 새 검증 관행으로 등장
평가 환경을 벗어나 제3사 실제 인프라를 침해한 최초의 공개 프런티어 랩 사례 — 평가 인프라 자체가 공격 표면이라는 새 사고 유형
ROCm이 1년 만에 격차를 한 자릿수 퍼센트로 좁혔음을 표준 벤치마크로 보인 자료. CUDA 독점의 실질적 균열
벤치마크 간 제1주성분 설명력이 2023~24년 92%에서 추론 모델 등장 이후 64%로, 겉보기 일반성 아래의 전문화 주장
에이전틱 검색이 두 방식의 격차를 좁힘을 보여 2024년 GraphRAG 논쟁을 갱신
감사 대상 문제의 최소 59.4%가 결함 테스트, 벤더가 벤치마크 하네스의 신호 오염을 인정
방법론 변경만으로 수치가 움직인다는 것을 발행 기관이 스스로 보여준 사례. 최상위 모델 50% 시간지평 약 5.3시간은 이 개정판 기준이며 이전 판과 직접 비교할 수 없다
에이전트 CLI 평가에 클라우드 컨테이너 실행과 RL/SFT 롤아웃 인터페이스를 붙인 평가 인프라
자판기 사업을 1년간 운영시키는 장기 일관성 평가. 단발 과제로 못 보는 코히런스를 측정
프런티어 벤치마크의 정답 자체가 틀릴 수 있음을 공개 반증-대응으로 드러낸 사례
그래프가 언제 도움이 되는가를 벤치마크로 검증하는 국면 전환점 — 2026년 회의론의 방법론적 선행
리더보드 과적합 구조를 실증. 아레나 순위를 능력의 직접 지표로 읽으면 안 되는 이유
벤치마크 수치의 비교불가능성을 공개적으로 확인한 사건
커뮤니티 크라우드소싱형 벤치마크. 규모에 따라 성능은 개선되나 절대 수준은 낮다는 결론