평가·벤치마크Gyuhyeong Kim 외
RealSWE 공개
RealSWE 공개 — 코딩 에이전트 벤치마크가 실제 사용자 요청과 형태부터 다르다는 것을 수치로 제시. 실제 요청의 88%는 문제 설명만 담는데 벤치마크 문제는 7%만 그 형태이고, 실제 프롬프트의 87%가 구어체인 반면 벤치마크 문제의 94%는 격식체라고 보고. 현실적 입력으로 바꾸면 해결률이 평균 6.4포인트 떨어진다고 측정
왜 중요한가
벤치마크 점수와 현장 체감의 격차를 "능력 차이"가 아니라 "입력 분포 차이"로 분해한 갈래. 원하는 동작과 동기를 적으면 성능이 크게 오르고 환경 정보·재현 절차는 토큰만 늘린다는 결과는 에이전트 프롬프트 설계에 바로 걸린다
출처 — 1차 출처를 우선 확인하고, 2차 보도는 「보도」로 따로 표시해요
논문arxiv.orghttps://arxiv.org/abs/2608.278312026년 37주차에 더한 기록이에요 · 그 주 보기