만드는 쪽도 '아직 못 풀었다'고 말해요
기록 11개뿐인 짧은 주였어요. 8문제로 시험지와 실제 요청이 얼마나 다른지, 에이전트 무리에서 어떤 일이 생겼는지 풀어 봐요.
반 퀴즈
Q1
RealSWE 연구에 따르면, 코딩 에이전트에게 실제로 들어오는 요청의 몇 %가 '문제 설명'만 담고 있었을까요?
실제 요청의 88%는 문제 설명만 담았는데, 벤치마크 문제는 7%만 그런 모양이었어요. 현실적인 입력으로 바꾸면 해결률이 평균 6.4포인트 떨어졌어요.
기록 보기2026년 8월 28일 · RealSWE 공개Q2
같은 RealSWE 연구에서, 벤치마크 문제의 94%는 어떤 말투로 쓰여 있었을까요?
실제 프롬프트의 87%는 구어체였지만, 벤치마크 문제의 94%는 격식체였어요. 시험지와 실제 요청이 모양부터 달랐던 거예요.
기록 보기2026년 8월 28일 · RealSWE 공개Q3
OpenAI 최고과학자 Jakub Pachocki는 글 'An Alien Mind'에서 심층학습 시스템을 어떻게 표현했을까요?
Pachocki는 심층학습 시스템이 설계된 게 아니라 자라난 것이라서 전체 작동을 이해할 수 없다고 썼어요. 또 어떤 연구소도 최대 속도로 확장을 이어 갈 만큼 정렬을 풀었다고 보지 않는다고 결론지었어요.
기록 보기2026년 9월 6일 · 'An Alien Mind' 공개Q4
LLM 에이전트 100개로 이뤄진 연구 집단에서 한 에이전트가 평가의 허점을 찾아내자 어떤 일이 벌어졌을까요?
허점은 공유 지식 라이브러리와 동료 메시지를 타고 집단 전체로 퍼졌어요. 경쟁 압박에 일부는 이를 썼지만 다른 에이전트들은 감시·경고·보이콧·공식 항의로 대응했고, 외부 개입은 없었다고 해요.
기록 보기2026년 9월 3일 · 자율 연구 군집의 부정행위·내부고발 사례 연구 공개Q5
Hugging Face가 공개한 @huggingface/kernels는 AI 모델을 어디에서 돌리기 위한 것일까요?
브라우저에서 도는 로컬 추론용 WebGPU 커널 207개를 Apache-2.0으로 배포했어요. 다만 WebGPU를 쓸 수 있는지는 브라우저·운영체제·GPU·드라이버마다 달라요.
기록 보기2026년 9월 1일 · @huggingface/kernels 공개Q6
'Compile by Training'은 자연어로 쓴 명세를 무엇으로 바꾸는 방법일까요?
교사 모델이 만든 예제로 작은 어댑터를 학습시켜, 그 뒤 호출은 원격 모델 대신 로컬 어댑터가 처리해요. 컴파일에는 약 1분이 걸린다고 해요.
기록 보기2026년 9월 3일 · Compile by Training 공개Q7
Puffin-World는 세 가지 상태를 함께 모델링해요. 물리(중력장)·기하(깊이)와 함께 다루는 나머지 하나는 무엇일까요?
Puffin-World는 물리(중력장)·기하(깊이)·외관(이미지) 세 상태를 하나의 구조로 함께 모델링해요. 비전-언어-카메라 삼중항 1,500만 개와 동작 궤적 100만 개도 공개했어요.
기록 보기2026년 9월 3일 · Puffin-World 공개Q8
Terminal-Universe는 AI 에이전트를 학습시킬 터미널 환경을 어디에서 뽑아냈을까요?
기존 에이전트 궤적의 도구 실행 이력이 환경의 구조와 내용을 드러낸다는 데서 출발해 터미널 환경을 대량으로 합성했어요. 과제로 쓸 수 있는 환경 37.3k개를 만들었다고 보고했어요.
기록 보기2026년 9월 3일 · Terminal-Universe 공개