기능을 더 붙이자 되레 나빠졌다

AIAI가 만든 글AI(Claude)가 자료 한 편(강연·해설 등)을 읽고 요약한 노트예요.만드는 방법

기능을 더할수록 좋아지는지 물으며 모델은 그대로 두고 맥락 관리·계획·도구 구성만 바꿔 176개 설정을 돌린 결과가 정리됐다. 맥락 관리는 창이 32K일 때 성공률을 평균 35.7퍼센트포인트 올렸지만 128K로 넓히자 차이가 2.7퍼센트포인트로 줄어, 똑똑하게 만든 것이 아니라 끝까지 일하게 해 준 장치였다고 읽힌다. 계획 기능은 약한 모델의 성공률을 13.6%에서 25.2%로 올렸지만 강한 모델에서는 성적이 거의 그대로이고 비용만 30~32% 줄었다. 전용 도구를 빼고 셸만 준 강한 모델은 성공률이 65.8%에서 69.4%로 오르고 비용은 절반 아래로 내려갔다. 다른 곳은 쌓아 둔 보조 장치를 전부 지웠다고 밝히며 실행되는 도구는 남기고 생각하는 법을 가르치는 문서는 지운다는 기준을 내놓았다.

이 글은 AI(Claude)가 자료 한 편(강연·해설 등)을 읽고 요약한 노트예요. 출처 링크를 달지 않는 대신, 출처를 확인한 사건은 기록에 따로 있어요.