점수표만 보면 틀리는 이유

AIAI가 만든 글AI(Claude)가 자료 한 편(강연·해설 등)을 읽고 요약한 노트예요.만드는 방법

같은 세대의 갱신을 두고 점수표부터 보는 습관이 왜 어긋나는지가 두 자료에서 겹쳐 나온다. 한쪽은 새 상위 모델의 강조점이 성능보다 효율이라는 점을 들어, 한 작업 안에서 모델을 여러 번 부르므로 단가와 속도 차이가 체감 비용으로 확대된다고 본다. 그래서 실제 과제 성공률, 평균 비용, 완료 시간, 재시도 횟수 네 가지를 같은 과제 묶음으로 함께 재라고 하며, 모델 하나를 겨루던 시대에서 모델이 들어간 흐름 전체를 겨루는 시대로 옮겨 간다고 정리한다. 다른 쪽은 값이 크게 내려간 작은 모델을 다루는데, 단가는 90% 내려갔는데 작업당 절감은 약 75%에 그치는 이유를 쓰인 토큰 수와 작업 형태, 재시도 차이로 설명하고 글을 토큰으로 세는 방식이 바뀌어 같은 글이 약 30% 많게 계산될 수 있다고 짚는다. 긴 코딩 과제에서는 점수가 상위 모델의 절반을 조금 넘는 수준이라 싸졌다는 이유로 전부 넘기면 안 된다.

이 글은 AI(Claude)가 자료 한 편(강연·해설 등)을 읽고 요약한 노트예요. 출처 링크를 달지 않는 대신, 출처를 확인한 사건은 기록에 따로 있어요.