한국어EN
정리 노트평가·벤치마크

같은 과제 셋으로 붙인 모델 비교, 시간과 과금까지

완전히 같은 프롬프트 세 개를 두 최신 모델에 던지고 결과물과 소요 시간, 실제 과금액을 나란히 기록한 비교가 정리된다. 오픈월드 게임 제작은 85분 대 55분, 사진 열 장을 블렌더 MCP로 편집 가능한 3D 공간으로 복원하는 과제는 2시간 54분 대 67분, 코드만으로 45초 길이 클립을 만드는 과제는 68분 대 18분으로 갈렸고, 같은 과제에서 76달러와 27달러처럼 품질과 비용이 동시에 역전되는 구간이 실제로 확인된다. 가장 주목할 장면은 3D 툴을 다룰 줄 모르는 상태에서 요청만 넣었는데 모델이 MCP로 그 툴을 직접 조작해 작업을 끝냈다는 대목으로, 사내 GUI 툴을 물려 맡기는 구상의 실증 사례가 된다. 다만 세 과제 모두 창작물이고 판정 기준이 재미나 고급감 같은 주관적 감상이며 각 과제를 한 번씩만 돌렸으므로, 모델의 일반적 우열로 확대 해석하기는 어렵다.

기억할 것
  • 모델 선택은 벤치마크가 아니라 자기 과업 3~5개의 시간·비용·합격 여부 표로 결정한다
  • 같은 과제에서 76달러 대 27달러처럼 품질과 비용이 함께 역전되는 구간이 존재한다
  • MCP로 외부 3D 툴을 스스로 조작해 산출물을 낸 장면이 가장 이식성 높은 근거다
  • 각 과제 1회 실행, 주관적 판정이라 표본이 좁다
모델 비교블렌더 MCP과금 비교에이전트 툴 사용

이 글은 제가 여러 자료를 읽고 제 말로 다시 정리한 노트예요. 출처 링크를 달지 않는 대신, 사실 확인이 된 사건은 기록에 따로 있어요.