한국어EN
정리 노트평가·벤치마크

끝까지 돌려 보니 드러난 생성물의 결함

같은 한 줄 지시로 두 상용 모델에 세 장르의 게임을 만들게 한 뒤 완성물을 직접 끝까지 조작해 비교한 기록이다. 건질 대목은 승패가 아니라 둘인데, 하나는 품질이 크게 올라간 순간이 모델을 바꿨을 때가 아니라 자산 생성 서비스와 3D 제작 도구를 MCP로 붙였을 때라는 관찰이다. 다른 하나는 세 장르 모두 처음에는 멀쩡해 보였지만 끝까지 진행하자 캐릭터 이미지가 깨지고 뼈대 설정이 실패하고 거의 잡은 최종 적의 체력이 되돌아가는 결함이 드러났다는 점이다. 자동 생성물은 동작 여부와 규칙 일관성이 별개라는 뜻이라, 통과 한 건이 아니라 전 구간 주행이 검증 기준이 돼야 한다는 함의가 남는다. 비용이 코드 토큰이 아니라 자산 생성 크레딧에 몰려 3D 과제 한 편에 약 100달러가 들었다는 수치도 제시되나, 판정이 전부 1인의 체감이고 라운드마다 조건이 달라 모델 선정 근거로는 쓸 수 없다.

기억할 것

  • 품질이 뛴 지점은 모델 교체가 아니라 외부 도구 연결
  • 끝까지 진행해야 드러나는 이미지 깨짐·뼈대 실패·체력 되돌림
  • 비용이 코드 토큰이 아니라 자산 생성 크레딧에 몰림
  • 판정이 1인 체감이고 라운드별 조건이 비대칭이라 재현 불가

이 글은 제가 여러 자료를 읽고 제 말로 다시 정리한 노트예요. 출처 링크를 달지 않는 대신, 출처를 확인한 사건은 기록에 따로 있어요.

같은 주의 노트

두 주 만에 뒤집힌 품질·시간·비용 세 축과금 호출 앞에 무과금 루프를 두는 제작 순서바뀐 단어는 공개가 아니라 판매와 데이터였다전문 도구에 에이전트를 붙이는 네 겹과 점검 3단여덟 장을 두 장으로, 경량화가 원가를 가른다