정리 노트추론 인프라·서빙
모델을 갈아 끼우는 대신 생각 강도를 조절한다
한 프런티어 랩이 내놓은 새 상위 모델의 발표 지표를 항목별로 뜯어본 뒤 같은 프롬프트로 만든 산출물 네 건으로 검증한 정리다. 가장 중요한 변화로 꼽히는 것은 점수가 아니라 생각 강도 구간인데, 낮음부터 최대까지 결과와 비용이 넓게 퍼져 모델을 갈아 끼우는 대신 같은 모델 안에서 작업마다 필요한 만큼만 쓰는 설계가 가능해졌다는 해석이 제시된다. 가격은 100만 토큰당 입력 5달러에서 4달러, 출력 25달러에서 20달러로 내려가고 캐시 재사용은 일반 입력의 절반에도 못 미치며, 새로 붙은 빠른 응답 모드는 속도 2.5배에 요금 2배라는 교환 조건으로 정리된다. 매 호출에 함께 들어가는 긴 문서를 캐시에 올려 두는 일이 단순 절감이 아니라 구조 설계의 문제가 된다는 함의가 여기서 나온다. 다만 한국어 장문은 어색한 문장이 섞여 검수 없이 맡길 수준이 아니라고 스스로 못 박는다.
기억할 것
- 생각 강도 구간이 넓어진 것을 점수보다 큰 변화로 지목
- 입력 4달러·출력 20달러로 인하, 캐시 재사용은 절반 이하
- 빠른 응답 모드는 속도 2.5배에 요금 2배라는 교환 조건
- 한국어 장문 생성은 검수 공정을 전제해야 한다고 자인
이 글은 제가 여러 자료를 읽고 제 말로 다시 정리한 노트예요. 출처 링크를 달지 않는 대신, 사실 확인이 된 사건은 기록에 따로 있어요.