여덟 장을 두 장으로, 경량화가 원가를 가른다

가속기 확보 경쟁을 두고 많이 가진 쪽이 이긴다는 통념에, 전제는 동의하지만 이제는 그렇지 않다고 답하는 대담이다. 근거로 드는 사례가 선명한데, 2500억 변수급 국산 기반 모델을 고성능 가속기 여덟 장에서 두 장으로 줄여 성능을 유지한 채 서비스하게 만들어 원가와 대여비를 약 4분의 1로 낮췄다는 것이다. 여기에 에이전트가 쓰는 토큰이 반년 만에 14배 늘었다는 수치가 붙어, 운영비가 사람의 사용 빈도가 아니라 에이전트가 스스로 도는 루프 수에 비례한다는 함의가 나온다. 서버 구성 비율도 바뀌어 중앙처리장치와 가속기를 1대 8로 보던 것이 4대 8이나 6대 8까지 거론되며, 여러 에이전트를 배분하는 부하가 가속기 밖에 있다는 점이 지적된다. 다만 양자화나 증류 같은 기법 이름조차 나오지 않고 성능 유지의 정의와 손실 폭도 제시되지 않아, 추진 논거로는 쓸 수 있으나 기술 검토 자료로는 쓸 수 없다.

이 글은 제가 여러 자료를 읽고 제 말로 다시 정리한 노트예요. 출처 링크를 달지 않는 대신, 출처를 확인한 사건은 기록에 따로 있어요.