DeepSeek

에이전트 워크로드의 병목이 연산이 아니라 KV 캐시의 저장·대역폭으로 옮겨갔다는 진단을 모델 설계 전체로 밀어붙인 사례. 프리필과 디코드에 서로 다른 활성 파라미터를 쓰는 구성이 특히 새롭다.

V3.2 대비 토큰당 FLOPs 27%·KV 캐시 10%로 1M 컨텍스트를 상시 지원 대상으로 만듦

MIT를 유지한 채 프런티어 재진입

자사 주장 기준 V3.2-Speciale가 IMO·IOI 2025 등에서 금메달 수준 결과를 냈다고 밝힌 오픈웨이트 추론 모델

10배 미만 압축에서 OCR 정밀도 97%, 20배에서 약 60%. 이미지를 컨텍스트 압축 매체로 쓰는 발상 전환

세밀 희소 어텐션을 상용 API에 투입해 장문맥 비용을 인하

프런티어 LLM이 정식 동료심사를 거쳐 학술지에 실린 첫 사례. 기업 기술보고서 중심의 관행에 균열

DeepSeek가 에이전트 시대로 가는 첫걸음이라고 밝힌 릴리스로, API의 deepseek-chat·deepseek-reasoner가 한 모델의 비사고·사고 모드가 되면서 V3와 R1으로 나뉘어 있던 제공 방식이 합쳐짐

추론 단위경제학의 최초 1차 자료. 전량 유료 과금 가정의 상한값이며 실매출은 훨씬 낮다고 자체 단서

대규모 EP와 PD 분리, FP8의 실증을 5일간 순차 공개

희소성을 추론 단계가 아니라 사전학습 단계로 이동

추론 능력이 폐쇄형 랩의 비밀 레시피가 아님을 증명, 자기검증·재검토·전략 전환이 창발. RLVR과 소형 모델로의 능력 이전 레시피도 같은 보고서에서 공개됐다

추론 모델이 오픈웨이트로 즉시 재현되고 중국 랩 2곳이 같은 날 프런티어 추격을 선언

저정밀 사전학습을 프론티어 스케일에 안착

MIT 라이선스와 극단적 비용 효율로 중국 진영이 가장 개방적인 위치를 점유

프리픽스 캐시의 상품화, 서빙 내부 최적화가 API 가격표로 노출

자사 평가 기준 코드 과제에서 GPT-4 Turbo와 비슷한 성능을 냈다고 밝힌 오픈웨이트 코드 모델

KV를 저차원 latent로 압축하는 MQA·GQA와 다른 제3의 노선

가치함수 없는 그룹 상대 정책 최적화가 이후 추론 모델 RL의 사실상 표준이 됨

중간 체크포인트까지 공개한 DeepSeek의 범용 언어 모델로, 자사 평가 기준 67B Base가 추론·코딩·수학·중국어 이해에서 Llama 2 70B Base를 앞섰다고 밝힘