추론 인프라·서빙
기록 66개 · 정리 노트 3개 · 관련 축으로 붙은 기록도 함께 보여요.
모델을 만드는 비용보다, 매일 돌리는 비용이 더 크다
학습은 한 번이지만 추론은 매 요청마다 일어납니다. 이 축은 그 비용과 속도를 줄이는 쪽의 기록이에요. 메모리를 아끼는 주의집중 구현, 요청을 묶어 처리하는 스케줄링, 정밀도를 낮추는 양자화, 큰 모델의 답을 작은 모델로 옮기는 증류 같은 것들입니다. 화제성은 낮지만 서비스의 가격과 응답 속도를 실제로 결정하는 자리라, 제품 발표보다 이쪽을 보면 다음에 무엇이 가능해질지가 먼저 보여요.
미국 신생 랩의 첫 모델이다. 자사 측정으로 SWEBench Verified 81.6%·GPQA Diamond 90.6%·AIME 2026 97.7%·Terminal Bench v2.1 80.1%(BF16 기준)를 제시했고, BF16·FP8·NVFP4 세 벌로 배포해 NVFP4 체크포인트는 약 280GB다
활성화 LoRA라 기본 모델이 만든 KV 캐시를 뒤따르는 판정에 다시 쓸 수 있고, 세 구성요소를 더해도 GPU 메모리가 기본 모델 하나와 비슷하다고 밝혔다. 수치 비교는 거의 내지 않고 맞춤 3B 모델이 초당 60~100건을 판정한 시연만 제시했다
속도가 별도 과금 등급으로 분리된 것이 핵심이다. 지연이 에이전트 루프의 병목이 되면 초당 토큰이 품질과 분리된 상품이 되고, 추론 인프라 투자는 최고 점수가 아니라 등급별 지연 보장으로 회수된다.
분리 서빙이 연구 주장에서 운영 안내로 내려왔다. 평균 처리량이 아니라 p99 지연을 기준으로 삼은 것이 핵심인데, 에이전트 루프는 꼬리 지연에 그대로 노출되기 때문이다. 같은 주 OpenAI가 속도를 별도 과금 등급으로 떼어 낸 것과 같은 압력의 오픈소스 쪽 대응이다.
같은 주에 Anthropic Sonnet 5.5와 나란히 나온 중급 등급 갱신이다. 두 랩이 동시에 '프런티어의 1/5 가격으로 거의 같은 일'을 내세웠다는 점에서, 2026년 하반기의 경쟁축이 최고 성능이 아니라 성능당 단가로 이동했음을 보여 준다.
한 프런티어 랩이 내놓은 새 상위 모델의 발표 지표를 항목별로 뜯어본 뒤 같은 프롬프트로 만든 산출물 네 건으로 검증한 정리다. 가장 중요한 변화로 꼽히는 것은 점수가 아니라 생각 강도 구간인데, 낮음부터 최대까지 결과와 비용이 넓게 퍼져 모델을 갈아 끼우는 대신 같은 모델 안에서 작업마다 필요한 만큼만 쓰는 설계가 가능해졌다는 해석이 제시된다. 가격은 100만 토큰당 입력 5달러에서 4달러
질문에 긴 문장으로 답하는 대신 정해진 선택지가 맞을 가능성만 숫자로 돌려주는 모델을 놓고 벌어진 찬반이 양쪽 주장과 함께 정리된다. 비판은 작은 분류 모델로도 같은 일이 되고 속도 비교 조건이 불공정했다는 것이고, 반박의 축은 하드웨어에 있다 — 토큰을 하나씩 만드는 순차 의존은 모델을 줄이거나 연산 장치를 더 붙여도 남으므로 처리량과 응답 지연은 다른 문제라는 설명이다. 그래서 비교 기준
장기 에이전트 루프의 과금이 캐시 설계에 달려 있다는 점을 API 표면으로 끌어올린 변화다. 도구 목록 변경과 추론 강도 조정을 캐시 무효화 사유에서 뺀 것은, 한 세션이 몇 시간씩 도구를 갈아 끼우며 도는 에이전트를 1급 사용 패턴으로 인정했다는 뜻이다
에이전트 워크로드의 병목이 연산이 아니라 KV 캐시의 저장·대역폭으로 옮겨갔다는 진단을 모델 설계 전체로 밀어붙인 사례. 프리필과 디코드에 서로 다른 활성 파라미터를 쓰는 구성이 특히 새롭다.
풀듀플렉스 음성이 OpenAI GPT-Live-1(09-10)·Google Gemini 3.8 Live(09-15)와 같은 주에 중국 랩에서도 나왔다 — 음성 인터페이스가 단일 랩의 차별점에서 공통 기본기로 내려앉는 구간.
AI 제품의 병목이 모델이 아니라 상태 저장 인프라로 옮겨 갔음을 1차 기록으로 남겼고, 코딩 에이전트가 자사 핵심 인프라 재작성에 실제로 투입된 사례다.
가속기 확보 경쟁을 두고 많이 가진 쪽이 이긴다는 통념에, 전제는 동의하지만 이제는 그렇지 않다고 답하는 대담이다. 근거로 드는 사례가 선명한데, 2500억 변수급 국산 기반 모델을 고성능 가속기 여덟 장에서 두 장으로 줄여 성능을 유지한 채 서비스하게 만들어 원가와 대여비를 약 4분의 1로 낮췄다는 것이다. 여기에 에이전트가 쓰는 토큰이 반년 만에 14배 늘었다는 수치가 붙어, 운영비가 사
NVLink Fusion이 경쟁 추론 실리콘까지 흡수하면서 NVIDIA 랙 아키텍처가 사실상 AI 데이터센터의 표준 인터커넥트로 굳는 흐름이다.
장기 멀티턴·에이전트 워크로드가 표준이 되면서 KV 캐시가 GPU 메모리를 넘어 스토리지 계층으로 확장되는 추론 아키텍처 전환이다.
주요 오픈 추론 엔진에서 AMD GPU가 NVIDIA 외 실질적 대안으로 최적화되는 과정을 구체적 수치로 남긴 기록이다.
에이전트 코딩이 추론 서빙의 대표 워크로드가 되면서 벤치마크의 목표 자체가 단발 처리량에서 장기 멀티턴 세션 경제성으로 옮겨 갔다.
추론 최적화 경쟁이 스케줄러·배치에서 GPU 커널 재설계 층위로 내려갔음을 보여주는 사례다.
100만 토큰급 컨텍스트를 단일 노드에서 감당하려는 시도로, 장문맥 에이전트의 메모리 병목 해법이 희소 어텐션과 계층 메모리의 결합으로 수렴하고 있다.
vLLM 코어를 건드리지 않는 플러그인 방식으로 비주류 가속기가 주류 추론 스택에 편입되는 경로를 보여, 하드웨어 다변화의 진입 장벽이 낮아지고 있다.
'순환 상태의 오차는 긴 문맥에서 누적된다'는 통념을 뒤집어 하이브리드 LLM의 순환 절반이 오히려 양자화하기 쉬운 쪽이라고 주장하고, NVFP4의 16원소 블록 스케일링이 잔차 스트림의 극단 이상치를 국소화하는 점과 델타 규칙 순환이 주입된 잡음을 32K 토큰에 걸쳐 평탄하게 유지하는 점 등 네 갈래 기계적 설명을 제시. 수치는 저자 자체 보고.
중요도 점수 기반 KV 축출 계보 전체에 대해 '점수 자체가 필요 없다'는 반증을 제기. 취약한 부분은 프롬프트뿐이며 추론 시퀀스는 텍스트 재진술과 여러 어텐션 헤드에 걸친 복제라는 이중 중복성으로 스스로를 지탱하므로 프롬프트만 지키면 무작위 선택으로 충분하다는 것이 저자들의 설명. 수치는 저자 자체 보고.
온디바이스 추론의 병목이 모델이 아니라 커널 구현이라는 지점을 오픈 라이선스로 공략한 사례. 자사 보고로 ORT WebGPU 대비 기하평균 2.57배·중앙값 1.90배 빠르고 Add 3.52배·Softmax 2.11배. 축 ⑲ 는 22개 축 중 사건 수가 가장 적다
별도 디바이스 풀과 KV 캐시 전송을 요구하는 P/D 분리(disaggregation) 대신, 가중치와 KV를 공유한 채 집합 통신 순서와 상태만 격리해 같은 디바이스에서 P/D를 겹치는 갈래. 서빙 인프라의 병목이 추론 서비스에서 RL 롤아웃으로 옮겨간 사례이기도 하다. 수치는 저자 자체 보고.
긴 영상을 통째로 넣는 대신 모델이 스스로 탐색하는 방식 — 멀티모달 입력이 에이전트 루프로 편입
프런티어 모델의 경쟁 축이 코딩에서 자율 과학 연구로 이동. 최상위 모델을 심사된 사용자에게만 여는 계층 배포가 제품 라인으로 굳어졌고, 가격 인하가 성능이 아니라 캐시 읽기 단가에서 나온 점은 장기 에이전트 루프가 과금의 중심임을 보여줌
이차 스케일링 해법으로 각광받던 선형 어텐션 개조 갈래에 대해 '후속학습이 필요 없는 슬라이딩 윈도로 충분하다'는 기준선을 세운 반증 논문 — 선형 어텐션 모델은 처음부터 학습하거나 광범위한 후속학습을 거쳐야 겨우 SWA를 따라잡을 것이라고 저자들이 결론. 수치는 저자 자체 보고.
멀티노드 모델 로딩·가중치 교체(RL 롤아웃)가 서빙 스택의 1급 문제로 승격
Vera CPU·Groq 3 LPX·BlueField-4·Spectrum-6 통합, 에이전트 워크로드를 명시적 타깃으로
온디바이스 런타임이 모바일 OS를 넘어 브라우저까지 같은 스택으로 덮는 단계. 수치는 벤더 자체 측정
README가 vLLM·SGLang·llama.cpp·MLX 이전을 권고, 서빙 엔진 시장이 2강과 로컬로 정리
자체 발표 기준 업계 최단 구축. 단 초기 계통 연결은 8MW에 불과해 임시 가스터빈에 의존했고 11월에야 150MW로 승압
긴 프롬프트가 decode를 멈춰세우는 문제를 해소, vLLM 대비 서빙 용량 2.6~5.6배
KV 캐시를 OS 페이징처럼 관리해 메모리 낭비를 4% 미만으로, 오픈소스 서빙 표준의 출발점
동일 기법의 독립 정식화, 2~2.5배 가속