모델 아키텍처·학습 기법

끝점만 보면 학습 초기와 후기의 선호 변화가 서로 지워져 교사가 일관되게 바뀐 부분을 가릴 수 있다는 지적에서 출발했다. 저자 측정으로 Qwen3-4B 교사와 Qwen3 계열 학생 셋을 수학·코드 두 영역에서 견준 여섯 설정 모두에서 비교 대상 중 영역 평균이 가장 높았다고 보고했다

자사 측정으로 209M 모델이 GIFT-Eval·TIME·fev-bench의 사전학습 제로샷 부문에서 1위이고, 28M 모델이 약 네 배 큰 Chronos-2를 앞섰다고 밝혔다. 8스레드 서버 CPU에서 5M은 약 10ms, 209M은 약 140ms가 걸린다. 기술 보고서는 예고만 했다

저자 측정으로 Qwen3.5-4B 위에 질문·답 1,230만 쌍을 학습해 견준 모델 여덟 개 중 전체 65.64%로 1위, 12개 평가 중 7개에서 1위였다. 가장 빠른 생성 방식보다 2.5배, 바탕이 된 모델보다 5.6배 빨랐다고 보고했다

자기회귀 밖의 생성 경로가 '병렬 생성이 빠르다'는 주장에서 '의존 구조를 어떻게 지키느냐'는 문제로 성숙한 지점이다. 이산·연속 확산 각자의 결함을 하나의 상태로 묶어 해결하려는 설계이고, 관찰 주제 '확산 언어모델'의 누적 근거가 또 하나 늘었다.

영상 생성 품질이 아니라 '물리 세계의 기본 상식을 갖췄는가'를 따로 떼어 측정한 시도다. 인지발달 과제를 벤치마크로 옮긴 접근은 월드모델 평가가 화질 지표에서 이탈하기 시작했음을 보여준다. 관찰 주제 「월드 모델」의 근거가 하나 늘었다

장기 과제에서 에이전트가 무너지는 원인을 '환경을 못 읽어서'가 아니라 '자기가 만든 낡은 상태 기술이 남아서'로 다시 놓았다. 하네스가 관리해야 할 대상이 도구 호출이 아니라 과제 상태의 수명이라는 뜻이며, 지난주 컴팩션 요약 인젝션 사례와 같은 문제 계열에 있다

에이전트 워크로드의 병목이 연산이 아니라 KV 캐시의 저장·대역폭으로 옮겨갔다는 진단을 모델 설계 전체로 밀어붙인 사례. 프리필과 디코드에 서로 다른 활성 파라미터를 쓰는 구성이 특히 새롭다.

JEPA 계열 예측 아키텍처가 영상에서 벗어나 분자·임상·기상까지 같은 틀로 넘어간 사례. 월드 모델이 '영상 생성'이 아니라 '도메인 무관 상태 예측'으로 정의되는 흐름.

확산 언어모델의 고질적 한계였던 '청크 경계에서 상태가 끊긴다'를 아키텍처로 푼 사례. 관찰 주제 「확산 언어모델」이 누적 10건을 넘긴 시점에 나온 실질 진전이다.

LLM의 인컨텍스트 학습 패러다임이 로봇 조작으로 이식된 사례로, 로봇 파운데이션 모델이 태스크별 파인튜닝 없는 일반화로 향하고 있음을 보여준다.

별도 비전 인코더와 VAE를 모두 없앤 완전 end-to-end 통합 구조가 실용 성능에 도달했음을 보여, 멀티모달 통합 모델의 표준 설계가 바뀔 가능성을 시사한다.

토큰 단위 자기회귀라는 LLM의 기본 학습 목표를 개념 단위 잠재 예측으로 확장한 사례로, 아키텍처 층위의 사전학습 효율 개선 경로를 제시한다.

생성형 렌더링과 상태 관리를 분리하는 설계로, 월드모델이 '그럴듯한 영상'을 넘어 규칙이 강제되는 플레이 가능한 시뮬레이터로 가는 길을 제시한다.

서빙 중 발생하는 라우팅 로그를 다음 학습 데이터로 되먹이는 구조로, 배포와 학습의 경계가 사라지는 자기개선 루프의 초기 프로토타입이다.

추론 최적화 경쟁이 스케줄러·배치에서 GPU 커널 재설계 층위로 내려갔음을 보여주는 사례다.

월드모델 기반 로봇 정책이 폐쇄형 시스템 경쟁에서 '어떤 설계 요소가 왜 작동하는가'를 검증하는 통제된 과학으로 넘어가는 전환점이다.

'순환 상태의 오차는 긴 문맥에서 누적된다'는 통념을 뒤집어 하이브리드 LLM의 순환 절반이 오히려 양자화하기 쉬운 쪽이라고 주장하고, NVFP4의 16원소 블록 스케일링이 잔차 스트림의 극단 이상치를 국소화하는 점과 델타 규칙 순환이 주입된 잡음을 32K 토큰에 걸쳐 평탄하게 유지하는 점 등 네 갈래 기계적 설명을 제시. 수치는 저자 자체 보고.

프롬프트를 매번 원격 모델에 보내는 대신 명세를 한 번 증류해 로컬 함수로 굳히는 갈래. 저자 자체 보고로 FuzzyBench-Hard 의미론적 정확도 83.6%. 다중 사이트 웹 도우미·언어 제어 3D 아바타·양방향 번역기를 사례로 제시

중요도 점수 기반 KV 축출 계보 전체에 대해 '점수 자체가 필요 없다'는 반증을 제기. 취약한 부분은 프롬프트뿐이며 추론 시퀀스는 텍스트 재진술과 여러 어텐션 헤드에 걸친 복제라는 이중 중복성으로 스스로를 지탱하므로 프롬프트만 지키면 무작위 선택으로 충분하다는 것이 저자들의 설명. 수치는 저자 자체 보고.

멀티모달 모델에 3D 세계 상태를 부가 조건이 아니라 네이티브 표현으로 넣은 갈래. 관찰 주제 「월드 모델」의 최근 사례이며 코드·모델·데이터셋을 함께 공개해 외부 재현이 가능하다

확산 언어모델 계열이 이미지 생성 쪽으로 넘어온 사례로, 관찰 주제 「확산 언어모델」의 누적을 늘린다. 저자 자체 보고로 Qwen-Image-Bench 영어 53.53 · 중국어 53.38로 오픈소스 중 양쪽 최고라고 주장

깊이 재사용(루프)이 예산을 엄격히 맞춘 뒤에도 이득이 남는지를 스케일링 법칙 수준에서 판정한 연구. 저자 자체 보고로 계산 최적 프런티어에서 학습 FLOPs 6.8~18.0% 절감, 이득은 코드에서 가장 크고 샘플 길이와 인컨텍스트 예시 수가 늘수록 커지며, 두 번째 방문이 어텐션 싱크를 줄이고 주의 질량을 내용 관련 토큰으로 재배분한다는 기계적 분석을 제시.

프런티어 오픈웨이트 모델의 아키텍처 선택 근거를 절제 실험 단위로 공개한 사례. 저자 자체 보고로 손실과 다운스트림 정확도가 늘 같이 움직이지는 않으며, 이 아키텍처와 Muon 옵티마이저의 조합이 최적 학습률과 배치 크기를 위로 밀어 배치 크기 워밍업을 불필요하게 만들고 스트레스 테스트에서 안정성을 크게 개선.

인간 뇌는 약 20와트로 작동하지만 AI 슈퍼컴퓨터는 2000만 와트를 쓴다는 대비에서 출발해, 그 격차의 근원을 1945년식 폰노이만 구조의 처리장치·메모리 분리로 짚는다. 딥러닝 워크로드 에너지의 80% 이상이 연산이 아니라 데이터 이동에 소모된다는 프레이밍이 핵심이다. 해법으로 제시되는 스파이킹 신경망, 멤리스터(1971년 Leon Chua 개념화), 실리콘 포토닉스, 이벤트 카메라는

이차 스케일링 해법으로 각광받던 선형 어텐션 개조 갈래에 대해 '후속학습이 필요 없는 슬라이딩 윈도로 충분하다'는 기준선을 세운 반증 논문 — 선형 어텐션 모델은 처음부터 학습하거나 광범위한 후속학습을 거쳐야 겨우 SWA를 따라잡을 것이라고 저자들이 결론. 수치는 저자 자체 보고.

DeltaNet·Mamba 계열의 상태 갱신 규칙을 '무엇을 언제 연관시키는가'라는 시간 정렬 문제로 재정식화해, 시간 정렬·가소성·망각·유계 리허설을 분리 가능한 설계 축으로 만든 프레임워크. 저자 자체 보고로 대표 변형이 언어모델링에서 경쟁력을 유지하고 가변 자릿수 덧셈에서 길이 외삽을 개선.

자기개선 루프가 과거 성공을 무비판적으로 재사용해 성능을 깎는 문제를 정면으로 다룬 갈래. 저자 자체 보고로 4B 모델·금융 추론·text-to-SQL·함수 호출 세 영역에서 해로운 업데이트 승인이 줄고 동일 예산에서 최종 품질이 높았다

검색 시점에 그래프를 조회하는 GraphRAG 계보와 달리 그래프를 모델 가중치로 미리 컴파일해 두는 파라메트릭 지식그래프 갈래를 열면서, 동시에 그 갈래의 병목이 저장이 아니라 어댑터 선택(라우팅)임을 못박았다 — 의미 유사도를 넘어서는 어댑터 선택 기제를 찾는 것이 남은 과제라고 저자들이 결론. 수치는 저자 자체 보고.

N과 D의 독립 가정을 깨 예측 오차를 1.5~3배 줄이고 약 10배 적은 컴퓨트로 외삽

원본 토큰 예산의 10% 미만으로 확산 모델을 얻는 경로를 제시, H100 1장에서 약 1,500 tok/s

LLM 랩이 산업 시뮬레이션 대체 영역으로 확장. 발표 시점에 명명된 출시 모델은 없음

V3.2 대비 토큰당 FLOPs 27%·KV 캐시 10%로 1M 컨텍스트를 상시 지원 대상으로 만듦

별도 모델 계열을 단일 가중치로 통합하는 흐름을 오픈웨이트에서 구현

옵티마이저를 연상 기억 모듈로 재기술하고 자기 갱신 알고리즘을 학습하는 시퀀스 모델 제안

롱컨텍스트 한계를 검색이 아니라 아키텍처로 우회하려는 노선

7월 릴리스의 후속 문서. 온디바이스 계열이 기술보고서 수준의 공개 문서를 갖춘 사례다

공정 비교에서 full attention을 처음 능가, KV 캐시 최대 75% 절감과 1M 컨텍스트 디코딩 최대 6배

추론/비추론 모델을 단일 가중치로 통합한 초기 사례. 이후 업계 표준이 되는 방향

Muon이 1T 스케일에서 검증됨

속도 최적화 프런티어 모델 대비 최대 10배 주장. 확산 LM의 첫 상용 궤도 진입

응답 전에 생각하지 않는 비추론 모델로, 자사 측정 GPQA 71.4%·SWE-bench Verified 38.0%는 o3-mini(high)의 79.7%·61.0%보다 낮았으나 MMMLU 85.1%(o3-mini 81.1%)·SWE-Lancer Diamond 32.6%(10.8%)에서는 앞섬

국내 랩의 효율화 전환점

희소성을 추론 단계가 아니라 사전학습 단계로 이동

자기회귀가 LLM 능력의 필요조건인지 자체를 재질문

저정밀 사전학습을 프론티어 스케일에 안착

엔트로피 기반 동적 패치로 고정 어휘 없이 바이트를 직접 처리, 토크나이저 제거 노선의 최초 대규모 스케일링

Newton-Schulz 직교화로 AdamW 대비 학습 속도 기록을 경신

두 법칙의 충돌이 비임베딩 파라미터 카운팅과 소규모 분석에서 비롯됨을 규명

KV를 저차원 latent로 압축하는 MQA·GQA와 다른 제3의 노선

사전학습 없이 기존 오픈웨이트를 조합해 비영어 능력을 얻는 경로 제시 — 컴퓨트 열위 국가의 전략 원형

추론 비용을 목적함수에 포함해 오늘날 overtraining 규범의 이론적 근거를 제공

자사 발표 기준 공개 시점 Hugging Face Open LLM 리더보드 1위에 오른 국내 스타트업 모델로, 1위 점수인 평균 74.2점은 지시 조정 모델(SOLAR-10.7B-Instruct)의 기록이며 베이스 모델은 66.04점

선형 시간 시퀀스 모델링으로 Transformer 이후를 진지한 선택지로 만듦

초기 토큰이 어텐션 배수구 역할을 한다는 발견, 2년 뒤 gpt-oss가 학습 가능 sink로 채택

Position Interpolation과 NTK-aware 보간을 통합한 컨텍스트 확장의 사실상 표준 레시피

RNN을 Transformer급으로 학습 가능하게 재구성, 선형 복잡도 부활의 신호탄

MHA와 MQA의 절충으로 기존 체크포인트 업트레이닝이 가능해 업계 표준 KV 절약 기법이 됨

창발이 불연속 메트릭의 산물이라는 반박, 연속 메트릭에서는 매끄러운 곡선

토크나이저와 모델 학습 코퍼스의 불일치가 실제 실패 모드임을 대중화

task vector의 덧셈·뺄셈으로 능력을 주입·제거해 머징을 연산 가능한 대상으로

규모 임계점에서 능력이 창발한다는 주장으로 스케일링 담론의 핵심 서사가 됨

확산 언어모델 계보의 출발점

Pathways 시스템을 대규모 학습에 처음 쓴 사례로, 영어 NLP 과제 29개 중 28개에서 GPT-3·Gopher·Chinchilla 등 기존 대형 모델의 퓨샷 성능을 넘었다고 보고

당시 대형 모델들이 undertrained였음을 폭로, 70B가 280B Gopher를 상회

파인튜닝된 여러 모델의 가중치 평균만으로 성능이 오름을 실증, 모델 머징의 출발점

소형 모델에서 튜닝한 하이퍼파라미터를 대형으로 zero-shot 전이해 한 번에 성공 관행을 가능케 함

위치 임베딩 없이 선형 편향만으로 외삽, RoPE와 양대 노선

회전 위치 임베딩이 이후 모든 컨텍스트 확장 기법의 토대가 됨

MoE를 단순화하고 라우팅 불안정·로드밸런싱 손실의 표준 레퍼런스가 됨

MoE를 600B 규모 시스템으로 끌어올리고 expert parallelism과 자동 샤딩을 확립

K/V head를 1개로 줄여 KV 캐시를 디코딩 병목으로 재정의

출력층 하나만 더해 미세조정하는 방식으로 11개 자연어 처리 과제에서 최고 성능을 기록했으며 GLUE 80.4%·SQuAD v1.1 F1 93.2(저자 보고)

비지도 생성 사전학습과 지도 미세조정을 결합해 연구한 12개 과제 중 9개에서 당시 최고 성능을 경신했다고 보고

조건부 연산으로 총 파라미터가 활성 파라미터를 크게 넘는 구조를 최초 실증, 모든 MoE의 조상