학습 데이터·후속학습

자사 설명으로 고유 문자 2조 6,010억 토큰과 로마자 2,246억 토큰을 합쳐 34개 언어·문자 조합을 덮고, 품질 점수 75점 이상만 남겨 되살린 4,384억 토큰을 포함한다. 이 말뭉치 일부로 Nemotron 3.5 Super VL을 이어 학습하자 인도어 평가 다섯 개가 4.98~9.82%포인트 올랐으나 합성 말뭉치만의 효과는 아니라고 단서를 달았다

끝점만 보면 학습 초기와 후기의 선호 변화가 서로 지워져 교사가 일관되게 바뀐 부분을 가릴 수 있다는 지적에서 출발했다. 저자 측정으로 Qwen3-4B 교사와 Qwen3 계열 학생 셋을 수학·코드 두 영역에서 견준 여섯 설정 모두에서 비교 대상 중 영역 평균이 가장 높았다고 보고했다

자기회귀 밖의 생성 경로가 '병렬 생성이 빠르다'는 주장에서 '의존 구조를 어떻게 지키느냐'는 문제로 성숙한 지점이다. 이산·연속 확산 각자의 결함을 하나의 상태로 묶어 해결하려는 설계이고, 관찰 주제 '확산 언어모델'의 누적 근거가 또 하나 늘었다.

주권형 의료 전환을 주제로 한 기업 발표에서 주권이 데이터·모델·운영 세 층으로 쪼개지고, 주권의 본질이 지금 기반하고 있는 것을 언제든 바꿀 수 있는 선택의 자유로 정의된다. 발표의 절반은 후속학습 방법론에 들어가는데, 데이터를 쏟아붓자 점수가 오히려 내려갔다는 실패에서 출발해 오답을 세 병소로 나눠 진단한다. 아예 모르는 경우, 지식은 있으나 그것을 쓸 자리임을 모르는 경우, 틀린 것을

추론 과정(reasoning trace)을 숨기는 것이 영업비밀 보호 조치가 된 뒤 처음 공개된 대규모 추출 시도다. 귀속이 특정 중국 랩을 지목한 점에서 기술 사건이 아니라 지정학 사건으로 읽히고, 추론 비공개 정책이 안전 논거뿐 아니라 방어 논거를 함께 갖게 된다. 귀속은 OpenAI 측 주장이며 제3자 검증은 없다.

AI로 만든 예측 구조를 공용 DB에 통째로 얹어 다음 유행에 대비하는 공공재를 만든 사례다. 팬데믹 대응의 출발점이 '실험으로 구조를 푸는 것'에서 '이미 예측된 구조를 검색하는 것'으로 바뀐다. 예측 구조이며 실험 검증은 별개다

AI가 문헌을 요약하는 단계에서 '무엇을 볼지 스스로 정하고 이상 패턴을 먼저 알아채는' 단계로 넘어간 사례다. 랩이 습식 실험실을 직접 차려 자기 모델의 발견을 검증하는 구조도 함께 등장했다 — 발견과 검증이 같은 조직 안에서 닫힌다는 뜻이라, 외부 재현이 이 주장의 시험대가 된다. 아직 동료심사를 거치지 않은 프리프린트다

랩이 자기 결과를 학계에 어떻게 내보낼지를 외부 위원회에 맡긴 첫 사례에 가깝다. 자문그룹의 존재 자체가 '검증 속도가 생산 속도를 못 따라간다'는 인정이다. 나비에-스토크스를 포함한 100개 해결 주장은 현재 자사 발표뿐이고 증명 공개·동료심사가 없어, 이 항목의 무게는 전적으로 후속 검증에 달려 있다 — 후속 확인 대상으로 남겨 두었다

자기개선의 대상이 모델 가중치가 아니라 하네스 설정이라는 점이 핵심 — 같은 모델로 비용만 3분의 1 줄이는 여지가 아직 남아 있다는 실측이다.

자기개선을 벤치마크 점수가 아니라 연구자와의 지속적 협업에서 끌어내려는 설계. 같은 주 ModularRSI·SoL-Pi와 함께 '개선의 대상이 모델에서 작업환경으로 옮겨간' 흐름을 이룬다.

하네스 자기개선의 고질적 문제인 '벤치마크에만 맞춰지는 것'을 데이터 분리로 정면 공격. 하네스가 모델과 분리된 독립 최적화 대상이 되었음을 보여준다.

자율주행 개발 운영 체계를 공개한 자리에서 핵심으로 꼽히는 것은 데이터 플라이휠의 속도가 규모·품질·효율·운영의 합이 아니라 곱으로 결정되며 하나라도 0에 가까우면 전체가 멈춘다는 프레임이다. 수집 차량 40여 대가 주당 80시간씩 데이터를 모으지만 절반 가까이가 직진 정속 주행이라 학습 가치가 낮고, 그래서 모델이 어려워하는 샘플만 자동으로 선별하는 하드 마이닝이 필요하다는 진단이 이어진다

RSI를 구호가 아니라 단계로 쪼개 측정 대상으로 만들려는 시도. 이번 주 arXiv에 RSI·하네스 자기개선 논문이 동시에 몰린 흐름의 이론 축이다.

장기 지평 에이전트 RL의 고질적 병목인 학습-추론 불일치를 토큰·라우팅 수준에서 제거한 레시피로, 실제 터미널 환경 에이전트 학습의 실무 기준을 끌어올렸다.

토큰 단위 자기회귀라는 LLM의 기본 학습 목표를 개념 단위 잠재 예측으로 확장한 사례로, 아키텍처 층위의 사전학습 효율 개선 경로를 제시한다.

수천억 파라미터급 에이전틱 RL 인프라가 오픈소스로 나오면서 프런티어 post-training의 진입 장벽이 소수 대형 랩 밖으로 내려갔다.

서빙 중 발생하는 라우팅 로그를 다음 학습 데이터로 되먹이는 구조로, 배포와 학습의 경계가 사라지는 자기개선 루프의 초기 프로토타입이다.

위 Terminal-Universe와 같은 주에 나온 짝 논문으로, 환경을 만드는 문제(합성)와 환경을 키우는 문제(진화)를 나눠 다룬다. 저자 자체 보고로 Terminal-Bench 2.1에서 Qwen3.6-27B 14.4포인트, Qwen3.6-35B-A3B 18.0포인트 향상

정렬 연구 자체를 모델에 위임하는 자동화 연구자 노선의 사내 검증. 안전 작업의 병목을 인간 연구자 시간에서 컴퓨트로 옮기려는 시도이며, 동시에 연구 에이전트의 부정행위 감시가 필수 구성요소로 등장

자기개선 루프가 과거 성공을 무비판적으로 재사용해 성능을 깎는 문제를 정면으로 다룬 갈래. 저자 자체 보고로 4B 모델·금융 추론·text-to-SQL·함수 호출 세 영역에서 해로운 업데이트 승인이 줄고 동일 예산에서 최종 품질이 높았다

사용 실태 데이터를 벤더가 독점하는 구조에 외부 검증 통로를 낸 사례. 발표 자유 조항과 제3자 감사를 명시해 벤더 자체 보고와 구분하려는 설계

출력 침해 주장이 충분하다고 판단, DMCA 청구 존속

약 40만 권·권당 3,000달러, 적격 저자 91% 이상 청구

쟁점이 공정이용에서 증거 보전과 은닉으로 확장

AI 단독 생성물의 인간 저작자 요건이 확정

증류 분쟁이 의혹에서 정량적 고발로. 소송이 아니라 탐지 공개와 산업 공동 대응을 택한 것이 법적 수단의 한계를 반영

상업적 TDM 예외 적용을 명시하고 자연어 opt-out의 기계가독성 미충족을 인정. BGH 상고 허가로 미확정

분산학습이 가능하다를 넘어 동등 이상이라는 통제 비교를 처음 제시

데이터와 후속학습 파이프라인을 함께 공개

유럽에서 암기를 복제로 인정하고 TDM 예외 적용을 배제한 첫 사례

NYT·Authors Guild 등 7건이 하나의 MDL로

continual pretraining 대비 최대 100배 적은 토큰으로 동등 성능, 데이터 고갈에 대한 직접적 기술 답변

분산학습이 사전학습 데모를 넘어 실제 제품 모델의 후속학습 경로로 편입

병목이 정적 데이터셋에서 상호작용형 검증 환경으로 이동. 동시에 보상 해킹과 빠른 진부화라는 회의론도 제기

가중치만 여는 관행과 달리 후속학습 데이터까지 공개. 오픈 커뮤니티 재현성의 기준선

소송 리스크에 대한 데이터 측 대응, 공개 라이선스만으로 Llama 1·2 7B급 달성

인터넷을 통한 최대 규모 사전학습. 비신뢰 참가자 협업을 블록체인 조정으로 해결

확정 규칙 제시를 거부하고 시장 희석 이론을 도입. 2026-08 현재 정식판 미발간

ToS 기반 출력 소유권 주장이 처음 국가 정책 문제로 격상

추론 능력이 폐쇄형 랩의 비밀 레시피가 아님을 증명, 자기검증·재검토·전략 전환이 창발. RLVR과 소형 모델로의 능력 이전 레시피도 같은 보고서에서 공개됐다

예비 보고서 수준의 주장이 재현 가능한 논문·코드로 전환

선호 학습에서 검증 가능 보상으로의 전환점

데이터센터 인터커넥트 없이 인터넷 대역폭으로 학습한다는 노선의 출발점

2030년까지 유효 토큰 400조에서 2경, 전력이 먼저 구속하고 다음이 칩 생산능력이라는 순서 제시

모델 붕괴 담론의 정점

LLM 분류기로 교육적 가치를 점수화한 부분집합이 원본보다 나은 모델을 만들어 model-based filtering을 표준화

데이터 생성 파이프라인 자체가 제품이 됨

증류가 API 호출조차 필요 없는 수준으로 저렴해짐

데이터 고갈 담론의 정량적 기준점

direct alignment 계열의 마지막 단순화

오픈 웹 코퍼스의 규모 상한을 갱신

실데이터를 대체하면 붕괴하나 누적하면 오차 상한이 유한함을 증명, 모델 붕괴 담론을 재정의

정렬 파이프라인의 추가 단순화

RL 단순화 계열의 대표

가치함수 없는 그룹 상대 정책 최적화가 이후 추론 모델 RL의 사실상 표준이 됨

보편적으로 우월한 손실 함수는 없고 설정에 맞는 귀납 편향이 최선이라는 결론

데이터와 도구를 함께 공개해 데이터 과학을 재현 가능하게 만듦

바꿔쓰기·번역만으로 n-gram 디컨터미네이션이 무력화되고 HumanEval의 8~18%가 공개 코퍼스와 중복

벤치마크별 오염 측정을 커뮤니티 표준으로 삼자는 제안

1.3B를 7B 토큰으로 학습해 HumanEval 50.6%, 데이터 품질이 양보다 중요함을 실증

잘 정제한 웹 데이터만으로 큐레이션 코퍼스를 능가한다는 주장, MinHash 퍼지 중복제거가 표준 기법으로

LLaMA 학습 레시피의 공개 재현으로 폐쇄 모델 데이터의 역설계 시대를 염

모델이 자기 학습 데이터를 만드는 부트스트랩, 합성 데이터 산업의 출발점

대부분의 언어 모델과 달리 대화로 학습했고, 학습 후 미세조정으로 응답의 합리성(sensibleness)과 구체성(specificity)을 크게 높일 수 있었다고 밝힘

다양성 큐레이션 패러다임. 동시에 Books3 등 저작권 부담을 이후 모델에 전가

Common Crawl을 휴리스틱으로 정제한 최초의 대규모 표준 코퍼스