클라우드 샌드박스에서 실제 셸을 과제당 300턴 이상 조작하며 각 과제 자체의 검증기로 보상을 받는 122B…

클라우드 샌드박스에서 실제 셸을 과제당 300턴 이상 조작하며 각 과제 자체의 검증기로 보상을 받는 122B 총파라미터 MoE 모델 T1 을 강화학습으로 학습함. 통과한 검증기 개수를 절대값으로 채점하는 조밀한 프로세스 보상으로 액터-크리틱 학습을 웜스타트하고, 샘플링된 토큰 식별자 그대로 학습하며 턴 경계에서 드리프트를 보정하는 TITO 구성과 샘플러의 MoE 레이어별 전문가 선택을 기록해 재생하는 rollout routing replay(R3)로 최적화를 안정화함. 저자 주장으로 학습-추론 로그확률 차이를 0.021에서 0.013으로 줄이고 손실 영역 토큰 드리프트를 0으로 맞췄으며, Terminal-Bench 2.1 과 분리된 시드·합성 과제만으로 학습했음에도 Terminal-Bench 2.1 해결률이 기본 모델 43.8%에서 64.0%로 올랐고 Long-Horizon Terminal Bench 에서 27.9%로 GPT-5.4·GLM-5.1 을 앞섰다고 밝힘.