한국어EN
AI 인프라 소프트웨어PyTorch (Tristan Rice, Howard Huang 외)

torchft + TorchTitan으로 300 GPU에서 60초마다 장애 주입 시 학습 효율 81.2%,…

torchft + TorchTitan으로 300 GPU에서 60초마다 장애 주입 시 학습 효율 81.2%, 15초마다 장애(1,015건) 주입에서도 수렴. 체크포인트 재로딩 없이 피어 간 가중치 복구

왜 중요한가

체크포인트 기반 복구 패러다임을 대체하는 시도. 스텝을 분산 트랜잭션으로 취급

출처 — 1차 출처만 싣고, 직접 이동해 확인할 수 있어요 공식 발표pytorch.orghttps://pytorch.org/blog/fault-tolerant-llama-training-with-2000-synthetic-failures-every-15-seconds-and-no-checkpoints-on-crusoe-l40s/2026년 8월 24일에 더한 조각 · 그 주 보기