한국어EN
AI 인프라 소프트웨어Yanli Zhao 외 (Meta)

PyTorch FSDP 논문 발표

PyTorch FSDP 논문 발표 — ZeRO 계열 샤딩을 PyTorch 코어에 내재화

왜 중요한가

DeepSpeed 없이도 표준 프레임워크로 대형 학습이 가능해진 분기점

출처 — 1차 출처만 싣고, 직접 이동해 확인할 수 있어요 논문arxiv.orghttps://arxiv.org/abs/2304.112772026년 8월 24일에 더한 조각 · 그 주 보기
같은 주에 나온 조각04.215,000만 달러 시리즈 B 발표보도04.17LLaVA논문04.17RedPajama-Data-1T공식 발표
같은 축의 가까운 조각03.15PyTorch 2.0 릴리스(torch.compile 베타)공식 발표06.16ZeRO++ 발표논문07.17FlashAttention-2 발표논문09.07Mojo 로컬 다운로드 공개공식 발표
5,000만 달러 시리즈 B 발표시리즈B 1억 달러, 기업가치 7억 5천만 달러