모델 아키텍처·학습 기법Google (Fedus 외)
Switch Transformer
Switch Transformer — top-1 라우팅, 1.6T
왜 중요한가
MoE를 단순화하고 라우팅 불안정·로드밸런싱 손실의 표준 레퍼런스가 됨
출처 — 1차 출처만 싣고, 직접 이동해 확인할 수 있어요
논문arxiv.orghttps://arxiv.org/abs/2101.039612026년 8월 24일에 더한 조각 · 그 주 보기
Switch Transformer — top-1 라우팅, 1.6T
MoE를 단순화하고 라우팅 불안정·로드밸런싱 손실의 표준 레퍼런스가 됨