모델 아키텍처·학습 기법Shazeer 외 (Google Brain)
Sparsely-Gated Mixture-of-Experts Layer
Sparsely-Gated Mixture-of-Experts Layer
왜 중요한가
조건부 연산으로 총 파라미터가 활성 파라미터를 크게 넘는 구조를 최초 실증, 모든 MoE의 조상
출처 — 1차 출처만 싣고, 직접 이동해 확인할 수 있어요
논문arxiv.orghttps://arxiv.org/abs/1701.065382026년 8월 24일에 더한 조각 · 그 주 보기
같은 주에 나온 조각01.26Wasserstein GAN arXiv 공개논문