Tag: switchtransformer

Nathan Chen 的 4 周跳是由 Mixture-of-Experts 評分的嗎？第一部分：Switch Transformers：稀疏 MoE 模型

以 Nathan Chen 的四周跳評分為框架，這個演講詳細介紹了 Switch Transformer，Google 對 Mixture-of-Experts 擴展的簡潔而激進的簡化版本。