首页 > 试题广场 >

Switch Transformer相比传统MoE的关键改进

[单选题]
Switch Transformer相比传统MoE的关键改进是什么？ 
  • 使用Top-2路由替代Top-1路由
  • 每个token只路由到1个专家(Top-1)，并引入辅助负载均衡损失
  • 移除了路由器，改为随机分配
  • 让每个专家处理所有token的不同子维度
查看答案及解析
添加回答

这道题你会答吗？花几分钟告诉大家答案吧！

提交观点

问题信息

大模型概念
难度：
0条回答 1浏览

热门推荐

相关试题

扫一扫，把题目装进口袋

求职之前，先上牛客

扫描二维码，进入QQ群

扫描二维码，关注牛客公众号