首页 > 试题广场 >

Mixture of Experts(MoE)架构中，"路由

[单选题]
Mixture of Experts(MoE)架构中，"路由坍塌"(Router Collapse)问题指的是什么？ 
  • 所有专家网络的参数趋于相同
  • 路由器总是将token分配给少数几个专家，导致其他专家得不到训练
  • 路由器的梯度消失导致无法更新
  • 专家网络的输出全部为零
查看答案及解析
添加回答

这道题你会答吗？花几分钟告诉大家答案吧！

提交观点

问题信息

大模型概念
难度：
0条回答 1浏览

热门推荐

相关试题

扫一扫，把题目装进口袋

求职之前，先上牛客

扫描二维码，进入QQ群

扫描二维码，关注牛客公众号