首页 > 试题广场 >

在张量并行推理中，Attention层的all-reduce

[单选题]
在张量并行推理中，Attention层的all-reduce通信发生在什么时候？ 
  • 每次forward pass的开始
  • 输出线性层（o_proj）计算完各GPU的部分结果后，进行all-reduce聚合
  • 计算softmax之前
  • KV Cache更新之后
查看正确选项
添加回答

这道题你会答吗？花几分钟告诉大家答案吧！

提交观点

问题信息

推理
难度：
0条回答 20浏览

热门推荐

相关试题

扫一扫，把题目装进口袋

求职之前，先上牛客

扫描二维码，进入QQ群

扫描二维码，关注牛客公众号