Megatron-lm 计算tp值

给定模型参数：
模型层数l
模型维度d_model
输入长度seq_len
注意力头head

怎么计算tp
全部评论
感觉是和注意力头有关 求答案🤔
点赞 回复 分享
发布于 2024-04-14 00:47 北京

相关推荐

10-19 13:31
百度_AIDU-JAVA工程师(准入职员工)
点赞 评论 收藏
分享
10-20 10:08
微软_sde(实习员工)
点赞 评论 收藏
分享
10-21 15:45
慧策（掌上先机）_后端开发工程师
点赞 评论 收藏
分享
10-16 15:48
算法工程师
点赞 评论 收藏
分享
不愿透露姓名的神秘牛友
10-21 22:05
点赞 评论 收藏
分享
评论
3
收藏
分享

全站热榜

更多

创作者周榜

更多
正在热议
更多
# 怎么给家人解释你的工作？ #
10082次浏览 74人参与
# 应届生被毁约被毁意向了怎么办 #
45427次浏览 278人参与
# 快手技术岗信息交流阵地 #
1908次浏览 23人参与
# 你的mentor是什么样的人？ #
14892次浏览 107人参与
# 牛客周边新品开箱 #
9932次浏览 89人参与
# 帮我看看，领导说这话什么意思？ #
19311次浏览 95人参与
# 求职中的尴尬瞬间 #
3143次浏览 39人参与
# 牛友的志愿填报指南 #
34375次浏览 185人参与
# 国企还是互联网，你怎么选？ #
169169次浏览 1262人参与
# 牛客树洞，我想对你说 #
7587次浏览 89人参与
# 今年形式下双非本找得到工作吗 #
236807次浏览 1433人参与
# 求职低谷期你是怎么度过的 #
11863次浏览 244人参与
# 26届秋招公司红黑榜 #
26915次浏览 110人参与
# 校招泡的最久的公司是哪家？ #
11831次浏览 79人参与
# 从哪些方向判断这个offer值不值得去？ #
15438次浏览 179人参与
# 机械人集合！你是什么工程师？ #
19455次浏览 91人参与
# 大疆工作体验 #
18292次浏览 85人参与
# 得物app工作体验 #
27669次浏览 64人参与
# 三一集团提前批进度交流 #
37972次浏览 225人参与
# 小红书求职进展汇总 #
126314次浏览 973人参与
# 一句话证明你还在找工作 #
5078次浏览 56人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务