Megatron-lm 计算tp值

给定模型参数：
模型层数l
模型维度d_model
输入长度seq_len
注意力头head

怎么计算tp
全部评论
感觉是和注意力头有关 求答案🤔
点赞 回复 分享
发布于 2024-04-14 00:47 北京

相关推荐

07-29 12:03
门头沟学院 Java
点赞 评论 收藏
分享
07-30 09:04
杭州电子科技大学 大数据开发工程师
点赞 评论 收藏
分享
07-28 18:47
已编辑
复旦大学 算法工程师
点赞 评论 收藏
分享
07-04 17:11
黄河交通学院 嵌入式工程师
点赞 评论 收藏
分享
07-30 12:11
门头沟学院 硬件开发
被华子追着杀啊
华子别追了，我害怕了，每天手机提示音一响我就知道你又来了
徐凤年555：直接屏蔽了就行，真的太离谱了，感觉一万个hr
点赞 评论 收藏
分享
评论
3
收藏
分享

全站热榜

更多

创作者周榜

更多
正在热议
更多
# 你遇到最难的面试题目是_ #
14943次浏览 193人参与
# 反问环节如何提问 #
95481次浏览 1951人参与
# 中兴秋招 #
203548次浏览 2275人参与
# 简历上的经历如何包装 #
24085次浏览 724人参与
# 如何看待offer收割机的行为 #
815318次浏览 6087人参与
# 你最讨厌面试问你什么？ #
24865次浏览 282人参与
# 秋招最大的收获是什么？ #
38605次浏览 323人参与
# 我的实习收获 #
90861次浏览 1038人参与
# 26届的你，投了哪些公司？ #
36753次浏览 428人参与
# 滴滴求职进展汇总 #
233303次浏览 2116人参与
# 作业帮求职进展汇总 #
56995次浏览 376人参与
# 初创公司值得加入吗？ #
27293次浏览 194人参与
# 我对___祛魅了 #
43213次浏览 408人参与
# 数字马力求职进展汇总 #
184440次浏览 1500人参与
# 你跟室友的关系怎么样？ #
5984次浏览 94人参与
# 什么样的背景能拿SSP? #
31151次浏览 199人参与
# 工作中哪个瞬间让你想离职 #
60536次浏览 545人参与
# 和同事相处最忌讳的是__ #
21030次浏览 216人参与
# 去年你投递实习了吗？ #
22847次浏览 331人参与
# 如何快速融入团队？ #
14789次浏览 182人参与
# 机械人的金三校招总结 #
36190次浏览 461人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务