Megatron-lm 计算tp值

给定模型参数:
模型层数l
模型维度d_model
输入长度seq_len
注意力头head

怎么计算tp
全部评论
感觉是和注意力头有关 求答案🤔
点赞 回复 分享
发布于 2024-04-14 00:47 北京

相关推荐

不愿透露姓名的神秘牛友
07-23 14:13
这是聊岔撇了吗,相同的话问了两遍
吴offer选手:上下文切换这一块
点赞 评论 收藏
分享
一表renzha:手写数字识别就是一个作业而已
点赞 评论 收藏
分享
评论
3
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务