Megatron-lm 计算tp值
给定模型参数:
模型层数l
模型维度d_model
输入长度seq_len
注意力头head
怎么计算tp
模型层数l
模型维度d_model
输入长度seq_len
注意力头head
怎么计算tp
全部评论
感觉是和注意力头有关 求答案🤔
相关推荐
点赞 评论 收藏
分享
点赞 评论 收藏
分享
2025-12-26 10:52
河北传媒学院 Java 点赞 评论 收藏
分享
点赞 评论 收藏
分享
