Megatron-lm 计算tp值
给定模型参数:
模型层数l
模型维度d_model
输入长度seq_len
注意力头head
怎么计算tp
模型层数l
模型维度d_model
输入长度seq_len
注意力头head
怎么计算tp
全部评论
感觉是和注意力头有关 求答案🤔
相关推荐
查看25道真题和解析 点赞 评论 收藏
分享
点赞 评论 收藏
分享
明天不下雨了:牛逼兄弟
点赞 评论 收藏
分享
03-07 01:24
郑州师范学院 运维工程师 点赞 评论 收藏
分享