拼多多AI Infra面经
1.Transformer相比MLP的优点
2.介绍MHA、GQA和MLA
3.算法和Infra工作有什么不同,侧重点分别是什么
4.如何优化模型训练中的访存
5.有没有算子开发优化经验
6.介绍下针对k散度算子做了哪些优化
7.了解PagedAttention吗
8.Trition和CUDA区别
9.手撕代码
1)MHA
2)C++编程
2.介绍MHA、GQA和MLA
3.算法和Infra工作有什么不同,侧重点分别是什么
4.如何优化模型训练中的访存
5.有没有算子开发优化经验
6.介绍下针对k散度算子做了哪些优化
7.了解PagedAttention吗
8.Trition和CUDA区别
9.手撕代码
1)MHA
2)C++编程
全部评论
相关推荐
拉鲁拉丝:今天还是考研出分


点赞 评论 收藏
分享
点赞 评论 收藏
分享
查看28道真题和解析 点赞 评论 收藏
分享