拼多多AI Infra面经
1.Transformer相比MLP的优点
2.介绍MHA、GQA和MLA
3.算法和Infra工作有什么不同,侧重点分别是什么
4.如何优化模型训练中的访存
5.有没有算子开发优化经验
6.介绍下针对k散度算子做了哪些优化
7.了解PagedAttention吗
8.Trition和CUDA区别
9.手撕代码
1)MHA
2)C++编程
2.介绍MHA、GQA和MLA
3.算法和Infra工作有什么不同,侧重点分别是什么
4.如何优化模型训练中的访存
5.有没有算子开发优化经验
6.介绍下针对k散度算子做了哪些优化
7.了解PagedAttention吗
8.Trition和CUDA区别
9.手撕代码
1)MHA
2)C++编程
全部评论
相关推荐
牛客31544035...:
查看图片 点赞 评论 收藏
分享
查看6道真题和解析