拼多多AI Infra面经

1.Transformer相比MLP的优点
2.介绍MHA、GQA和MLA
3.算法和Infra工作有什么不同,侧重点分别是什么
4.如何优化模型训练中的访存
5.有没有算子开发优化经验
6.介绍下针对k散度算子做了哪些优化
7.了解PagedAttention吗
8.Trition和CUDA区别
9.手撕代码
1)MHA
2)C++编程
全部评论

相关推荐

评论
点赞
1
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务