快手AI Infra校招面经 感觉好难
给我面没招了,感觉自己好菜、面试很难,还是要多多练习
1.H100相比A100有哪些改进
2.介绍下wrap这个概念
3.DP、TP-SP的计算通信重叠原理,具体是什么通信和什么计算重叠
4.flash-attention知识点深挖
5.使用流水线并行和不使用PP并行,显存峰值一样吗
6.CUDA_DEVICE_MAX_CONNECTIONS具体含义是什么
7.launch bound是什么含义H2D和D2H可以重叠吗
手撕代码:
1)LRU
2)online-softmax和flash-attn伪代码
1.H100相比A100有哪些改进
2.介绍下wrap这个概念
3.DP、TP-SP的计算通信重叠原理,具体是什么通信和什么计算重叠
4.flash-attention知识点深挖
5.使用流水线并行和不使用PP并行,显存峰值一样吗
6.CUDA_DEVICE_MAX_CONNECTIONS具体含义是什么
7.launch bound是什么含义H2D和D2H可以重叠吗
手撕代码:
1)LRU
2)online-softmax和flash-attn伪代码
全部评论
相关推荐
昨天 21:11
辽宁科技大学 后端工程师 点赞 评论 收藏
分享