infra 大模型算法真题整理(攒人品版

Infra(多机多卡 / 效率 / GPU)
1.大模型训推如何加速
2.是否了解DeepSpeed
3.对多机多卡分布式训练的了解
4.怎么提高训练效率(时间、资源角度)
5.训练的时候发现训练速度很慢,该从哪些方面去考虑以提高速度
6.多机多卡训练的通信问题
7.梯度累加的原理是什么
8.是否有做过大模型在GPU上训练/推理的性能优化
9.了解哪些模型的量化方法和加速方法
10.训练时loss震荡可能是什么原因造成的
全部评论

相关推荐

评论
点赞
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务