infra 大模型算法真题整理(攒人品版
Infra(多机多卡 / 效率 / GPU)
1.大模型训推如何加速
2.是否了解DeepSpeed
3.对多机多卡分布式训练的了解
4.怎么提高训练效率(时间、资源角度)
5.训练的时候发现训练速度很慢,该从哪些方面去考虑以提高速度
6.多机多卡训练的通信问题
7.梯度累加的原理是什么
8.是否有做过大模型在GPU上训练/推理的性能优化
9.了解哪些模型的量化方法和加速方法
10.训练时loss震荡可能是什么原因造成的
1.大模型训推如何加速
2.是否了解DeepSpeed
3.对多机多卡分布式训练的了解
4.怎么提高训练效率(时间、资源角度)
5.训练的时候发现训练速度很慢,该从哪些方面去考虑以提高速度
6.多机多卡训练的通信问题
7.梯度累加的原理是什么
8.是否有做过大模型在GPU上训练/推理的性能优化
9.了解哪些模型的量化方法和加速方法
10.训练时loss震荡可能是什么原因造成的
全部评论
相关推荐
02-05 22:47
华南师范大学 C++ 点赞 评论 收藏
分享