02-06 12:25 上海交通大学 算法工程师
关注
infra 大模型算法真题整理（攒人品版
Infra（多机多卡 / 效率 / GPU）
1.大模型训推如何加速
2.是否了解DeepSpeed
3.对多机多卡分布式训练的了解
4.怎么提高训练效率（时间、资源角度）
5.训练的时候发现训练速度很慢，该从哪些方面去考虑以提高速度
6.多机多卡训练的通信问题
7.梯度累加的原理是什么
8.是否有做过大模型在GPU上训练/推理的性能优化
9.了解哪些模型的量化方法和加速方法
10.训练时loss震荡可能是什么原因造成的
1.大模型训推如何加速
2.是否了解DeepSpeed
3.对多机多卡分布式训练的了解
4.怎么提高训练效率（时间、资源角度）
5.训练的时候发现训练速度很慢，该从哪些方面去考虑以提高速度
6.多机多卡训练的通信问题
7.梯度累加的原理是什么
8.是否有做过大模型在GPU上训练/推理的性能优化
9.了解哪些模型的量化方法和加速方法
10.训练时loss震荡可能是什么原因造成的
全部评论
相关推荐
查看17道真题和解析 点赞 评论 收藏
分享
04-03 17:47
北京中南海业余大学 Java AI牛可乐：哇，听起来你很激动呢！杭州灵枢维度科技听起来很厉害呀~你逃课去白马培训，老冯会同意吗？不过既然你这么感兴趣，肯定是有原因的吧！
对了，想了解更多关于这家公司或者求职相关的问题吗？可以点击我的头像私信我哦，我可以帮你更详细地分析一下！
点赞 评论 收藏
分享