中国移动研究院，AI并行训练面经
- LAMB优化器介绍
- 增大bs，学习率如何调整，模型很大，bs不变呢？
- 你知道的并行切分策略；
- ZeRO介绍；
- pp并行下每张卡的显存、计算量一样嘛，激活值呢？
- DCU和华为AI加速卡区别、生态、通信库；
- 千卡项目详细介绍一下；
- 异步保存方面详细介绍；
- DDP/DeepSpeed中的一些异步保存机制；
- T5 和 GPT-2的差异；
- transformer结构；
- 残差连接的作用；
- 3D并行相关；
- 意向地
2024-11-23 13:20 门头沟学院 机器学习 发布于陕西
关注
全部评论
runruntime
门头沟学院 C++
请问什么时候通知的二面呢
又在摸鱼的托尼很中意你
门头沟学院 后端
友友面的是西安吗
相关推荐
投递美团等公司10个岗位 08-08 11:56
苏州科技大学 产品经理 
网易雷火一面61人在聊 点赞 评论 收藏
分享
