微信大模型训练研发工程师(工程 Infra工作) 秋招继续哈 欢迎投递~~~
微信大模型训练研发工程师(工程 Infra工作)
岗位职责:
1.参与开发优化大模型训练框架,支持大规模高效稳定训练;
2.参与大模型结构设计,并联合业务进行模型训练效率和效果验证。
base北京, 校招 or日常实习都可
备注训练框架jd。********** 或者发简历到lucasbai@tencent.com
岗位要求:
1.熟练使用PyTorch框架,可对DDP训练的代码进行性能分析和优化;
2.熟练使用主流大模型训练框架DeepSpeed、Megatron,掌握3D并行、ZeRO机制、Flash-Attn等的原理、使用场景、优劣势以及可优化方向;
3.熟练掌握CUDA性能优化手段,有算子编写优化项目经验者优先;
4.对大模型前沿技术比较敏锐者优先;5.有实际大模型的训练调参和效果评测项目经验的优先;6.良好的沟通能力、解决问题能力。
岗位职责:
1.参与开发优化大模型训练框架,支持大规模高效稳定训练;
2.参与大模型结构设计,并联合业务进行模型训练效率和效果验证。
base北京, 校招 or日常实习都可
备注训练框架jd。********** 或者发简历到lucasbai@tencent.com
岗位要求:
1.熟练使用PyTorch框架,可对DDP训练的代码进行性能分析和优化;
2.熟练使用主流大模型训练框架DeepSpeed、Megatron,掌握3D并行、ZeRO机制、Flash-Attn等的原理、使用场景、优劣势以及可优化方向;
3.熟练掌握CUDA性能优化手段,有算子编写优化项目经验者优先;
4.对大模型前沿技术比较敏锐者优先;5.有实际大模型的训练调参和效果评测项目经验的优先;6.良好的沟通能力、解决问题能力。
全部评论
相关推荐
点赞 评论 收藏
分享
查看20道真题和解析