RuleMaker level
获赞
3
粉丝
0
关注
7
看过 TA
4
中国科学院大学
2022
C++
IP属地:上海
暂未填写个人简介
私信
关注
11-02 23:10
已编辑
中国科学院大学 C++
投递拼多多集团-PDD等公司10个岗位
0 点赞 评论 收藏
分享
11-02 23:10
已编辑
中国科学院大学 C++
社招校招HC充足,可使用百/千卡集群。内推链接:https://careers.pddglobalhr.com/campus/grad?t=2paN4PaHmd,内推码:2paN4PaHmd。岗位职责:1、负责实现和优化大模型分布式训练以及在线推理系统,提升训练效率和推理性能,包括不限于:架构设计、算子开发、数据处理加速、Checkpoint保存与加载、通信优化等;2、研究和优化大规模异构加速集群调度、存储、通信互联、监控、Profiling等组件,提升整体硬件利用效率;3、研究并实现各种模型并行策略(DP/TP/PP/EP/CP)、混合精度、Zero、FSDP、MOE、FP8等技术,加速模型训练,优化显存开销;4、设计和开发高效的离线、在线推理系统,优化TensorRT-LLM、ONNX-Runtime、vLLM等推理框架,加速整体推理性能;任职要求:1、本科及以上学历,具有扎实的计算机基础,熟悉操作系统和网络,熟悉C/C++和Python编程语言,对数据结构&算法设计有较深刻的理解;2、熟悉至少一种主流的深度学习框架,如Tensorflow或Pytorch;熟悉至少一种主流的模型推理框架,如TensorRT-LLM;3、熟悉CUDA编程,掌握TensorRT、Cutlass、cuDNN等加速库,有内核级优化经验者优先;4、具备大型分布式系统开发经验,熟悉MPI、NCCL、Megatron-LM、Deepspeed、FSDP等相关技术;5、责任心强,思路清晰,技术视野开阔,对业界新技术敏感,喜欢钻研,具有良好的学习能力并注重团队合作;
投递拼多多集团-PDD等公司10个岗位
0 点赞 评论 收藏
分享

创作者周榜

更多
关注他的用户也关注了:
牛客网
牛客网在线编程
牛客网题解
牛客企业服务