微信大模型训练研发工程师(工程 Infra工作) 秋招继续哈 欢迎投递~~~

微信大模型训练研发工程师(工程 Infra工作)
岗位职责:
1.参与开发优化大模型训练框架,支持大规模高效稳定训练;
2.参与大模型结构设计,并联合业务进行模型训练效率和效果验证。

base北京, 校招 or日常实习都可
备注训练框架jd。********** 或者发简历到lucasbai@tencent.com
岗位要求:
1.熟练使用PyTorch框架,可对DDP训练的代码进行性能分析和优化;
2.熟练使用主流大模型训练框架DeepSpeed、Megatron,掌握3D并行、ZeRO机制、Flash-Attn等的原理、使用场景、优劣势以及可优化方向;
3.熟练掌握CUDA性能优化手段,有算子编写优化项目经验者优先;
4.对大模型前沿技术比较敏锐者优先;5.有实际大模型的训练调参和效果评测项目经验的优先;6.良好的沟通能力、解决问题能力。
全部评论
顶 速来
点赞 回复 分享
发布于 01-04 14:22 北京

相关推荐

04-02 10:09
门头沟学院 Java
用微笑面对困难:这里面问题还是很多的,我也不清楚为啥大家会感觉没啥问题。首先就是全栈开发实习9个月的内容都没有java实习生的内容多,1整个技术栈没看出太核心和难点的内容,感觉好像被拉过去打杂了,而且全栈基本上很容易被毙。里面能问的bug是在太多了比如L:继承 BaseMapper 可直接使用内置方法’。请问你的 BaseMapper 是如何扫描实体类注解如果瞬时产生 100 个上传任务,MySQL 的索引设计是否会有瓶颈?你做过分库分表或者索引优化吗?全栈的内容可以针对动态难点去搞,技能特长写在下面吧,你写了这么多技能,项目和实习体现了多少?你可以在项目里多做文章然后把这个放下去,从大致来看实习不算太水,有含金量你也要写上内容针对哨兵里面的节点变化能问出一万个问题,这个很容易就爆了。
提前批简历挂麻了怎么办
点赞 评论 收藏
分享
评论
点赞
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务