- 岗位职责
1. 支持大规模模型训练,挑战模型参数量上限,为训练百亿参数量的大模型添砖加瓦。用数据并行,模型并行算子拆分等方式高效训练模型
2. 对现有模型训练进行加速,通过优化通信,算子,训练pipeline等方式,提高训练效率
ps
实习薪资丰厚,有各种福利,可以转正,hc大量。
- 岗位要求
熟悉python, c/c++,代码能力强
有一定的深度学习基础
熟悉至少一种深度学习框架,例如pytorch,tensorflow,caffe
最好能有一些分布式模型训练的经验
竞赛获奖,发过paper的优先