【27届留用实习生】大模型前沿架构研究实习生「破壁者」-安全可信AI中心

职位描述 1.开展针对大模型架构创新进行探索的研究，重点围绕当前长程任务与特定领域内大模型的输出可控性差，安全性低进行研究。优化当前模型的注意力与混合专家架构，并探索新架构发展方向。 2.开展基于新架构大模型的预训练，以及基于开源标准架构大模型的持续预训练，后训练工作，其中包括监督微调与强化学习得内容。 3.搭建评测平台并验证新架构模型能力。其中包括基于架构特性针对性开发模型部署与验证技术，进一步有效利用模型能力。 4.将研究成果转化为开源代码，编写技术报告，参与学术讨论和技术交流，鼓励在国际顶级期刊或会议上发表研究成果。

职位要求 1.计算机科学、数学、统计学或相关专业，数理基础扎实者优先。 2.熟悉大模型训练流程，具有模型训练经验，熟悉SFT、RL等方法与swift，verl，slime等模型训练框架。另外，了解FSDP，Megatron等技术背景者优先。 3.熟练使用Python，熟悉PyTorch等主流深度学习框架，具备扎实的代码能力。 4.能实习6个月及以上优先。 加分项 1.在顶级会议/期刊（NeurlPS，ICML，ICLR，ACL，EMNLP等）以一作或主要贡献者身份发表论文。 2.参与开发有影响力的开源项目优先。 具备模型基础架构（AI infra），具备模型算子优化（CUDA，triton）开发经验者优先。 3.熟悉swift，verl，slime等模型训练框架、了解FSDP，Megatron等技术背景者优先。