【27届留用实习生】大模型基础架构-前沿探索中心

开展下一代大模型基础架构的前沿研究工作，专注于探索混合专家（MoE）、高效注意力机制（Efficient Attention）、扩散语言模型（Diffusion LLM）等核心架构创新。通过从根本上重塑模型的计算范式，旨在突破现有Transformer架构在性能、效率和可扩展性上的瓶颈，为通用人工智能的发展构建更强大的基石。 1. 开展大语言及多模态大模型的新一代骨干网络架构研究，包括但不限于混合专家、高效注意力机制（如线性/稀疏注意力）以及扩散语言模型等架构的探索与设计。 2. 负责新型模型架构及核心组件的代码实现、性能优化与验证，确保新架构在训练和推理中的高效性、稳定性与可扩展性。 3. 关注和学习NeurIPS、ICML、ICLR等最新前沿研究，参与学术讨论和撰写学术论文，在国际顶级期刊或会议上发表研究成果。"

1. 博士学历或研究成果突出的硕士，计算机科学、人工智能、软件工程或相关专业。 2. 熟练Python编程，具备从零复现和优化复杂模型架构的扎实工程能力，有高性能算子实现经验者优先。 3. 对Transformer架构有深刻理解，熟悉MoE、各类Attention变体等前沿技术；对OpenAI、Qwen、DeepSeek等主流大模型的架构有深入了解，有相关顶会论文或核心开源项目贡献者优先。 4. 具备优秀的科学批判思维和团队合作精神，拥有较强的自主学习和问题解决能力，能够独立设计并执行创新性的研究想法。"