MiMo-大模型训练框架开发工程师

1.基于 PyTorch、DeepSpeed、Megatron-LM 等技术，参与大模型训练框架的设计、开发与优化，提升模型训练的效率、稳定性与扩展性，支撑大规模模型的高效训练和部署； 2.解决大模型训练中的关键技术难题，包括分布式训练通信、内存显存优化、数据加载与预处理加速等，保障训练高效稳定，降低资源消耗； 3.开展大模型框架性能评估和调优工作，构建并完善性能监控体系，通过实时监测训练指标，定位性能瓶颈，提出优化方案，确保在不同硬件上达到最优性能。

1.硕士及以上学历，计算机、软件工程、数学等相关专业，具备扎实计算机理论基础和丰富编程经验； 2.熟悉 C++ / Python，掌握至少一种深度学习框架（如 PyTorch），理解Transformer系统深度学习原理算法； 3.熟悉 GPU 和其他加速硬件的使用，有基本的性能调优经验，有FastTransformer、CUDA优化、TensorRT、Triton经验优先； 4.了解大模型训练框架（如 DeepSpeed、Megatron-LM），熟悉分布式训练原理和技术，能针对大模型训练性能瓶颈进行优化优先； 5.有良好团队协作与沟通能力，有强烈的上进心和自我驱动，学习适应能力强，乐观自信，能挑战自我不断追求卓越。