【27届留用实习生】-垂域大模型训练-解决方案与产品中心

1. 参与垂直领域大模型的全流程训练工作，包括增量预训练（CPT）、监督微调（SFT）、强化学习对齐（RLHF/DPO/GRPO等） 2. 负责训练数据的处理与构建，包括预训练语料配比、指令数据合成、偏好数据生成等 3. 基于Ascend NPU/NV GPU平台，使用Megatron-LM、veRL、LLaMA-Factory等框架完成训练流程搭建与超参调优 4. 参与训练过程的监控与分析，包括loss曲线诊断、训练稳定性排查、实验对比分析等 5. 参与模型评测体系搭建，设计评测指标，驱动模型能力迭代优化 6. 跟踪大模型训练领域前沿进展，参与技术调研与方案复现

1. 计算机、人工智能、数学等相关专业硕士及以上学历 2. 熟悉Python、PyTorch，了解Transformer架构原理和主流开源LLM（Qwen、LLaMA、InternLM等） 3. 具备以下任一方向的经验或兴趣（可根据背景侧重）： - 预训练方向：了解分布式训练（DP/TP/PP）、熟悉Megatron-LM/DeepSpeed、有预训练或CPT经验 - 后训练方向：了解SFT/RLHF/DPO技术原理、熟悉强化学习基础（PPO等）、有微调或对齐经验 4. 具备良好的实验设计与问题分析能力，能够独立完成训练实验的设计、执行与复盘 5. 有大模型相关论文发表、开源项目贡献或竞赛获奖经历者优先 6. 实习时间要求：每周4天以上，持续6个月以上优先