2023三一重能春招内推码

1. 项目拷打 问的非常细 , 聊了30min2. GRPO 里的 reward 一般怎么设计，怎么避免模型学歪GRPO 的 reward 设计关键不是“打分越多维越好”，而是要保证相对排序真的有意义。常见做法是把 reward 拆成几部分，比如正确性、格式遵循、长度惩罚、拒答合理性、安全性这些，再做加权组合。对于推理任务，最核心的一般还是结果正确性和过程可验证性；对于开放式生成，还得控制风格漂移和模板化输出。真正难的是 reward hacking。模型很容易学会一些表面上拿高分、实际上没解决问题的套路，比如故意写很长、固定套模板、强行迎合裁判模型。所以 reward 设计通常不能只靠单一 ...

想先找个小厂

简历求拷打，有没有大佬给点建议😭实习经历不太会写，大部分都是做业务功能的没有很强的技术点😟

1. 自我介绍2. 项目拷打，重点说训练目标、数据构造和效果闭环3. SFT 的损失函数怎么计算，如果样本长度差异很大要注意什么SFT 本质上还是标准的 next-token prediction，常见就是对目标输出 token 做交叉熵损失。对于指令微调来说，通常不会对整个输入输出序列都算 loss，而是只对 assistant 部分或者需要学习的 target 部分做 mask。这样模型重点学习回答分布，而不是把用户输入再复述一遍。样本长度差异很大时，最需要注意的是 loss 的归一化方式。如果直接对 batch 求和，长样本会天然占更大权重，训练会向长回答风格偏移。更稳的做法通常是按有效...