两三句介绍下agent以及当前的挑战transformer架构 有哪些机制解释下交叉注意力机制介绍下ppo dpo grpo算法grpo的loss怎么计算的 数据用的什么deepresearch和强化学习怎么结合应用解释下topk topp的实现原理手撕：非hot100投递的时候一定要看岗位偏应用落地还是偏算法。楼主算法功底比较薄弱，没有真实业务场景下的模型训练微调经验，在面试偏算法岗的时候，算法原理和训练过程被追着问

1. GRPO 算是 on-policy 还是 off-policy？为啥？2. GRPO 用的数据不是最新的，为什么还算 on-policy？它的 buffer 是怎么回事？3. 重要性采样是干嘛的？公式长啥样？能解释一下吗？4. GSPO 和 DAPO 各自解决了什么问题？用了什么方法？5. 强化学习里的熵崩溃是啥意思？怎么解决？有必要解决吗？6. 熵崩溃是咋引起的？7. 熵崩溃和 reward hacking 有关系吗？8. 看过 DeepSeek 的技术报告吗？它在推理速度上做了哪些优化？或者说，模型层面有哪些加速推理的技巧？9. MLA 是怎么回事？能加速推理吗？10. Qwen3 ...

是拼命考公考回家一个月几千块钱一眼望到头好，还是去大城市打拼好呢？想听听大家的意见和经历

简历项目问答PPT解析优化还有什么优化agent调用工具不正确怎么办采用sft或者强化学习怎么来解决ppo算法为什么有reward model 又有critic modelfunction call能力提升采用grpo的话奖励函数怎么设计？除了结果奖励和可以怎么设计过程奖励