面试很难，还是要多多练习，感觉自己说不明白业务逻辑1、项目拷打2、self-attention 的时间复杂度是多少？3、为什么要使用 multi-head attention？4、PPO 的 clip 机制是什么？5、在线强化学习和离线强化学习有什么区别？6、RLHF 属于哪一种？7、为什么要引入 reference model？主要解决什么问题？8、如果系统中有多个 agent，需要让它们协同完成任务，你会怎么设计？9、如果一个 agent 的判断错误导致策略冲突，你会如何处理？10、有没有使用过类似 AutoGen 或 LangChain 的框架？11、为什么选择这个框架？12、你是如何设计 agent 的记忆系统的？13、长期记忆一般如何存储？14、如果历史记录非常多，如何优化查询效率？

攒人品中，祝大家都能拿到满意的Offer！1.项目拷打2. 把上一段实习经历展开讲一下，项目背景、遇到的问题、解决方法和效果提升3. 实习项目一开始效果不好，主要体现在哪些方面？4. 是否涉及工具调用，还是只是提示词构成的工作流？5. 模型怎么去调用工具的？6. 工具是谁做的怎么做的？7. 模型发送调用请求是通过什么形式，怎么提取信息？8. 项目中RAG的主要目的是什么？9. RAG知识库内容为什么不通过SFT直接注入模型？10. 数据来源如何清洗格式如何？11. 意图识别的各意图能举几个例子吗？12. 长时记忆和短时记忆的实现逻辑，以及这么做的原因是什么？13. 项目中遇到的比较难的问题和解决思路是什么？14. LoRA的原理和计算过程15. LoRA具体怎么节省显存、减少参数量？16. 为什么用RMS Norm而不用Layer Norm？17. GRPO的原理18. PPO最少需要几个模型？19. GRPO最少需要几个模型，是哪两个？20. 手撕 编辑距离

攒人品中，祝大家都能拿到满意的Offer！1.实习拷打2.项目拷打3. Lora 一般用在什么场景？ 你对 Lora 初始化有做过不同尝试吗？有没有试过局部模型 lora，局部 full 全参。4. 你的 Agentic 训练平均输出 token 是多少？ 有对单条 assistant 做压缩吗？5. 原生多模态是指什么？ 听了你的 Paper 场景描述既然 MLLM 在 edited image 上表现不好，为什么不考虑预训练做你的场景？ 可以讲一下你对原生多模态的理解吗？你觉得预训练引入 image token 会不会对整体训练造成损失？6. 我要手写一个输出端生成理解统一的模型，你会怎么设计（我没做过，但我说我会引入额外的结束 token，他说用原来的结束 token 就行）7. 你的paper 用了 gspo，这个和 grpo 有什么区别？ 了解其他比如 DSPO 吗？8. 数据蒸馏特点是什么？和模型蒸馏区别是什么？ 你为什么 paper 不采用模型蒸馏？ （冷启动就是数据蒸馏）9. MOE 特点是什么？ 你训练 MOE 和普通 SFT 有什么区别吗？ 额外加哪些并行训练？手撕：1. DPO Loss2. MQA，写完后让我自己根据代码写一下 GQA 的分组

继续来分享下之前的面经~欢迎友好讨论，信息共享1.简单问了一下项目2.实习拷打3.就详细讨论了一下lora原理4.知不知道attention，让写一个多头注意力机制代码，可以用ai写5.然后让介绍一下多头部分是怎么实现的6.最后又问了一下稀疏注意力机制相关

牛客这个AI coding挺有意思的，顺风月3月马上就要来了，希望3月春招能顺利一些！