百度，智源一面

继续来分享下之前的面经~Agent & 系统工程1. agent的部署流程2. agent和workflow的区别，为什么需要agent3. 觉得当前的agent达到预期了吗？对agent的预期是什么4. agent的改进方向是什么5. 你认为从大模型端要做什么来适配agent大模型基础 & 微调6. 大模型项目遇到了什么问题7. 大模型微调的机制8. lora的具体原理9. lora中特殊的超参数有哪些，分别有什么意义，会对模型有什么影响10. lora效果不好怎么办11. lora的缺点，改进方向12. 有没有从0训练大模型的经历上下文 & 记忆机制13. 怎么加强大模型记忆机制14. 上下文接口怎么修改15. 较长较多的上下文怎么解决多模态相关16. 多模态的用户信息怎么存储和使用17. 对多模态大模型有什么了解18. 多模态大模型的具体结构

被横向挂了，希望发出来对大家有帮助！1.介绍 Lora 的思想，为什么有效2.DPO 的数据集来源3.PPO 和 GRPO 的区别（损失函数的 clip 作用）4.什么是大模型的幻觉，大模型解决幻觉的方式有哪些5.为什么降低温度能缓解幻觉6.你项目中 system prompt 和 user prompt 的区别7.DeepSpeed zero-3 有什么改进8.verl 和 vllm 你是怎么配合的，每个在项目中的作用9.手撕：LCR 076 数组中的第 K 个最大元素

面试很难，还是要多多练习，感觉自己说不明白业务逻辑1.项目拷打2.实习经历介绍3.LoRa4.显卡资源如何，如何解决资源不足的问题5.效果如何测评6.有没有测常见的 benchmark7.详细介绍快手实习8.论文介绍9.DeepSpeed zero 策略10.除了 zero 外还有没有其他策略，也就是 offload 和 infinity11.batchnorm 和 layer norm 的区别，主要是 batchnorm 和 dropout12.model.train() 和 model.eval()的区别13.dropout 测试时如何使用的14.Coding1：买卖股票的最佳时机15.Coding2：字母异位词分组13.Coding3：盛最多水的容器

给我面没招了，感觉自己好菜、面试很难，还是要多多练习1.项目拷打2.你在去部署或者训练预训练或者后训练的模型时，有没有用过一些比较底层的一些训练的调试的工具，比如说千卡的话很容易就会出NCCL timeout，如果出现 NCCL timeout，一般怎么定位和解决？3.像那种rl里面的那个MOE之类的那种的优化有去做过吗4.看您的训练经验比较丰富，而且您上线运行的推理内容之前也进行过一些什么样的优化吗？5.有没有做过 kernel级别的优化？比如用 CUTE DSL或者手写 CUDA去做 fusion这类算子融合优化，介绍一下6像底层，如果你们在做.kernel fusion，倾向于用什么方式来做7.有没有哪次你做了 fusion 结果性能反而下降的？原因是什么8.平时写 CUDA的时候，有没有关注到底层实现细节？比如你刚提到 FA2，那再往下一层，像 Hopper架构里那个 warp specialization是什么，它底层大概是怎么实现的9.试过用 Agent去生成cuda内核么，怎么去做的10.如果我把 warp specialization 去掉，只保留 tile 和 shared memory 优化，大概会损失在哪？11.怎么么判断一个 MoE 模型是真的学到了分工，而不是只是把 dense模型拆开了12.在 RL + MoE 里，有没有遇到过 reward把 routing学坏的情况？就是模型为了拿 reward，全都走某几个 expert，这种情况你当时是怎么处理的