百度-文心一言大模型算法实习面经一二面

攒人品中，祝大家都能拿到满意的Offer！1.介绍DPO和PPO2.DPO损失函数怎么算的3.梯度检查点如何提升效率4.详细讲一下deepseed5.以7B的模型为例，计算训练需要多少显存说明都有哪些部分，每部分怎么算的，以及用deepseed每一个阶段节省多少内存，怎么节省的，计算过程中都有乘以2字节是为什么，什么原理6.做Rag 时候的分块策略7.BM25原理，RRF的原理8.Kl散度的输入是什么，怎么来的手撕：用torch实现kl散度

继续来分享下之前的面经~强度好大，俺不中咧。。。。1.实习中多智能体系统包含几个智能体？它们之间如何交互？2.意图识别模型需要识别多少个意图？3.750B 模型用于什么场景？4.实习中 Qwen3VL 模型是多少 B 的？用于什么场景？5.在实习中，你主要的贡献是什么？6.检索环节做了哪些优化？7.答案生成环节做了哪些优化？8.是否做了 SFT 或强化学习相关工作？在哪个环节做的？9.SFT 过程中是否对类别标签做了清洗或修正？10.强化学习的样本量是多少？11.基础模型经常分类分不准的案例有哪些？12.在校项目中，为什么用对话数据来增强数据集？13.在校项目任务的输出可以简单描述并举例吗？14.单智能体能否完成在校项目相关工作？为什么要使用多智能体？15.LangGraph 相对其他开源智能体编排工具的优点是什么？16.在现有场景中是否需要用到 LangGraph 的状态管理功能？17.如何理解 Long-term Memory 的实现方式？18.若将电商场景中用户的购买、点击、兴趣等信息设计为长期记忆，有什么想法？19.Context Window 能否储存大量电商交互信息？如何解决存储问题？20.推理时若将大量 Memory 以 Token 形式给到大模型，Token 长度过长该如何处理？21.强化学习有哪些常用技巧？22.若通过 SFT 进一步提升模型准确率，常用的手段有哪些？23.SFT 的理想数据量是多少？如何确定？24.SFT 数据分布一般怎么取？为什么选择该分布而非其他分布？

继续来分享下之前的面经~欢迎友好讨论，信息共享1讨论项目2什么是GAE3解释deepseek的MLA，分析可能有什么缺点4介绍deepseekV3.2的闪电索引器和可能的缺点5介绍MHC残差连接6什么是多头注意力7口述两个算法题，说出求根号的多重方法（牛顿，梯度下降，二分），二分法求到小数点后k位精度算法复杂度8一个哈希表题目，不是力扣

被横向挂了，希望发出来对大家有帮助！1. 讲一下主要的多模态模型的模型结构2. 对多模态的数据有什么了解，我回答之前看了一些多模态cot的工作构造的dpo数据，以及毕设做的多模态数据增强3. 之前的工作的多模态数据有什么特点和创新点，觉得还可以有什么改进4.统一生成理解模型下游微调各个任务的数据是怎么构造的5. dpo算法是怎么实现的，和其他强化学习有什么区别6. 看项目有目标检测任务，问了IoU是怎么算的，目标检测一般有哪些损失优化code：1. 实现dpo损失，按照想法能写多少是多少，不要求跑通2. 手写IoU损失，要求跑通