百度大模型算法三面面经

发一下问题给大家参考，攒攒人品！1.了解deepseek-R1吗，介绍一下2.大模型灾难性遗忘是什么?怎么解决的?3.项目中怎么做的多任务学习，有用到经验回放吗4.deepspeed三个阶段5.计算attention时候为什么要除以根号dk，还有哪些scale处理?6.什么是旋转位置编码，解决了什么问题，为什么7.训练一个7b模型要占用多少显存，不同zero阶段能节省多少显存8.讲lora微调，如果是全量参数sft需要多长时间?9.讲DPO、PPO、RLHF

给我面没招了，感觉自己好菜，发点面经攒攒人品1、 PPO 与 GRPO 的区别，分别介绍他们的优势与缺点2、 DPO 对齐训练的曲线是怎么样的，正例的概率会提升嘛3、 Deepseek -R1里面不仅推理能力很好，而且文采能力也很好，这个是个开放问题，如何让模型的文采能力也很好呢4、 DPO 如何解决回答过长的问题，除了正则5、开放问题：为什么现在大家都在关注于大模型的推理能力 reasoning6、对于一个 base model 如何增强大模型的 reasoning 能力7、模型选型时是否做定性定量对比ab test，客观数据验证文心性能不好了吗8、 DPO 除了长度问题还有其他的问题嘛，与问题2对应， reward hacking ？都没有奖励模型了

继续来分享下之前的面经~欢迎友好讨论，信息共享1. 推荐系统基础链路是什么？你对哪一部分理解更为深入？2. 若让你在召回侧搭建数据看板，会如何设计？重点关注哪些指标？3. 简述冷启动的定义（本人仅答出大致概念，面试官仍持续追问）4. 追问：用户冷启动与视频冷启动的核心区别？5. 用户冷启动的常见问题及解决方案（此部分本人未完整作答）机器学习基础考点1. 梯度下降的定义2. 批量梯度下降与随机梯度下降的区别3. 常见的损失函数有哪些4. 模型评估指标、AUC的具体含义5. 数据不均衡问题的处理方法6. 是否了解大模型？（当前搜推领域大量应用生成式技术，为必考点）7. RankMixer原理介绍（字节面试高频必考知识点）代码手撕1. 分割等和子集2. 拓展提问：若数据中允许存在负数，代码应如何修改？

攒人品中！ 1.手撕mha写完之后问了几个问题：1. rope应该加在哪里2. kvcache怎么加3. dropout加在哪4. mask怎么加拷打简历业务场景题：比如针对业务需求怎么构建数据集