百度大模型算法三面面经

感觉整体还是不错的，发一些问题给大家参考，攒人品中～1.实习介绍2.因为之前是做 CV 的，所以面试官问了 CV和 NLP 的区别和联系，在 Transformer 的大背景下，CV、NLP，包括语音等，能否实现大一统3.训练大模型的时候数据怎么清洗，怎么处理，怎么配比，怎样操作能更容易使模型达到更好的性能4.什么是大模型的幻觉，如何减轻幻觉问题5.大模型的复读问题是怎么产生的，业内一般有什么解决办法6.大模型的工具调用怎么实现7.Agent 有哪几部分构成，了解哪些具体的实现方法8.开放题:之前训练大模型的时候遇到过什么困难，你是怎么解决的9.代码:实现一个 Tokenizer，只能用 PyTorch 基础语法

给我面没招了，感觉自己好菜，发点面经攒攒人品1、 PPO 与 GRPO 的区别，分别介绍他们的优势与缺点2、 DPO 对齐训练的曲线是怎么样的，正例的概率会提升嘛3、 Deepseek -R1里面不仅推理能力很好，而且文采能力也很好，这个是个开放问题，如何让模型的文采能力也很好呢4、 DPO 如何解决回答过长的问题，除了正则5、开放问题：为什么现在大家都在关注于大模型的推理能力 reasoning6、对于一个 base model 如何增强大模型的 reasoning 能力7、模型选型时是否做定性定量对比ab test，客观数据验证文心性能不好了吗8、 DPO 除了长度问题还有其他的问题嘛，与问题2对应， reward hacking ？都没有奖励模型了

有面试过同岗的朋友欢迎评论区交流1.实习介绍2.介绍一下了解的大模型有哪些，这些模型在结构上有什么差异3.说一下大模型常用的位置编码有哪些，各有什么优缺点4.介绍一下大模型的预训练后训练以及推理是怎么做的，并且详细问了 RLHF 的做法，包括PPO 算法的原理，以及 DPO 和PPO 的区别5.大模型的超长上下文是怎么做的，比如说 KIMI6.大模型智能体是怎么工作的，有哪些组件7.场景题:如何训练一个大模型，可以做到精确的提取摘要8.代码:股票的四个题 121.买卖股票的最佳时机 122.买卖股票的最佳时机I 123.买卖股票的最佳时机 I 188.买卖股票的最佳时机 IV

发一下问题给大家参考，攒攒人品！1.了解deepseek-R1吗，介绍一下2.大模型灾难性遗忘是什么?怎么解决的?3.项目中怎么做的多任务学习，有用到经验回放吗4.deepspeed三个阶段5.计算attention时候为什么要除以根号dk，还有哪些scale处理?6.什么是旋转位置编码，解决了什么问题，为什么7.训练一个7b模型要占用多少显存，不同zero阶段能节省多少显存8.讲lora微调，如果是全量参数sft需要多长时间?9.讲DPO、PPO、RLHF