4.24滴滴大模型算法一面面经

1.请简述什么是大模型，以及它与传统模型的主要区别是什么？2.你如何评估大模型的性能？有哪些常用的评估指标？3.请描述一下你如何对大模型进行优化，以提高其性能和效率。4.你是否有过使用或开发大模型的经验？请分享一个具体的案例。5.大模型中的注意力机制是如何工作的？它在大模型中起到了什么作用？6.大模型中的优化算法有哪些常见的选择？它们各有什么优缺点？7.如何处理大模型训练过程中的梯度消失或梯度爆炸问题？8.在大模型设计中，如何权衡模型的复杂度和性能？9.面对大模型训练和推理所需的庞大计算资源，你有什么解决建议？10.请简述你了解的大模型的主要结构特点。11.reward bench上的reward model分哪几类?12. reward model如何训练的，训练目标是什么?13.dp0训练的损失函数和训练目标，dpo如何改进怎么理解大模型安全，包含哪些方面的内容？14.指令跟随能力的评估集有什么，如何评估的?15.阿尔法狗强化学习策略是什么?提升推理能力和指令跟随能力哪个更难, 为什么, 提升指令跟随能力的优化方式和其他的比如推理有什么不一样的地方?16.dpo训完了一般输出长度会变化吗? 如何解决这个问题大模型训练过程学习率一般是怎么变化的, 退火阶段学习率如何变化的?17.在开发大模型时，当你面临推理阶段的资源需求时，你如何确保模型的可解释性和公平性？18.谈谈你对Transformer模型的理解，以及它在自然语言处理中的应用。19.请简述Transformer的基本结构和工作原理？20.为什么Transformer使用位置编码(Positional Encoding)？21.如何优化 Transformer 模型的性能？22.Transformer在自然语言处理中有哪些应用？23.transformer里边norm的位置在哪里,norm如何计算的多头自注意力机制的作用是什么？24.注意力机制为什么除以根号dk, 为什么不是dk请解释什么是注意力机制，并举例说明其应用场景。25.注意力机制是如何工作的？请简述其计算过程。26.多头注意力机制是什么？它相比单头注意力有什么优势？📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

XGBoost 为什么比传统 GBDT 快？XGBoost 的目标函数推导？如何用 XGBoost 处理不平衡分类问题？特征工程中，如何处理高维稀疏特征？特征工程中，为什么要对连续特征离散化？Uplift 模型评估指标有哪些？如何计算？Uplift 模型与传统分类模型的核心区别？因果推断中，混淆变量（Confounder）和中介变量（Mediator）的区别？因果推断中，若无法获取随机对照数据（RCT），如何估计因果效应？特征工程中，如何量化特征与目标变量的因果关系（非相关性）？

四月中旬才开始投递，总算是抓住了暑期的尾巴time line如下：4.15投递5.6一面5.7二面5.8三面512收到offer（一周速通三面，感觉可以挑战全网最快流程）一面（技术面）：约80分钟1. 自我介绍2. 详细盘问了科研论文的项目（深度强化学习方向），问的非常详细，包括论文的主要创新点、具体的建模细节等，非常刨根问底，几乎每个设计都要问一下为什么，其中也交叉问了一些八股，主要是强化学习方面的，如loss如何计算与传递等。常规问题以外，面试官还进行了一些拓展，比如让我思考这个科研项目距离落地还需要做哪些工作，多目标的奖励权重如何更新等，这部分我答的不好，但是面试官也非常耐心，一步步引导我去进行思考，也和我交流了他们实际业务中应用强化学习的一些设计。3. 然后又盘问了在滴滴做的项目，这个主要是大致介绍了业务的背景、项目的目标、模型选型的考虑等。其中具体问了一些推荐系统模型的八股（因为简历里有写），如w＆d、deepfm、d＆c network等的模型特点。4. 面试官介绍了下组里的一些业务，以及如果我能进来的话可以做的一些方向，涵盖的内容非常广，从传统运筹的路径规划到强化学习再到营销用增方向。由于项目和业务上聊了很多，导致没时间手撕，面试官就让我自己截图回去做，做完微信发给他即可。手撕的题是一道力扣mid，最佳股票策略。二面（技术面）：约40分钟一面结束后立刻发来了二面通知，第二天上午十一点有趣的是，大概当天十点半的时候，二面还没开始，三面的链接就已经发来了1. 自我介绍2. 滴滴实习项目盘问，问的也很细，跟一面的问题有一些重叠，还问了业务中如果遇到没出现的特征应该怎么处理等数据预处理的问题3. 科研论文盘问，dtw距离是什么，如何计算？k中心聚类的步骤，都是一些常见的八股4. 手撕：力扣mid 编辑距离，发现美团很喜欢出动规题5. 业务介绍，一面时介绍的已经比较仔细了，也没什么需要反问的三面（hr面）：约20分钟都是一些开放性的问题，开始侃侃而谈1. 经过前两轮面试，对业务有什么了解？2. 平常有没有用过业务相关的产品？体验怎么样？有哪些痛点？3. 如何利用ai来辅助进行业务升级？举几个具体的场景4. 简历中最能体现自己能力的项目是哪个？具体展开说明5. 过去的几段实习经历里，给自己带来最大改变的是什么？带来了哪些改变？6. 反问    

因为又被运营约稿了，然后也老被催更新，所以趁着放假就更新一下，这篇就写怎么去面试，怎么去准备大模型吧，这里也很有意思，这个牛客网在boss上来要我简历了，后面加了微信不过他们只要2-4年的资深大模型工程师。那么直接开始吧，本来打算早点更新的，不过嘛，下班之后一直在打游戏，对此只能说三角洲太好玩了，琳琅天上还是当年模样，好玩，想起小学时代玩的qq飞车了（时代眼泪了算是，现在人估计都没听过这个游戏了何况会去玩呢，真怀念那会边听歌边跑图）一晃便过去一个时代，这时间若白驹过隙，所以啊，诸君当是要珍惜时间和家人，不要太看重工作。先随便讲点吸引大伙注意力，那么直接开始今天的教程。先叠甲：以下的问题，基本上...