大模型面经 - 百度

今天老师给大家分享推荐算法3轮面经，供各位同学参考。1️⃣第一轮1、先自我介绍，我的习惯是经历简单介绍一下，然后自然转向准备最充分的一个项目开始详细讲，面试官感兴趣的话最好，不感兴趣的话会直接打断的。主要介绍了项目的背景，难点和解决方案，面试官关心的点主要集中在问题抽象和损失函数，讲清楚为什么这么做，项目大概聊了半小时左右2、机器学习基础：推导 lr，写出loss和梯度（比起推导svm来说简直就是送分题，要是写不出来的话估计会直接挂，基础还是要好好准备）3、算法 链表对折 1 2 3 4 5 变成 1 5 2 4 3拆解一下题目，(灵活)找到链表的中点 牛客题霸: 链表中倒数第k个节点 是找中点的复杂版，都是双指针解法翻转后半段链表 牛客题霸: 翻转链表合并两个链表 牛客题霸: 合并两个有序链表 是复杂版2️⃣第二轮1、先介绍项目，主要聊了项目背景和收益，收益具体怎么衡量，项目如何上线生效2、算法题 m*n的二维数组，只能往右或者往下，找最短路径，n空间 牛客题霸: 矩阵的最小路径和3、有了解过设计模式吗？(答了常见的工厂模式和单例模式，对应的应用场景，简单扯了一下装饰器模式，也是看xgb源码看到的，其实不会用)4、系统设计需要注意什么，如何设计一个系统，系统性能如何评估，需要考虑哪些指标（考察点应该是线上的系统了，指标比如内存使用率，qps，99 39 49时间之类的）5、之前帮阿里云录制过一些深度学习的入门课程，简单聊了一下相关的内容3️⃣第三轮1、先介绍项目，主要聊了项目背景和收益，收益具体怎么衡量，项目如何上线生效2、介绍xgbgbdt和xgb的区别(居然没有问lgb)怎么选最优分裂节点，怎么加速，预排序有什么作用，怎么分箱，等宽还是等深怎么处理缺失值的，预测时候缺失值怎么办3、为什么离职，希望一份什么样的工作4、有没有什么问题想要了解的（问了业务场景 工作内容）📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。    

面试问题：- （针对简历提问）你工作里主要关注哪些指标？解释一下AUC含义、计算和作用- 主流的开源大模型结构有哪些？（prefix decoder，casual decoder、encoder-decoder）- 介绍一下layernorm和batchnorm的区别？- 在机器学习里，怎么处理长尾数据和多峰数据？- 怎么解决模型的冷启动问题，你觉得LLM在冷启动方面能够起到什么作用？- 介绍一下常见的优化算法（SGD ->Adagrad ->RMSProp ->Adam -> AdamW）？优缺点- 为什么Adam不一定最优而SGD最优的？怎么理解分析？- （针对简历提问）你工作里的对比损失是怎么构造的，有什么作用？介绍常见的对比损失的公式。代码题：- 数组第K大。给定整数数组 nums 和整数 k，请返回数组中第 k 个最大的元素。（力扣215原题）- 手写对比损失的计算（结合项目），并简单说了一下原理。（大概写出来就好）二面我这个是交叉面，提问的有部分设计大模型，也当然我简历上有大模型，所以问了一些llm+搜推的内容，但这部分交叉问题比较浅，能说个大概就很好，同时也有很多经典的机器学习面经问题。因为项目里提到了对标学习，所以面试官在代码考核部分让我写个示例，所以写进简历的一定要准备好（包括流程步骤，代码实现大概要清楚）。面广告算法的岗位，机器学习面经暴率很高，建议熟背，就算是看过有印象，问到的时候也会基本很稳。

字节一面：上来先笔试1.拷打项目2.MoE3.有没有微调经验，如何微调，介绍原理4.RAG5.AI agent6.functioncall感觉拿我刷kpi了😭也可能是我没大厂实习的原因字节一面寄百度一面：1.拷打项目2.Blip和blip2区别3.clip怎么训练的4.chatglm的创新点是什么5.transformer八股6.拷打项目的sam模型7.笔试：开根数（本人没准备笔试，用的梯度下降，被狠狠羞辱后想起二分）百度一面过快手一面：1.拷打项目2.拷打blip2和clip3.问了下clip 和blip的一些损失函数4.拷打transformer5.多模态如何融合的6.拷打原生大模型7.退火笔试：最小覆盖子串快手一面过百度二面：和一面基本问题差不多，又格外拷打了vit的一些维度问题，和处理问题笔试：三数和百度二面过发了口头offer，经过对比后拒了，all in 快手快手二面：问的情景题：如何做视频相关大模型的应用，然后依旧拷打项目，感觉快手面试官人都不错。笔试：链表删除右节点快手二面过快手hr面：问了问入职时间，和一些基本信息，一共才面了10分钟左右，给我有点慌，不会日常实习给我hr面挂了吧😭😭😭😭。我已经很牛马了😭更新，老铁厂oc了~第一份实习，太难了😭        

1. 自我介绍2. 过一下你觉得最好的项目/实习。说了一个教程类开源项目，其中包括部署、LoRA微调等内容。又说了了另一个在学校做的项目，问的很细，包括我们使用Function Call做检索的流程、用langchain如何实现的，内部原理是什么。3. 下一个项目BERT相关的，问了问Transformer的原理结构，他的优点是什么，我讲的是他是不限制距离计算，有效遏制了经典RNN模型的长序列遗忘问题。问了问BERT的原理，幸好看过原论文，简单说了下。4. 下一个项目是做的Qwen SFT，训练数据如何生成的，多少数据，训练的参数，训了多久。5. 问了强化学习deepseek，我答了GRPO和PPO，问了DPO我没看过。6. medium题