1、实习介绍2、简历项目深挖- 奖励函数设计：reward函数是如何设计的？数据集的配比是怎样的？- 编码树如何构建？为什么使用高斯分布？3、inductive learning和transductive learning有什么区别？4、实习深挖- Viking是什么？相关业务背景是什么？- 冷启动时，不同专家模型特征输入为什么不同- id特征为什么学习效果不好？5、手撕给你整数 delay 和 forget，以及整数 n。每个人在发现秘密后的 delay 天开始，每天可以分享给一个新的人。在发现秘密 forget 天后会忘记秘密，忘记后不再分享。求第 n 天结束时知道秘密的人数。

1.Qwen3-8B这里为什么使用 base 而不使用 instruct 模型2.topk和 topp 是什么?3.这个项目为什么不用 RL?4.Transformer 降维是怎么做的?的基本结构，并解释自注意5.Transformer 力机制。6.使用的 Embedding 模型结构是什么?输出向量维度是多少?7.代码:分析时间复杂度和空间复杂度。

1.项目介绍2.介绍实习3.数据集使用的是公开数据集还在有自己构造数据集4.分别讲-下 Dense 模型和 MoE 模型以及二者的区别5.讲一下MoE的 路由机制是如何做的6.训练完验证使用的是什么数据集7.做这个工作的过程中的难点在哪8.如何做的 SFTQ9.介绍一下 PPO10.讲-下 RAG° 项目11.分类任务常用的评测指标有哪些12.讲-下 LORA° 微调的原理13.A、B 矩阵怎么初始化的14.LORA 微调秩设置的是多少15.算法题:三数之和

1.实习介绍2.项目细节深度追问3.最长递增子序列的变种题型4. 二叉树公共祖先问题5.对其他特征交叉类模型的了解程度6.Wide&Deep模型的原理与应用场景7. DeepFM模型的结构设计与核心优势8. LHUC的技术原理及实际业务价值9.算法手写题：N皇后问题求解10. 反问环节

1.实习介绍2.手写 fm 公式3.解释 Ir 为什么不能自动特征交叉4.一个曝光用户从来没有交互信息，怎么过双塔5.写出 moe 的损失函数6.什么样子算自动特征交叉7.写出 Ir 的公式8.代码：二叉树中序遍历

1、Attention本质是什么？从向量空间变换角度解释2、多轮对话中Attention如何导致历史信息衰减？3、SFT数据清洗的具体流程？遇到低质量数据怎么处理4、RAG的chunk优化策略有哪些？怎么评估检索相关性5、DPO训练中的梯度爆炸问题如何解决？简历项目深挖：1、多工具调度模块如何解决冲突检测？2、工具调用超时后的降级方案设计3、自主构建的评估数据集规模？bad case分析维度4、微调Qwen时如何设计learning rate scheduler5、Prompt优化模块的A/B测试方案

1. 简历深挖围绕实习项目展开，问得很细，建议把自己做的每个模块的逻辑、贡献、思考都理清楚。2. 理论基础1.KL散度和交叉熵的关系？2.介绍LoRA，和全参SFT怎么选？小模型SFT vs 大模型LoRA效果可能如何？SFT数据集怎么构建？3.介绍AUC，它表达的是什么？4.Recall重要的场景下，如果recall很高但precision很低怎么办？5.Precision和Recall分别是什么？不同场景下如何权衡？哪个更重要？3. 手撕代码实现 shuffle 函数（注意洗牌算法的公平性和复杂度）

1.面试官先简单介绍团队，然后进行自我介绍；2.对项目和论文进行了细致询问；3.为什么多头注意力能提升表达能力？4.大模型中使用RMSNorm的原因？它和LayerNorm有何差异？5.LoRA和PromptTuning的区别，以及各自适用的场景？6.模型微调时是否遇到过过拟合？如何处理的？7.大模型推理时的加速思路？8.KV Cache是如何起作用的？为什么对长上下文推理很关键？算法题手撕：字符串的全排列。二叉树序列化与反序列化。

八股： 1.MMOE是怎么解决负迁移现象的？2.还有哪些解决负迁移的办法3.怎么解决跷跷板问题？4.MMOE极化现象怎么解决？5.模型加特征进去怎么判断特征的好坏6.bn的原理、bn可以用到特征筛选嘛？7.DIN、SIM具体实现原理代码：LC300.最长递增子序列

1.八股：Transformer 中为何使用 LayerNorm 而非 BatchNorm？这对大模型训练稳定性有何影响？2.八股：Transformer里 LayerNorm 放在 Attention 前还是后？有什么区别？3.八股：LoRA 的核心思想是什么？它为什么能显著降低大模型微调的显存和计算开销？4.项目：请介绍一下你的项目：目标是什么？用了什么基座模型？数据从哪来？5.项目：你在项目中使用 LoRA 微调 LLM，请说明你设置的rank、alpha 值，并分析它们对性能和收敛速度的影响。6.项目：训练 SFT 模型时 loss 出现剧烈震荡，你是如何诊断并解决的？7.项目：SFT 阶段如何避免对padding token计算 loss？具体在代码中如何实现mask？8.项目：SFT的调参经验？说说你的经验9.项目：训练过程中显存不够，你用了哪些技巧（如 gradient checkpointing、ZeRO）？10.代码题：LeetCode 121. 买卖股票的最佳时机

1.项目介绍2.讲一下在百度实习期间做的主要工作。3.压缩专家机制是如何实现的？4.用的训练数据集规模分别是多少？5.为什么选择用SFT训练，而不是用RL训练？6.介绍一下 DPO, PPO, GRPO的原理和区别7.PPO的损失是token级别还是sequence级别的？8.PPO中的Critic模型是如何计算优势的？9.讲一下LoRA微调技术原理10.LoRA微调是如何减少训练参数的？11.LoRA技术有哪些优势？12.算法题手撕 三数之和（撕出来了

1.实习介绍2.论文介绍3.mplug介绍4.few-shot和lora的区别5.模态怎么对齐6.QKV计算7.怎么分布式计算的8.微调的loss函数怎么选择9.手撕：输出数组里和为6的数pair

软开岗面试问的难吗，会不会问很多八股呢

1. 实习介绍2. 挑一个你最熟悉的大模型项目，讲讲它的目标，你主要负责什么，以及你觉得最有意思的技术点。3. 在Transformer的Decoder里，我们为什么需要用Mask把未来的信息“遮住”？从代码实现上讲，这个Mask具体是怎么作用在Self-Attention分数上的？4. 关于LayerNorm放在残差连接的“前面”还是“后面”（Pre-LN vs Post-LN），社区里有很多讨论。这两种设计选择，主要会影响训练过程的哪些方面？你更倾向于哪一种，为什么？5. 我们要在线上部署一个大模型提供服务，推理速度和吞吐量是个大问题。像vLLM这样的工具，它主要是通过什么核心思想（比如PagedAttention）来解决KV Cache的内存问题，从而提升推理效率的？6. 我们有一个基础模型，但它不太会“听人话”。如果想把它训练成一个能很好遵循指令的聊天助手，通常有几步？能简单说说SFT（监督微调）和基于人类反馈的对齐（比如PPO/DPO）分别是在解决什么问题吗？7. 假设我们有一个效果很好的70B大模型，但因为太大太慢，没法直接上线。现在需要你把它“变小变快”。你会考虑用哪些方法（比如剪枝、量化）？各自有什么优缺点？8. 相比于让大模型直接回答问题，现在很流行的RAG（检索增强生成）方案，它最大的好处是什么？主要解决了什么痛点？9. 我们的RAG系统上线后，发现有时候还是会“胡说八道”，或者答非所问。如果让你去排查，你会从哪些方面入手？（比如是检索模块没找对，还是生成模块没理解好？）10. 核心代码模式算法题：二叉树的中序遍历11. 反问