八股 1. Llama的Decoder结构、位置编码有什么改进？2. 三角函数位置编码和ROPE的区别？他们是怎么实现不同的功能？3. 介绍一下RLHF流程，包括哪几步4. llm有哪些评估指标？如何评估模型？5. lora原理细节，为什么可以加速？什么是秩？6. 介绍下Reward model7. dpo训练的损失函数和训练目标8. 不做DPO，只做SFT可以吗？9. Deepseek中SFT冷启动了解吗？手撕10. 给定长度为 n+1 的数组 nums，其中元素取值范围为 [1, n]，求唯一的重复数（力扣287）。11. 手写多头注意力MHA。

1.问实习项目。2.项目上线前的评价指标？ RAG 子模块的评价指标？3.八股：过拟合原因？有什么常见解决思路？4. 模型训练的显存估计？由哪几部分组成？除了 Model States 之外还有哪些显存占用？·5.造成多模态大模型缓解的原因？现在常见的缓解思路。6·场景题：识别图片并生成商品描述，会怎么做？7.如果这个产品 MLLM 压根没见过，怎么办？8. 手撕：二维矩阵，里面全是0/1，找联通1联通量的数量。

1.在 RAG 应用中是如何做效果评估具体用了哪些指标2.如何训练用于 RAG 场景的生成模型3.vLLM 的核心原理是什么4.如何增强模型的多轮对话能力5. CoT ( Chain - of - Thought )训练数据如何构造6.介绍vL LM 、量化、 KV Cache 优化技巧7." packing "形式和"多轮对话"形式有何区别？8.LeetCode 72编辑距离

1. 实习介绍+介绍论文2. attention的计算时间复杂度3. 推荐系统或者NLP领域 有什么方法可以加速attention计算4. 你了解哪些生成式推荐的论文5. 为什么要在推荐系统引入RQ-VAE6. RQ-VAE和VQ-VQE有什么不同7. RQ-VAE怎么解决坍塌问题8. Normalization有哪些，有什么作用9. 什么时候用batch norm什么时候用layer norm，为什么10. 训练和推理的时候的BN均值和方差都是怎么得到的11. 代码题：Ic331验证二叉树的前序序列化

基础考察 1. 手撕：二叉树层序遍历+按层打印（要求输出二维数组）2. Transformer和RNN在对话任务中的本质区别？为什么现在大模型都用Transformer3. 多轮对话中如何防止上下文遗忘？除了窗口截断还有其他方案吗4. 工具调用中如何设计参数校验？遇到用户说"随便来家店"怎么处理项目深挖1. 你简历里写的订餐助手，具体怎么理解用户说的"附近好吃的"？2. 多工具调度时如果餐厅查询失败，降级方案是什么？3. 如何判断用户是想点外卖还是到店消费？准确率有多少？4. 订单状态跟踪模块是怎么做的？更新延迟怎么解决？场景设计"现在要设计一个咖啡订购Agent需要处理门店查询、优惠计算、订单创建三个工具但是用户经常同时要查多家店对比请设计完整的调用链路和异常处理方案

1.项目拷打谈谈传统搜索算法和 RAG 的理解2.为什么大模型结合 RAG 会出现 AI 幻觉的现象？3.介绍一下 MHA4.了解 MHA 的变体吗？5.了解 KV 缓存吗6.介绍一下 self attention 吧7.了解 PE 优化吗8.了解 dpo 和 PPO 吗9.了解 ReAct 架构吗10.如果你有一个待优化的模型和一堆 query ，你怎么利用 PPO 来优化模型？

1.挑一个实习项目介绍 并进行一些刁钻问题拷打2.离线评估指标有哪些3.你认为精排模型优化点还有哪些（从最重要的开始说）4.在冷启场景下wuauc和auc有什么区别5.长期系列建模有哪些6.din、sim注意力机制怎么计算的7.sim的hard search和soft search有什么区别8.sim两个子单元是怎么实现的9.计算相似度有哪些方法 并分析好坏10.代码：LC25.k个一组翻转链表11.延伸：要求如果链表不是k的整数部分也要求翻转

1.八股：请分别说说你对 DeepSeek-V3 和 DeepSeek-R1 的理解，它们在架构或训练策略上有何关键差异？2.八股：Qwen系列基座模型的结构是怎样的？它的 Attention 和 FFN 层是如何设计的？3.八股：训练一个 8B 参数的大模型，大概需要多少显存？如果显存不够，你会用哪些技术缓解？4.项目：你们在 RAG 应用中是如何做效果评估的？具体用了哪些指标？5.项目：如果 RAG 系统输出错误答案，你怎么判断是检索模块的问题，还是生成模块的问题？有没有设计过归因实验？6.项目：你们是否专门训练了用于 RAG 场景的生成模型？它和通用基座模型在评估维度上有什么不同？7.项目：在 SFT 阶段，你们如何设计不同来源数据（如通用指令、垂域问答、CoT 数据）的配比？依据是什么？8.项目：针对垂域场景，模型效果如何评估？除了人工评测，有没有尝试自动化或半自动的评估方案？9.代码题：LeetCode 72 编辑距离

1.讲一下实习的工作2.性能掉点问题3.RAG项目4.是否做过意图识别？5.如果要做意图识别，可以怎么实现？① 使用大模型自身的理解能力进行意图识别② 使用 Function Call 实现意图识别6.如果Query 改写后模型效果更差，该如何处理？7.是否考虑过并行或串行的改写策略？8.介绍 一下DPO、PPO、GRPO 三者的原理与区别9.讲一下LoRA 微调的原理10.算法题寻找旋转排序数组中的最小值（LeetCode 153，Hot100原题）

1.八股：bf16 和 float16 的区别？各占多少位？训练中如何选择？2.八股：DeepSpeed Zero 各阶段分别做了哪些优化？3.八股：如何估算 LLaMA-7B 模型推理时的显存占用？4.八股：Prefix LM、Causal LM、Encoder-Decoder 三类架构的适用场景与优缺点？5.八股：Qwen 或 DeepSeek 技术报告中提到的关键创新点有哪些？（如 RoPE 外推、MoE）6.项目：PPO/GRPO 微调后，如何防止模型在分布外（OOD）问题上性能崩塌？7.项目：是否自己实现过 RLHF 流程？不用框架能否手写 PPO 核心逻辑？8.项目：模型部署用了什么框架（vLLM/TGI/自研）？如何优化推理延迟和吞吐？9.项目：未来希望专注大模型哪个方向？（对齐 / 推理加速 / 长上下文？）为什么？10.代码题：LeetCode 25：K 个一组翻转链表

1. 实习介绍2. 手撕：第k大的数  讲思路+写O(n)和O(n logn)两种方法3. 介绍论文4. Transformer的时间复杂度5. 分类问题的损失函数是什么，为什么不用MSE6. Transformer的激活函数什么，为什么不用Sigmoid反问：会做生成式推荐吗

1.比较一下几种常见的LLM架构，例如Encoder-0nly, Decoder-Only 和 Encoder-Decoder，并说明它们各自最擅长的任务类型。2.ReAct框架的核心思想是什么？为什么它比纯prompting在复杂任务上表现更好？3.Function Calling 和 Toolformer 的本质区别是什么？各自在训练/推理阶段如何工作？4.如果让你设计一个能行程规划的旅行Agent，你会如何拆解任务？各子Agent职责怎么划分？5.你的Agent如何处理工具调用失败（如API超时、返回空）？有设计重试、降级或用户澄清机制吗？6.在真实场景中，如何防止Agent泄露用户隐私或越权操作？从算法和系统层面谈谈你的设计。7.如果用户连续追问“为什么选这家酒店？”，Agent如何回溯决策链并给出可解释理由？8.如何评估一个Agent系统的鲁棒性？除了准确率，还会测试哪些对抗性或边缘case？

1.项目介绍2.对agent这个概念的理解3.荣耀实习介绍4.时间提升是怎么做到的5.介绍一下rag的架构6.fastapi的异步实现机制7.缓存文件清除功能怎么做的8.欺诈项目是如何保证数据的高质量9.F1值的提升是怎么做的10.量化部署后的精度损失11.后端开发的中间件有使用哪些12.介绍一下transformer的原理13.LORA微调相比于全参微调的优势14.跨团队协作上的挑战是怎么处理的反问:度小满的AI应用（面向金融）度小满主要用百度的大模型吗？（主流的都用）度小满的位置（北京百度科技园）

1.实习介绍2.介绍Transformer，Decoder中的cross-attention3.vllm原理，如何调度4.分布式训练的架构，业务场景是什么5.NCCL通信底层算法6.protobuf反序列化中，传输错误的解决方案7.Java Spring是否了解8.手撕：LFU+反转链表II