1.介绍实习内容，主要关注训练相关的优化。2.讲讲MHA、Attention公式，为什么需要除以根号 dk。3.redis 用过那些?mget 底层什么实现的?zset 怎么实现的?4.Function Call 是什么做的?5.分布式锁的设计。6.手撕MHA、实现random函数。7.手撕-反转链表。8.基于自研模型对公司内部业务项目。

项目 拷打半小时，基本都问模型和数据八股1.  RLHF阶段，讲一下DPO数据构成2. Lora的原理是什么？是对哪些参数做低秩分解？3. MoE里面专家的数量取决于什么？4. MoE里面GATE数量取决于什么？其他54张扑克牌，红色和黑色各27张，不放回抽取两张，一红一黑的概率是多少？请说出公式代码实现一个函数，判断两个二叉树是否相等（对于每个子树，对称和完全一样都是相等）反问1. 业务方向，模型有做全流程的训练吗2. 一共几轮技术面

一、问实习 1. 为什么寻参用遗传算法而不选择其他的2. 项目把人群分了好多份，有没有考虑过部分人群样本量太少的问题3. 最后有没有分析具体是哪个人群贡献最多业务指标上涨4. 有没有考虑过解决算法手工部分过多的问题二、项目新闻推荐部分1. 你如何评估改进后的itemCF2. 为什么惩罚热门用户。为什么不选择其他方法，而是对互动次数取对数3. 为什么只取最近的互动记录用于召回，不用全量的4. 哪个设计提升最明显5. 介绍一下你用的MMoE6. Word2Vec参数怎么设置的7. 评价指标用的是什么，结果多少8. 还记得NDCG吗，介绍一下三、手撕部分手撕MMoE手撕自注意力

1.实习介绍2.实习base模型的大概结构3.长序列建模方式4.离线和在线主要看的指标5.粗精排是否要保持一致性6.transformer结构7.1112正则化 都用在哪些场景8.精确率和召回率9.实习过程中的最大收获10.遇到的困难11.算法题:找到有最大和的子数组，加起来和为目标值的组合312.反问

1. Transformer中Attention的本质是什么？你能从数学角度简要解释一下吗？2. 在Agent多轮对话任务中，你觉得Attention的局限性体现在哪些方面？3. 简要介绍一下SFT的核心流程，以及数据集的构建策略，SFT之后常见的Post-Training还有哪些？它们之间的目的有何区别？4. 什么是RAG，它是怎么提升生成质量的？与传统检索＋模型生成的流程有何不同？如何评估一个RAG系统是否work的？5. PPO和DPO在大模型对齐中的主要区别是什么？DPO训练通常有哪些注意事项？用过GRPO么？6. 项目里的Modular Agent，你能讲讲它是如何实现多步规划的吗？7. 项目提到了多个工具调用链路，调度策略是如何设计的？是否有异常fallback策略？8. Agent评估体系包括哪些维度？如何衡量planning能力 vs hallucination rate？9. 项目里微调Qwen，选择的训练阶段和Loss函数是如何决定的？10. Prompt自动推荐模块用了哪些优化策略？有没有尝试过Prompt压缩或embedding表示的方式？11. 场景题：假如一个Agent 推理链路包含3个工具+高频请求，系统整体延迟较高，你会如何优化？12. 代码：20.岛屿数量

1.项目介绍2.讲一下简历里的经历3.针对我说的实习经历进行提问4.手撕DAPO，没写出来，我说了下loss计算，然后让我打开论文对着公式详细讲一下，并提问clip的作用5.用GRPO训练moe模型经常效果不好，为什么?6.面试官投屏了一篇论文的intro，让我讲一下其他还有些是针对经历里的数据构建、训练细节和怎么评测的，没啥参考意义就不放出来了反问:1.复述了下我理解的一面面试官所讲的部门业务询问有没有补充，然后问了有哪些具体场景

八股： 0.拷打实习项目1.RL如果agent的动作是插入广告，但是在广告红线规则下，没有实际执行，这种情况会导致什么问题？怎么解决？（action diff）2.对于机器学习，你能想到哪些损失函数；对于分类问题，交叉熵损失的形式以及公式推导3.介绍一下过拟合的现象、原因、以及解决方式4.对于user-item嵌入向量有哪些学习方式？5.除了深度学习模型，机器学习中有哪些嵌入向量的学习方法6.协同过滤策略有哪些算法7.对于稀疏样本/延迟反馈问题，如何解决手撕：1.输入一个有向图G(V, E)，输出其拓扑排序；2.返回二叉树的最大直径

一面： 1.SIM hard-search采用哪些key去检索子序列，为什么不用搜索词意图去检索？soft search怎么做的2.端到端序列建模的方法，相比GSU-ESU的优势3.召排一体相比级联漏斗的推荐链路的优势4.LLM4Rec对比传统搜推带来了哪些收益5.有哪些多模态序列建模的优化方法6.文本描述的推理总结选用什么llm基座，原因？7.LN和BN的区别8.代码题：合并k个有序链表

1.实习介绍2. Lora 原理(核心是低秩分解:将原始权重更新近似为两个低秩矩阵乘积，减少参数量，保留主导方向，训练高效)3.了解 DeepSpeed 吗，ZeRO -1, ZeRO -2和 ZeRO3分别做了哪些优化(1优化优化器状态，2优化梯度，3切分参数，全面节省显存)4. Qwen的模型结构是怎么样的，相比于 LLaMA,DeepSeek 有什么区别(Qwen采用GQA+SwiGLU+RMSNorm，和LLaMA架构非常相似，差异在训练数据和tokenizer中文支持更好;DeepSeek只用MoE/MLA架构，Qwen系列主要是Dense模型)5.怎么缓解大模型的幻觉问题(RAG，RLHF对齐，事实监督)6.大模型的 MoE 结构相比于 Dense 结构训练的难点在什么地方，DeepSeekMoE为什么效果好，有什么值得我们借鉴创新点(MoE面临负载不均衡、训练不稳定问题;DeepSeekMoE通过细粒度专家和共享专家设计提升稳定性和效果)7.知道FP16和BF16有什么区别吗，包括FP32和INT8这些，在训练大模型的时候，应该怎么选择(FP16精度高但易溢出，BF16动态范围大;训练常用BF16混合精度，推理用INT8量化加速)8.讲-下 RLHF 的流程，写-下 PPO和 DPO的 Loss表达式(训练奖励模型后用PPO/DPO优化策略:PPO Loss: policy ratio + KL 约束/ DPO Loss: logit preference diff + sigmoid binary loss)9.对于超长上下文业界一般是怎么做的，你知道 Qwen是怎么做的吗(业界常用ROPE 变体/滑动窗口注意力/稀疏注意力等:Qwen使用YaRN和窗口注意力扩展上下文)10.开放题:你觉得目前大模型的上限在哪里(推理能力、长期记忆、具身交互和能耗效率，需要架构创新和多模态融合突破)11.代码:152.乘积最大子数组

1. 广告实习介绍，问的比较详细2. 广告常用的精排模型有什么？3. 介绍下多任务模型mmoe4. 介绍一下深度学习中的dropout5. 训练和预测过程中dropout设置方式，跟训练保持一样，还是随机选择一些节点丢弃，还是有其他方式6. 神经网络训练参数初始化方式，分别会有什么问题7. Layer Norm和Batch Norm的区别8. 梯度爆炸和梯度消失是为什么，如何排查，如何解决9. 介绍一下自适应学习率的算法10. 集成学习中的bagging和boosting有什么区别，分别选择一个代表算法进行介绍11. 代码题 LC 编辑距离

一面： 1.介绍项目2.reward迭代的意义和收益(项目相关)买卖股票的最佳时机3.一面感觉一直在聊项目没什么通用的二面:1.一场八股纯享 我还没介绍完我的第一个项目面试官0帧起手开始拷打八股2.了解哪些掩码和attention3.self attention和cross attention分别介绍有什么异同 transformer的encoder和decoder都用了什么4.介绍-下batchnorm5.训练预测有什么不同6.为什么预测要用全局的均值方差数据预处理的归一化可以替代batchnorm吗为什么7.transform用bn了吗8.bn和In有什么不同9.transformer为什么用In10.实习或者学校中常用的模型是什么 详细介绍一下11.transformer如何刻画时序12.介绍一下你了解的位置编码 各自优缺点13.代码题太长了就是类似一个有规则的序列找最大值

1.实习介绍2.项目介绍+拷打(主要是数据来源，数据构造方式，分块过程，rag流程，检索方式，涉及到的每个步骤的原理，transformer、dpo，如何评测的,如果是多轮message怎么作mask的)3.八股1.transformer架构、ffn层是干嘛的，它的架构(为什么先升维再降维)2.注意力机制的类型(mha，mqa，gqa，mla)各自的优缺点3.PPO、DPO、GRPO各自优缺点4.SFT损失及其公式4.代码题手撕多头自注意力机制

1.实习介绍2.简历拷打3.除了MMOE还用过其他的方案吗？cgc或者ple有尝试过吗？4.如何解决mmoe输出特征一样，专家的参数最终会趋于一致的现象？在网络参数随机初始化的情况下，不会发生问题中提到的问题。核心原因在于数据存在multi-view，只要每一个expert网络参数初始化是不一样的，就会导致每一个expert学到数据中不同的view。5.多任务loss调整中回归损失会主导训练任务是怎么处理的？在我的场景中是采用包序累积多分类替代了回归，也可以通过映射label上界或者禁止回传的方法，都试过。6.transformer的参数量是多少？层数（L）：Encoder/Decoder 的堆叠层数注意力头数（H）：多头注意力 的并行任务数隐藏层大小（D）：特征向量的维度序列长度（T）：输入/输出的最大 token 数 公式：总参数量 ≈ L×(4D^2+2D×H×T)7.介绍一下encoder和decoder？Encoder（编码器）作用：将输入序列（如文本）转换为上下文相关的表示向量。Decoder（解码器）作用：根据编码器输出生成目标序列（如翻译或回答）。8.在你场景中用的是二阶段的训练如何调整成一阶段的？代码 给一个整数数组a，对a中的相邻整数进行浮点除法，如a=[2,3,4]，即为2/3/4 在任意位置添加任意数目的括号，来改变算数的优先级，使得值最大，输出表达式

1. 手撕 合并区间2. 八股1）请介绍 Transformer 的结构组成及各部分作用，在长序列时空数据中，2）如何降低 Transformer 的计算复杂度？常见的稀疏注意力变体有哪些？3）GNN的消息传递机制是怎样的？在时空图中，如何结合时间信息编码节点特征？你接触过哪些时空 GNN 模型？4）LoRA微调的原理是什么？秩 r 的选择会对模型表现产生什么影响？5）RAG的完整流程，在时空出行数据场景里，构建向量检索库时如何处理时间衰减对召回的影响？6）强化学习在 Agent 优化中的应用，结合出行推荐 Agent，你会如何设计 Reward 函数？3. 项目1）微调时的训练数据是怎么构建的？如何保证样本多样性和质量？2）在 RAG+时空知识图谱的 Agent 系统中，知识图谱更新的机制是怎样的？是怎样保证实时性的？3）在大规模轨迹数据下是怎么做负采样（Negative Sampling）的？4）训练 LoRA 模型时，你是如何选择冻结层的？依据是什么？5）在高并发查询 Agent 系统中，你会如何优化召回和生成阶段的延迟？4. 开放题1）大规模 Agent 系统在多线程/多进程场景下的资源调度策略如何设计？2）如果你要在 GPU 资源有限的条件下同时提供推理和微调服务，如何做资源分配和任务调度以保证时延和吞吐？