1.介绍transformer的位置编码，介绍RoPE；2.transformer的normalization，为什么用layernorm不用其他的；介绍RMSnorm3.encoder中的self-attention和decoder中的self-attention有什么区别4.DeepSeek R1有看过吗? 介绍一下5.R1的 MLA是如何节约 KV cache的?6.优化算法知道哪些?讲-下AdamW7.显存占用和哪些因素有关? 算一下一个7B的模型推理需要多少显存，训练呢?8.遇到过灾难性遗忘吗?怎么缓解的9.介绍lora，为什么lora是有效的（只需要训练更少的参数而不是训练全参数）10.代码题：lc300 最长递增子序列

1、介绍自己的中厂实习，从业务背景，困难，解决方法，自己的产出四个维度阐述。2、 ppo 和 dpo 区别和原理（因为实习做的就是 rl 相关）3、是不是用的 Verl 框架做的 rl ？详细讲一下 verl 框架的训练流程。并讲一下配置文件中 rollout _ batchsize , global _ batch _ size , micro _ batch _ size _ per _ device _ for _ update , rollout . n 等等参数的关系，以及他们如何影响最终更新时每张显卡上的样本数。4、reward function 如何设计的为什么这么设计？5、critic model 作用是什么？为什么有了 reward model 还需要 critic model ?6、有没有了解最近的 rl 方法？过了一遍 grpo , dapo , gspo 过了的主要改进点7、计算机基础八股： B 树和 B 一树的区别。如果 CPU 突然被打满了，如何排查？什么情况下会出现锁，如何解决。8、核心代码模式，写一下大模型预测token 时， beam 树如何构建，如何得到最终的结果（ pytorch 简单实现了一下，主要是还是讲明白）9、手撕hot100，中等题，最小生成树。

1.实习介绍2.算法题1.和为k的最长连续子数组长度3.介绍项目，并追问某几个项目还有哪些改进思路4.长序列建模还有哪些方式5.二分类缺点6. auc gauc7.如何缓解过拟合8.原始的 din如何实现的9.反问:业务 组内人数 面试流程等

实习和项目 1.商科为什么转算法2.为什么推荐模型需要热启3.介绍下 LHUC，LHUC 有哪些变种4.模型里 LHUC 的输入特征是如何选择的5.如何处理长序列的存储和线上推理延迟问题, 加序列 ROI 高吗6.CTR 和 CVR 用多任务模型来处理, 有什么好处7.广告主价值定义8.怎样让粗排模型感知未曝光数据, 粗排样本怎么选择9.listwise 比 pointwise 有什么好处10.粗精排一致性越高越好吗codingleetcode 33. 搜索旋转排序数组（hot100 中等题）反问

1.项目介绍2.在项目中你用过 DPO 吗？和 PPO 相比，它有什么优缺点？3.Transformer 的位置编码方式有哪些？RoPE 的核心思想是什么？4.在大模型推理阶段，KV Cache 的作用是什么？5.如何在有限算力下做大模型微调？常用方法有哪些？6.如果让 agent 调用搜索引擎，如何避免无关结果影响回答？7.你在项目里有没有做过 RAG 里的“召回-过滤-生成”三段式 pipeline？能不能细讲一下？8.算法题：判断链表是否存在环

一面： 1.  项目介绍2. 输入rqvae的表征怎么得到的3. 说-下rq vae怎么得到的码本id4. ra vaeil练过程中有没有出现码本坍塌的问题5. 除了rq vae还了解其他生成码本模型吗？（one rec的平衡kmeans）6. linear attention和sparse attention怎么应用的7. 多模态表征的cosine相似度和 deepset怎么做的？cosine相似度序列已经做了pooling了为什么交换行为位置还会有影响8. 为什么不直接引入原始的多模态表征9. 为什么多模态表证需要multi epoch而id表征只需要one epoch就收敛10. 代码题：Ic152 乘积最大子数组

1.介绍下self-attention，计算其时间复杂度。2.为什么要用multi-head attention？3.PPO的clip机制？在线强化学习和离线强化学习有什么区别？RLHF是哪一种？4.为什么要用reference model? 为了解决什么问题？5.如何让多个agent协同工作的？举个具体的协同机制例子。6.如果一个agent误判导致策略冲突，如何处理？7.有没有用到类似AutoGen或LangChain的框架？为什么选这个框架？8.你是怎么设计agent的记忆系统？9.长期记忆如何存储？如果历史记录量非常大，怎么优化查询效率？10.有没有做记忆衰退，避免旧数据干扰新任务？11.你们这种模块堆叠的架构是怎么设计视觉问答模块和动作模块的协同逻辑的？12.human feedback是怎么被agent消化吸收的？有没有用rl进行策略更新？13.有没有做过模型压缩？比如在车载端或低端设备上的推理加速？14.如果量化后理解能力下降怎么办？怎么做精度补偿？15.你怎么处理响应速度与推理精度之间的tradeoff？是先召回再精排，还是单次生成？16.如果要做电商agent，你会选择哪些模态的信息作为输入？比如文本评论、图像、视频、购买记录？

1.transformer的架构2.encoder和decoder的区别3.encoder block有哪些部分组成4.attention机制5.MHA工程上如何实现6.pre norm和post norm的区别7.pre norm的优势8.Pretrain的损失函数9.SFT的损失函数10.SFT是如何实现只计算output的损失11.RL中reward和 critic 的区别，各自是如何在工程里发挥作用的12.RAG中快速索引的优化方法有哪些13.用过哪些训练框架，是否有过多机多卡的训练经验14.是否遇到训练过程梯度爆炸，显存不足的问题？有哪些解决的trick手撕算法：伪码实现RAG

一面 1.介绍项目实习经历。2.引入大模型的原因，大模型解决了什么问题,3.大模型sft解决不了业务问题吗?为什么还要引入强化学习。强化学习主要解决业务中的什么问题4.讲一下PPO和GRPO的原理和区别5.如何理解强化学习中熵的概念，如何保证训练过程中熵保持在较高的水平，6.强化学习中调参的经验7. 强化学习中on policy和off policy有什么区别?grpo是on policy的吗?如何实习真正的on policy强化学习。8.多模态大模型的训练过程有什么不同?9.多模态大模型的vision encoder一般使用vit的第几层输出?10.mlp和Q-former两个模态融合模块的优劣?11.代码题:手撕二叉树层序遍历

1.输入rqvae的表征怎么得到的2.说-下 rq vae 怎么得到的码本id3.ra vae训练过程中有没有出现码本坍塌的问题4.除了rq vae还了解其他生成码本模型吗?(one rec的平衡kmeans)5.linear attention和sparse attention 怎么应用的6.多模态表征的 cosine相似度和 deepset怎么做的?cosine相似度序列已经做了pooling了为什么交换行为位置还会有影响7.为什么不直接引入原始的多模态表征8. 为什么多模态表证需要multi epoch而id表征只需要one epoch就收敛

1.有没有训练过深度神经网络，输入是什么，任务是什么，用的什么模型，简单介绍一下框架2.推荐系统里正负样本不均衡，需要对负样本下采样，那么预测结果的偏移如何纠正3.如何解决过拟合，答了dropout和正则化，继续追问还有什么能想到的4.Leetcode题，求小于等于n的全体正整数(二进制表示下)所有1的个数之和;用暴力法做的，追问时间复杂度如何计算，并要求优化算法5.做一个概率题，写出推导过程5.1.52张扑克，求不放回抽10张，正好有4张A的概率;5.2.不放回抽，抽到第四张A时抽数的期望

得物一面: 1.实习介绍，并简要概括科研经历、项目经历都做了什么2.(硕士做的方向)具体做了什么，用什么样的方法去实现的;网络架构?是否在工业界有应用?3.这几个项目里你认为实现起来最大的困难是什么，最后怎么解决的4.做题目:4.1.手撕逻辑回归(不能调库，纯手搓);假设单个样本X=[x1,x2...xn]，标签Y=0 or 14.2.Leetcode原题，删除重复区间的最小数目

1、简单介绍中厂实习经历2、模型蒸馏的数据如何做的?如何清洗馏得到的数据?3、有没有使用强化学习做过数据仿真。这个之前看过一篇论文，刚好讲了一下。4、有没有了解过训练推理一致性这个领域?我讲了一下强化学习领域的推训一致性，固定flash attention分块策略，vlm推理框架固定page attention分块策略。5、模型量化如何做的。gptq，qat等等，并说明为什么选择了w8a16的量化?6、写一下ppo算法的损失函数和GAE优势函数。主要还是讲明白7、一个场景题8、手撕题hot100，中等题，合并k个升序链

1、介绍自己的中厂实习，从业务背景，闲难，解决方法，自己的产出四个维度阐述2、ppo和dpo区别和原理(因为实习做的就是r相关)3、是不是用的Verl框架做的rl?详细讲一下verl框架的训练流程。并讲一下配置文件中rollout batchsize, global batch_sizemicro_batch_size_per_device_for_update，rollout.n等等参数的关系，以及他们如何影响最终更新时每张显卡上的样本数。4、reward function如何设计的为什么这么设计?5、critic model作用是什么?为什么有了reward model还需要critic model?6、有没有了解最近的r方法?过了一遍grpo，dapo，gspo过了的主要改进点7、grpo算法中kl散度和之前的方法有什么区别?在dapo中为何舍弃了kl散度?8、模型蒸馏主要的两种方式。硬标签和软标签。9、介绍一下kmeans算法，如何设置合适的k值。如果在一个非常大的数据量中，如何实时增量更新，并动态管理k值。10、计算机基础八股: B树和B-树的区别。如果CPU突然被打满了，如何排查?什么情况下会出现死锁，如何解决。11、核心代码模式，写一下大模型预测token时，beam树如何构建，如何得到最终的结果(pytorch简单实现了一下，主要是还是讲明白)12、手撕hot100，中等题。最小生成树