美团算法大模型实习二面 70min

面试很难，还是要多多练习，攒人品中！1.讲一下为什么先cot后answer的情况下，越往后token的prob越高？2.用大模型蒸馏的cot很多噪声怎么办？3.对VLM做SFT，发现模型对文本信息更置信，看图片的时候反而会产生幻觉，怎么办？RL相关1. PPO中GAE的公式，如何递归计算每个token的优势？2. DPO的loss公式？3. GRPO和PPO有什么区别？GSPO和GRPO又有什么区别？4. RL中的熵塌缩和reward hacking遇到过吗？两个问题都有什么改进方法，最近有什么新论文提出了改进方法？5. 在组内采样类型的RL算法中，on-policy rollout不出正确答案怎么办？6. 知道Self-Distillation吗，为什么要做，最近这方面有哪些论文？7. RL过程中reward或者loss震荡严重，怎么办？

1、自我介绍2、实习介绍, 遇到过什么困难,有什么提升3、如果现在就是开发的话，一般用什么 IDEPython 开发我一般用 PyCharm 或者 VS Code。如果项目偏工程化、代码量比较大、需要比较强的调试和项目管理能力，我更倾向用 PyCharm，因为它对 Python 项目结构、虚拟环境、断点调试、调用链查看支持比较完整。如果项目需要同时处理前后端、脚本、配置和容器文件，我会用 VS Code，因为插件生态更灵活，远程开发也比较方便。如果涉及服务部署和 Linux 环境排查，我也会结合终端、vim、tmux 一起用。4、项目介绍5、上线后出现 bug，一般怎么处理线上出现 bug 时...

搜推+大模型算法一面面试题SFT & RL 方向先 answer 后 cot vs 先 cot 后 answer：两种 SFT 范式在训练效果上有什么差异？你是否做过对比实验？标注质量管控：如何保证人工标注数据的准确率达到预期标准？有哪些校验或质控手段？Checkpoint 选择：如何挑选合适的 SFT checkpoint，用于后续的 RLHF 阶段？多模态输入：图片是如何输入到 VLM 模型中的？一张图片通常会被编码为多少个 token？RL vs SFT：你认为强化学习（RL）和监督微调（SFT）的核心区别是什么？训练范式选择：为什么不直接从零开始做 RL，而是要采用「SFT → RL」的两阶段流程？RL 关键机制：什么是重要性采样？为什么在 RL 训练中要引入 CLIP 机制？策略类型差异：On-policy 和 Off-policy 算法的核心区别是什么？各自的适用场景有哪些？八股文（Transformer 基础）因果掩码作用：Transformer Decoder 中为什么必须使用自回归因果掩码？缩放点积注意力：为什么注意力分数要除以d​k​？（补充：Layernorm 前置后，除以d​可将方差归一到 1，避免 softmax 梯度饱和）推荐系统方向生成式推荐 vs 传统推荐：两者的核心区别是什么？生成式推荐的目标是什么？你如何看待它的未来发展前景？指标计算：AUC、HR、NDCG 的计算公式分别是什么？GAUC 和 AUC 的区别在哪里？编码方式：如何在模型中加入时间编码和位置编码？常用的位置编码方法有哪些？Coding：手撕 Multi-Head Attention（MHA） 实现二面面试题SFT & CoT 细节概率分布特性：在「先 cot 后 answer」的 SFT 范式下，为什么越靠后的 token 概率（prob）会越高？蒸馏噪声处理：用大模型蒸馏得到的 CoT 数据存在大量噪声，该如何缓解？VLM 幻觉问题：对 VLM 做 SFT 时，发现模型更信任文本信息，看图时反而容易产生幻觉，有哪些解决思路？RL 进阶PPO 核心：写出 PPO 中 GAE 的公式，并说明如何递归计算每个 token 的优势函数（advantage）？DPO 损失：写出 DPO 算法的损失函数公式？算法对比：GRPO 和 PPO 的核心区别是什么？GSPO 和 GRPO 又有哪些不同？训练稳定性：你遇到过 RL 中的熵塌缩（entropy collapse）和 reward hacking 问题吗？分别有哪些改进方法？最近有哪些新论文提出了新方案？采样困境：在采样类 RL 算法中，on-policy rollout 无法得到正确答案时该怎么办？自蒸馏：了解 Self-Distillation 吗？为什么要做自蒸馏？最近这方向有哪些代表性论文？震荡优化：RL 训练中 reward 或 loss 震荡严重，该如何调整？（提示：可从学习率 lr、KL 散度约束等方向入手）推荐系统进阶结构对比：HSTU 和 Transformer 结构的差异是什么？它和 OneRec 的整体流程有什么不同？SID 优化：如何降低 SID 碰撞率，同时提高特征利用率？量化算法：RQ-VAE 和 RQ-Kmeans 的算法原理分别是什么？OneRec 工程：OneRec 中是如何将 SID 加入模型词表和 tokenizer 的？多模态融合：如何更好地结合文本特征和多模态特征？模型演进：Rankmixer 是如何发展到 Tokenmixer 的？Coding：给定一个行内严格递增的 m×n 矩阵，找到矩阵中第 k 大的数

一、大语言模型基础1. 目前主流的开源模型体系有哪些？主流开源模型体系包括：LLaMA 系、Qwen 系、GLM/ChatGLM 系、Mistral/Mixtral 系、Baichuan 系、DeepSeek 系、InternLM、Yi 等。面试里建议从以下维度比较：参数规模（7B/13B/70B…）上下文长度（8K/32K/128K…）多语言能力工具调用能力（function calling / agent）推理成本与部署难度开源协议（是否可商用）2. Prefix LM 和 Causal LM 区别是什么？Causal LM：严格自回归，token 只能看左侧历史（下三角 mask）。Pr...