美团大模型算法实习面经回放

发发面经攒攒人品项目深挖1. 训练参数设置&资源配置细节2. DPO训练loss的直观含义3. 为啥不直接SFT，非要搞DPO4. 负样本构造逻辑追问：长链路GUI下正负样本长度不一有啥影响？原因是啥？5. 为啥选GRPO？对比过其他算法吗？6. tool response需要loss mask吗？理由是啥？7. 训练任务中mcp构造数量+具体case8. 训了几版模型？印象最深的bad case是啥？八股问答1. 看过AUTOGLM论文吗？其他大模型论文呢？印象最深的点是啥？2. 给定模型层数+隐藏层维度，估算参数量级+解释计算逻辑3. 同参数同序列长度，计算kvcache大小手撕代码流式输入输出处理规则1. 被包裹的字符直接隐藏2. mcp调用只输出instruction里的内容

继续来分享下之前的面经~欢迎友好讨论，信息共享1.什么是大语言模型的涌现能力？目前对该现象的研究有哪些发现？2.什么是 Embedding？词嵌入和句嵌入有何不同？3.大语言模型中的 Tokenization 是如何工作的？不同模型的分词算法有何差异？4.简述大语言模型中的 Prompt Engineering 技巧，如何设计有效的提示词提升模型输出质量？5.对比 Zero-Shot、Few-Shot 和 In-Context Learning，它们在大语言模型中的应用场景和局限性分别是什么？6.什么是 LoRA？它在大语言模型微调中的优势和原理是什么？7.大语言模型的 RLHF 训练流程是什么？它存在哪些潜在风险？8.介绍一下大语言模型中的知识蒸馏，它如何用于压缩模型体积？9.DeepSeek 优化了哪些？为什么不用 PPO，而是用 GRPO？10.对比大语言模型的增量推理和传统推理方式，增量推理的优势和实现难点是什么？11.大语言模型在推理时出现幻觉现象的原因是什么？有哪些缓解方法？12.大语言模型的长文本处理能力有限，目前有哪些技术可以缓解这一问题？13.什么是大语言模型的上下文窗口？扩展上下文窗口对模型性能有何影响？14.目前多模态大语言模型是如何融合文本与图像信息的？15.如何评估大语言模型的性能？常见的评测指标和基准数据集有哪些？16.单个 LLM 能否帮助用户完成完整行程规划，比如从出行到酒店都订好票？

手撕撕麻了，怎么这么多...1、业务介绍2、论文拷打3、手撕loss：交叉熵4、手撕logistic回归公式：5、手撕：sigmoid函数6、手撕DNN和BatchNorm7、手撕：梯度下降法基本逻辑（SGE）8、激活函数都有哪些？9、给定一个string，根据题目要求写一些简单的if else洗数据。

工程类偏多🏓1. dpo 和 sft 的区别，先 dpo 后 sft 可以么2. 如果把 DPO 用在“第一轮对话”，你会怎么做数据集？prompt、chosen/rejected 你打算怎么来3. 多轮对话的数据分布你会怎么设计：单轮和多轮各占多少，为什么这么配4. 具体到 DPO 数据，多轮样本你会怎么采样/怎么配比（有没有什么坑）5. reward hacking 你怎么看？一般怎么防，怎么兜底⭕如果你现在：- 春招/秋招没方向- 简历没人看- 面试总挂- 不知道怎么准备，想求职算法岗的同学，需要进行高质量项目辅导，提升面试能力，☎欢迎后台联系。