美团大模型应用二面凉经

发一下问题给大家参考，攒攒人品！1.了解deepseek-R1吗，介绍一下2.大模型灾难性遗忘是什么?怎么解决的?3.项目中怎么做的多任务学习，有用到经验回放吗4.deepspeed三个阶段5.计算attention时候为什么要除以根号dk，还有哪些scale处理?6.什么是旋转位置编码，解决了什么问题，为什么7.训练一个7b模型要占用多少显存，不同zero阶段能节省多少显存8.讲lora微调，如果是全量参数sft需要多长时间?9.讲DPO、PPO、RLHF

攒人品中！ 1.手撕mha写完之后问了几个问题：1. rope应该加在哪里2. kvcache怎么加3. dropout加在哪4. mask怎么加拷打简历业务场景题：比如针对业务需求怎么构建数据集

发点面经攒攒人品1、你在线上或离线训练时，过拟合怎么处理？直接说你最有效的三个方法和拿到的收益。2、把 BN 讲透：原理是什么；训练期和推理期用的统计量有何不同；跟 LN、GN 比，分别什么时候用、怎么取舍。3、分类和回归你最常用哪些损失？你更偏好哪几个，为什么（从鲁棒性、梯度、数值稳定性上谈）。4、L1 和 L2 正则你怎么选？它们各自的效果与风险是什么，工程里你是怎么权衡的。5、二元和多分类的交叉熵你怎么写？在工程里你怎么做数值稳定实现。6、AUC 到底在统计上代表什么？你怎么计算它，在线上业务里你如何解释“这次 AUC 提升”的含义。7、你做 CTR/CVR/CTCVR 联合建模时，ESMM/ESMM2 是怎么推导与工程落地的？线上到底带来了什么收益。8、Transformer 里因果注意力的 Q/K/V 各从哪来？Mask 具体怎么实现。9、Scaled Dot‑Product Attention 为啥要除以 √dk？如果不除会出什么数值或训练问题。10、把 Transformer / Decoder‑only 的整体结构过一遍，各个组件分别在干什么，有哪些常见变体。11、位置编码这条线你怎么选：绝对 PE、相对 PE、RoPE 各自的思路、优势和局限，结合你的项目谈取舍。12、长上下文怎么搞？Rope scaling、Position Interpolation、KV Cache 管理、检索增强、窗口注意力，你的实战方案是什么。13、KV Cache 在训练和推理中的差异是什么？它的加速价值有多大，吞吐与延迟你是如何权衡的，vLLM/paged‑attention 需要注意什么。14、PEFT 方案里（LoRA/QLoRA/Prefix/Prompt‑Tuning/Adapter）你怎么选？说说稳定训练的经验。15、SFT 和对齐（RLHF/DPO/IPO/PPO）原理差在哪？在不同数据与资源条件下，你怎么选路线。16、RAG 系统你怎么设计？切分、索引、召回/重排、压缩/融合、兜底策略怎么串。17、提示词工程你是怎么搞的？System/角色/约束/分步指令怎么写，如何防越狱

整体面试还是不错的，但是没后续了，我真没招了。。。1.lora和sft适用的任务2.rag中例子库是怎么构建的 有什么问题如何构建动态的例子库3.rag检索不到问题如何定位问题4.rag用户提问和向量库中的语义发生不匹配怎么办5.ragas如何评估 数据集如何构造的6.排序模型为什么选bge 排序的原理是什么7.为什么要做lora 不用 sft8.为什么用三路召回9.如何评估rag 线上怎么评估10.agent项目难点是什么11.如何构建多表查询 怎么能取到各表的关系12.为什么要做映射表 怎么做的13.react框架14.如何评估 agent