拼多多 算法岗位 三面面经

发点面经攒攒人品1、你在线上或离线训练时，过拟合怎么处理？直接说你最有效的三个方法和拿到的收益。2、把 BN 讲透：原理是什么；训练期和推理期用的统计量有何不同；跟 LN、GN 比，分别什么时候用、怎么取舍。3、分类和回归你最常用哪些损失？你更偏好哪几个，为什么（从鲁棒性、梯度、数值稳定性上谈）。4、L1 和 L2 正则你怎么选？它们各自的效果与风险是什么，工程里你是怎么权衡的。5、二元和多分类的交叉熵你怎么写？在工程里你怎么做数值稳定实现。6、AUC 到底在统计上代表什么？你怎么计算它，在线上业务里你如何解释“这次 AUC 提升”的含义。7、你做 CTR/CVR/CTCVR 联合建模时，ESMM/ESMM2 是怎么推导与工程落地的？线上到底带来了什么收益。8、Transformer 里因果注意力的 Q/K/V 各从哪来？Mask 具体怎么实现。9、Scaled Dot‑Product Attention 为啥要除以 √dk？如果不除会出什么数值或训练问题。10、把 Transformer / Decoder‑only 的整体结构过一遍，各个组件分别在干什么，有哪些常见变体。11、位置编码这条线你怎么选：绝对 PE、相对 PE、RoPE 各自的思路、优势和局限，结合你的项目谈取舍。12、长上下文怎么搞？Rope scaling、Position Interpolation、KV Cache 管理、检索增强、窗口注意力，你的实战方案是什么。13、KV Cache 在训练和推理中的差异是什么？它的加速价值有多大，吞吐与延迟你是如何权衡的，vLLM/paged‑attention 需要注意什么。14、PEFT 方案里（LoRA/QLoRA/Prefix/Prompt‑Tuning/Adapter）你怎么选？说说稳定训练的经验。15、SFT 和对齐（RLHF/DPO/IPO/PPO）原理差在哪？在不同数据与资源条件下，你怎么选路线。16、RAG 系统你怎么设计？切分、索引、召回/重排、压缩/融合、兜底策略怎么串。17、提示词工程你是怎么搞的？System/角色/约束/分步指令怎么写，如何防越狱

给我面没招了，发点面经攒攒人品～1.项目拷打2.介绍一下奖励函数的坍缩现象和问题3.离线强化学习和在线强化学习了解么？你的项目里是哪种？4.代码:onehot100的2d接雨水5. GRPO 公式？为什么公式里面 clip 了外面还要计算一次 mean 呢？6.讲讲qwen2.5vl, llama7.多目标优化奖励函数冲突，8.介绍一下 QKV 的计算？9.手撕MHA

攒人品中！ 1.手撕mha写完之后问了几个问题：1. rope应该加在哪里2. kvcache怎么加3. dropout加在哪4. mask怎么加拷打简历业务场景题：比如针对业务需求怎么构建数据集

给我面没招了。。。1. 项目拷打2. 详细阐述Transformer的底层原理，并说明其能够替代RNN的核心优势；结合Transformer架构的成熟度，分析Self-Attention机制在多模态对齐任务中是否存在瓶颈，以及在实际业务场景中，是否出现过注意力权重完全偏移的情况。3. 讲解LoRA的技术原理，说明LoRA是否仅能嵌入Linear层；分析LoRA无法在LayerNorm层之后插入的原因，以及该操作会对模型训练稳定性产生哪些具体影响。4. 结合实操经验，说明QLoRA降低训练资源成本的核心逻辑；列举常见的模型量化方式，并解释QLoRA选择NF4与FP16组合而非其他方案的原因，阐述NF4的分布拟合逻辑。5. 针对采用multi-query attention优化后，decoder延迟仍居高不下的问题，分析潜在性能瓶颈；探讨vLLM自带的KV Cache是否会成为推理过程中的负担。6. 分别说明Embedding模型与Rerank模型处理文本语料的核心流程，并结合实际应用场景举例说明。7. 结合过往RAG项目经验，讲解从数据清洗到检索服务上线的完整链路搭建流程，重点说明chunk切分的具体策略。8. 分析当前RAG技术落地的最大瓶颈，并阐述你在项目中采取过哪些优化手段来提升检索召回率（Recall）。9. 针对XX领域大模型的训练工作，说明SFT（监督微调）数据集的构造方法与核心思路。10. 结合LoRA微调实操经历，说明rank值的选择依据；在合并adapter权重的过程中，是否遇到过梯度爆炸问题，以及对应的解决方法。11. 结合你的模型部署相关经验，说明模型参数量与硬件算力需求之间的对应关系（例如不同参数量级模型所需的算力配置标准）；以部署一个稀疏率千分之三的235B参数量MOE架构模型为例，估算其所需的算力规模。12. 在搭建RAG知识库时，若需对文档进行动态更新，你采用的是全量嵌入还是增量处理方案？若为增量处理，如何规避新旧文档数据分布不一致导致的检索偏差问题。