秋招面经-百度NLP算法一面

发点面经攒攒人品～1. 数据是怎么合成的，相对于现在主流数据合成有何优化；合成数据的标签是怎么打的，有什么优化的地方2. 数据混合有哪些方法，多样性有哪些角度，怎么保证多样性的同时去除重复数据，讲一下了解的聚类去重，多样性怎么提升3. 怎么清理高质量sft数据，有哪些纬度4. 预训练数据下采样，怎么保证多样性5. 小语种数据怎么合成，方法不限但要控制成本6. 为什么lora相对全参占用显存更少code：高精度开n次根号

给我面没招了，发点面经攒攒人品～多Agent系统与垂域大模型落地1. 中心化调度的多Agent架构中，子Agent的接口设计与结果回流机制如何保证系统稳定性？2. 纯Prompt实现的Agent范式下，如何设计评测体系以实现自动化的能力判定与迭代闭环？3. 基于外部知识检索的内容生成，为何容易出现信息复述而非独立推理？如何从算法层面解决这一问题？4. 垂域量化指标（风险/情绪类）的建模中，小样本场景下为何选择LoRA微调而非全量微调或Prompt Engineering？5. 垂域LoRA适配时，如何构造高质量监督数据以保证模型输出数值的合理性与一致性？6. 从原型验证到工程化迭代，如何平衡系统效果、推理成本与训练开销？Transformer Encoder 底层原理与训练稳定性1. 完整描述Transformer Encoder的计算流、残差连接与归一化位置设计。2. 写出多头自注意力的完整数学公式，并说明各维度的含义与变化。3. 从概率分布与梯度视角，解释scaled dot-product中除以√dₖ的必要性。4. 对比固定缩放系数与可学习缩放系数在注意力计算中的训练稳定性与表达效率差异。5. 从序列特性、padding影响、梯度传播三个角度，分析NLP中LayerNorm优于BatchNorm的原因。

给我面没招了，发点面经攒攒人品～1.项目拷打2.实习拷打3.像那种rl里面的那个MOE之类的那种的优化有去做过吗4.看您的训练经验比较丰富，而且您上线运行的推理内容之前也进行过一些什么样的优化吗？5.有没有做过 kernel级别的优化？比如用 CUTE DSL或者手写 CUDA去做 fusion这类算子融合优化，介绍一下6像底层，如果你们在做.kernel fusion，倾向于用什么方式来做7.有没有哪次你做了 fusion 结果性能反而下降的？原因是什么8.平时写 CUDA的时候，有没有关注到底层实现细节？比如你刚提到 FA2，那再往下一层，像 Hopper架构里那个 warp specialization是什么，它底层大概是怎么实现的9.试过用 Agent去生成cuda内核么，怎么去做的10.如果我把 warp specialization 去掉，只保留 tile 和 shared memory 优化，大概会损失在哪？11.怎么么判断一个 MoE 模型是真的学到了分工，而不是只是把 dense模型拆开了12.在 RL + MoE 里，有没有遇到过 reward把 routing学坏的情况？就是模型为了拿 reward，全都走某几个 expert，这种情况你当时是怎么处理的

发点面经攒攒人品～1.项目拷打2.实习拷打3.你提到用了CKA你能解释一下它是怎么计算的吗？这个指标真的能评估对齐程度吗4.ModalityAdapter模态适配器这个模块你是怎么设计的？它是怎么起作用的？有没有做过ablation实验？5.对比学习里你怎么构造正负样本的？正负样本不容易区分的时候你们是怎么处理的？有没有用HNM6.你们项目里用了多个loss比如MSE + Contrastive Loss + KL 散度为什么这么设计？有没有出现loss拉扯现象7医疗组手那个项目你说做了Prompt模板设计，能不能举几个例子？分类模板和生成式模板在你们场景下分别怎么做的8你们用的知识库是静态的吗？有没有做向量索引？用的什么方案9怎么避免模型产生医疗幻觉？你们有没有做 hallucination 率评估11.你用过哪些模型推理框架？你觉得Ollama和vLLM区别在哪儿？在车端你们选它们的依据是什么？12.你们说做了14B的车端模型，你们是怎么用SFT数据去做微调的？数据怎么构建的13.评测体系你是怎么搭建的？评测指标都有哪些14.你说你们构建了车载Agent平台Agent链路是怎么调度的多轮对话怎么做状态维护？15.Rewrite模型是你做的，具体输入输出是什么？你们是把 rewrite放在检索前还是后？训练数据是人工构造的吗？16你现在要设计一个多模态模型用于车内驾驶员状态识别，传感器包括摄像头和力传感器，你会怎么设计这个 pipeline