蚂蚁-NLP算法面经

发点面经攒攒人品～1. 数据是怎么合成的，相对于现在主流数据合成有何优化；合成数据的标签是怎么打的，有什么优化的地方2. 数据混合有哪些方法，多样性有哪些角度，怎么保证多样性的同时去除重复数据，讲一下了解的聚类去重，多样性怎么提升3. 怎么清理高质量sft数据，有哪些纬度4. 预训练数据下采样，怎么保证多样性5. 小语种数据怎么合成，方法不限但要控制成本6. 为什么lora相对全参占用显存更少code：高精度开n次根号

给我面没招了，发点面经攒攒人品～多Agent系统与垂域大模型落地1. 中心化调度的多Agent架构中，子Agent的接口设计与结果回流机制如何保证系统稳定性？2. 纯Prompt实现的Agent范式下，如何设计评测体系以实现自动化的能力判定与迭代闭环？3. 基于外部知识检索的内容生成，为何容易出现信息复述而非独立推理？如何从算法层面解决这一问题？4. 垂域量化指标（风险/情绪类）的建模中，小样本场景下为何选择LoRA微调而非全量微调或Prompt Engineering？5. 垂域LoRA适配时，如何构造高质量监督数据以保证模型输出数值的合理性与一致性？6. 从原型验证到工程化迭代，如何平衡系统效果、推理成本与训练开销？Transformer Encoder 底层原理与训练稳定性1. 完整描述Transformer Encoder的计算流、残差连接与归一化位置设计。2. 写出多头自注意力的完整数学公式，并说明各维度的含义与变化。3. 从概率分布与梯度视角，解释scaled dot-product中除以√dₖ的必要性。4. 对比固定缩放系数与可学习缩放系数在注意力计算中的训练稳定性与表达效率差异。5. 从序列特性、padding影响、梯度传播三个角度，分析NLP中LayerNorm优于BatchNorm的原因。

发点面经攒攒人品～1.项目拷打2.实习拷打3.你提到用了CKA你能解释一下它是怎么计算的吗？这个指标真的能评估对齐程度吗4.ModalityAdapter模态适配器这个模块你是怎么设计的？它是怎么起作用的？有没有做过ablation实验？5.对比学习里你怎么构造正负样本的？正负样本不容易区分的时候你们是怎么处理的？有没有用HNM6.你们项目里用了多个loss比如MSE + Contrastive Loss + KL 散度为什么这么设计？有没有出现loss拉扯现象7医疗组手那个项目你说做了Prompt模板设计，能不能举几个例子？分类模板和生成式模板在你们场景下分别怎么做的8你们用的知识库是静态的吗？有没有做向量索引？用的什么方案9怎么避免模型产生医疗幻觉？你们有没有做 hallucination 率评估11.你用过哪些模型推理框架？你觉得Ollama和vLLM区别在哪儿？在车端你们选它们的依据是什么？12.你们说做了14B的车端模型，你们是怎么用SFT数据去做微调的？数据怎么构建的13.评测体系你是怎么搭建的？评测指标都有哪些14.你说你们构建了车载Agent平台Agent链路是怎么调度的多轮对话怎么做状态维护？15.Rewrite模型是你做的，具体输入输出是什么？你们是把 rewrite放在检索前还是后？训练数据是人工构造的吗？16你现在要设计一个多模态模型用于车内驾驶员状态识别，传感器包括摄像头和力传感器，你会怎么设计这个 pipeline

被横向挂了，希望发出来对大家有帮助！1. 讲一下主要的多模态模型的模型结构2. 对多模态的数据有什么了解，我回答之前看了一些多模态cot的工作构造的dpo数据，以及毕设做的多模态数据增强3. 之前的工作的多模态数据有什么特点和创新点，觉得还可以有什么改进4.统一生成理解模型下游微调各个任务的数据是怎么构造的5. dpo算法是怎么实现的，和其他强化学习有什么区别6. 看项目有目标检测任务，问了IoU是怎么算的，目标检测一般有哪些损失优化code：1. 实现dpo损失，按照想法能写多少是多少，不要求跑通2. 手写IoU损失，要求跑通