阿里控股机器学习面经

一面： 1. 自我介绍，讲论文和实习。2. Transformer自注意力机制、位置编码、梯度消失/爆炸的解决方案。3. 微调方法对比（Full Fine-tuning vs. LoRA/Adapter/P-Tuning）。4. 推理加速技术（量化、动态批处理、FlashAttention）。5. 如何优化大模型在长文本生成中的显存占用？6. RLHF中奖励模型（RM）的训练数据如何构建？7. 为网易云音乐设计一个AI歌词生成系统，如何提升创意性和押韵效果？8. 模型剪枝/量化（GPTQ、AWQ）、服务化框架（FastAPI+vLLM）。9. 如何解决大模型API服务的响应延迟问题？一面八股挺多的，问的知识点也非常多，主要考察对大模型的理解，整体来说难度不算大，复习熟记八股应该都比较好答。二面：1. 自我介绍，讲论文和实习。2. LayerNorm和BatchNorm在大模型中的区别？为什么Transformer用LayerNorm？3. 解释大模型训练中的“灾难性遗忘”现象及解决方法。4. 如果微调后的模型过拟合，你会如何调整？5. 如何评估一个对话系统的生成质量？6. 如何用大模型提升网易新闻的推荐效率？7. 设计一个游戏内AI陪玩系统，需考虑哪些模块？8. 领域适配时，如何构建高质量的垂域训练集？9. 你在项目中如何解决数据稀缺问题？10. 模型上线后遇到了什么性能瓶颈？如何优化的？建议：精读《Attention Is All You Need》、HuggingFace文档。如果没有大模型项目，可用Kaggle/开源项目复现（如LangChain应用）。

整体面试还是不错的，发下面经给大家参考～1.实习介绍2.在微调大模型时使用过哪些框架3.CLIP模型的zero-shot能力是如何实现的？4.Transformer中Pre-Norm和Post-Norm的设计差异是什么？对模型训练稳定性和性能有何影响？5.在生成式大模型（如LLaMA、GPT）中，为何通常采用Decoder-only架构而非Encoder-Decoder结构？6.请描述大模型中自然语言理解模块的具体实现方案，包括语义解析和意图识别的关键技术。7.针对Transformer模型推理过程，会采用哪些优化手段8.请阐述检索增强生成（RAG）的核心原理，并说明如何通过RAG缓解大模型的幻觉问题。9.vLLM框架的核心优化原理是什么？其在动态批处理和显存管理上有哪些创新设计？10请对比RLHF、PPO、DPO算法的技术差异、优缺点及适用场景

发点面经攒攒人品1、你在线上或离线训练时，过拟合怎么处理？直接说你最有效的三个方法和拿到的收益。2、把 BN 讲透：原理是什么；训练期和推理期用的统计量有何不同；跟 LN、GN 比，分别什么时候用、怎么取舍。3、分类和回归你最常用哪些损失？你更偏好哪几个，为什么（从鲁棒性、梯度、数值稳定性上谈）。4、L1 和 L2 正则你怎么选？它们各自的效果与风险是什么，工程里你是怎么权衡的。5、二元和多分类的交叉熵你怎么写？在工程里你怎么做数值稳定实现。6、AUC 到底在统计上代表什么？你怎么计算它，在线上业务里你如何解释“这次 AUC 提升”的含义。7、你做 CTR/CVR/CTCVR 联合建模时，ESMM/ESMM2 是怎么推导与工程落地的？线上到底带来了什么收益。8、Transformer 里因果注意力的 Q/K/V 各从哪来？Mask 具体怎么实现。9、Scaled Dot‑Product Attention 为啥要除以 √dk？如果不除会出什么数值或训练问题。10、把 Transformer / Decoder‑only 的整体结构过一遍，各个组件分别在干什么，有哪些常见变体。11、位置编码这条线你怎么选：绝对 PE、相对 PE、RoPE 各自的思路、优势和局限，结合你的项目谈取舍。12、长上下文怎么搞？Rope scaling、Position Interpolation、KV Cache 管理、检索增强、窗口注意力，你的实战方案是什么。13、KV Cache 在训练和推理中的差异是什么？它的加速价值有多大，吞吐与延迟你是如何权衡的，vLLM/paged‑attention 需要注意什么。14、PEFT 方案里（LoRA/QLoRA/Prefix/Prompt‑Tuning/Adapter）你怎么选？说说稳定训练的经验。15、SFT 和对齐（RLHF/DPO/IPO/PPO）原理差在哪？在不同数据与资源条件下，你怎么选路线。16、RAG 系统你怎么设计？切分、索引、召回/重排、压缩/融合、兜底策略怎么串。17、提示词工程你是怎么搞的？System/角色/约束/分步指令怎么写，如何防越狱

给我面没招了，发点面经攒攒人品～1.介绍一下你的实习经历和主要工作内容。2.在微调大模型时，你使用过哪些框架？它们的优缺点分别是什么？3.CLIP 模型的 zero-shot 能力是如何实现的？它在多模态任务中的应用有哪些优势？4.Transformer 中 Pre-Norm 和 Post-Norm 的设计差异是什么？对模型训练稳定性和性能有何影响？5.在生成式大模型中，为何通常采用 Decoder-only 架构而非 Encoder-Decoder 结构？6.请描述大模型中自然语言理解模块的具体实现方案，包括语义解析和意图识别的关键技术。7.针对 Transformer 模型推理过程，你会采用哪些优化手段？8.请阐述RAG的核心原理，并说明如何通过 RAG 缓解大模型的幻觉问题。9.vLLM 框架的核心优化原理是什么？其在动态批处理和显存管理上有哪些创新设计？10.请对比 RLHF、PPO、DPO 算法的技术差异、优缺点及适用场景。