AI面试到底会问哪些问题？整理了3轮面经，附答题思路！

写在前面：AI面试一般分技术面和行为面，大厂会有2~3轮技术面 + 1轮HR面。技术面以手撕代码 + 八股知识点为主，行为面主要考察项目经历和沟通能力。下面按模块整理高频题。

1、机器学习基础

请解释过拟合的成因以及你会如何处理？

几乎每家必问。答题时要涵盖：正则化（L1/L2）、Dropout、数据增强、Early Stopping、降低模型复杂度等。

BatchNorm 和 LayerNorm 的区别，各自适用场景？

CV 方向 BatchNorm 更常见；NLP/Transformer 中 LayerNorm 是标配。能对比 GroupNorm 加分。

梯度消失/爆炸是怎么产生的，有哪些解决思路？

从链式法则推导出原因，解决方案：残差连接、合理初始化（Xavier/He）、梯度裁剪、归一化。

2、大模型 / Transformer 专项

Attention 机制的原理，为什么要除以 √d_k？

重点：scaled dot-product attention 的计算流程；除以 √d_k 是为了缓解点积结果过大导致 softmax 进入饱和区的梯度消失问题。

大模型训练中 RLHF 的流程是什么？

分3步讲：SFT 监督微调 → Reward Model 训练 → PPO 强化学习优化。提到 DPO 作为替代方案会很加分。

如何用有限资源微调大模型？（LoRA / QLoRA）

LoRA 冻结原始权重，在旁路注入低秩矩阵；QLoRA 在此基础上加量化，显著降低显存占用。

KV Cache 是什么，有什么优化手段？

推理阶段缓存 Key/Value 避免重复计算；优化方向：Multi-Query Attention、Grouped-Query Attention、PagedAttention（vLLM）。