快star大模型架构面经

1. 介绍一下项目2. 多头注意力机制的计算复杂度是多少？3.LoRA 的核心思想是什么？4. GRPO 训练时 KL 散度控制得怎么样？5. SFT 阶段如何避免对padding token 计算 loss ？6.训练 SFT 模型时 loss 出现剧烈震荡，你是如何诊断并解决的？7. Transformer 中为何使用 LayerNorm 而非 BatchNorm ？8. Transformer 里LayerNorm 放在 Attention 前还是后？有什么区别？9. logprobs 在一致性奖励中起什么作用？📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1.八股：LoRA 和全参数微调的核心区别是什么？在显存和训练效率上各有什么优劣？2.八股：DPO、PPO、GRPO 三者的优化目标有何不同？为什么 GRPO 的 loss 中要显式加入 KL 散度项？3.八股：Transformer Encoder 中 FFN 的作用是什么？4.八股：什么是 DeepSeek 的 MLA？它的优势是什么？5.项目: 你在实习中用 LoRA 微调了哪个开源大模型？具体 rank、alpha、dropout 是多少？为什么这样设置？6.项目：SFT和DPO 数据是否有重叠？DPO 的偏好数据是如何构造的？人工标注成本大概多少？7.项目：你们的 RAG 系统召回阶段用了 BGE-M3 还是 BM25？最终选择依据是什么指标（如 Recall@k）？BGE-M3 输出向量维度是多少？8.项目：为什么不用纯向量相似度直接生成答案，而要再过一遍大模型？这样做对幻觉和安全性有什么帮助？9.手撕：接雨水（LeetCode 42）

1.项目拷打谈谈传统搜索算法和 RAG 的理解2.为什么大模型结合 RAG 会出现 AI 幻觉的现象？3.介绍一下 MHA4.了解 MHA 的变体吗？5.了解 KV 缓存吗6.介绍一下 self attention 吧7.了解 PE 优化吗8.了解 dpo 和 PPO 吗9.了解 ReAct 架构吗10.如果你有一个待优化的模型和一堆 query ，你怎么利用 PPO 来优化模型？📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1.项目介绍2.讲一下在百度实习期间做的主要工作。3.压缩专家机制是如何实现的？4.用的训练数据集规模分别是多少？5.为什么选择用SFT训练，而不是用RL训练？6.介绍一下 DPO, PPO, GRPO的原理和区别7.PPO的损失是token级别还是sequence级别的？8.PPO中的Critic模型是如何计算优势的？9.讲一下LoRA微调技术原理10.LoRA微调是如何减少训练参数的？11.LoRA技术有哪些优势？12.算法题手撕 三数之和（撕出来了