小米 AI 大模型面试

1.  注意力机制：请简述 MHA、MQA 和 GQA 三种注意力机制的核心区别。2.  模型架构：Dense 模型与 MoE 模型有何本质区别？3.  路由机制：MoE 模型中，路由（Routing）机制具体是如何工作的？4.  LoRA 微调：请阐述 LoRA 的原理，以及其中 A、B 矩阵的初始化方式和秩（Rank）的设置考量。5.  强化学习：请对比 DPO、PPO 和 GRPO 的原理与区别，并写出 DPO 的 Loss 函数公式。6.  推理加速：vLLM 中使用了哪些关键技术（如 PagedAttention、KV Cache）来优化推理？7.  并行框架：你对 DeepSpeed 这一加速推理与训练框架有多少了解？8.  BM25 算法：请讲解 BM25 算法的计算原理。9.  负载均衡：MoE 模型中专家（Expert）的负载不均衡问题该如何解决？10.  损失函数：能否通过修改损失函数的方式来缓解 MoE 的负载均衡问题？11.  数据分布：SFT 微调数据与预训练数据分布差异较大时，该如何处理？12. Scaling Law：SFT 微调的数据集是越大越好吗？是否存在 Scaling Law 现象？13. 训练稳定性：强化学习（RL）为何存在训练不稳定的问题？既然不稳定为何业界仍广泛使用？14. 三数之和：LeetCode 15. 三数之和。📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

如题，bg双九，研二学生，电子信息专业，课题是集群异常检测与影响评估软件开发相关的，目前无实习无论文，项目大都是飞行器健康管理相关的，现在想学习大模型应用开发方向并与课题结合起来做agent，然后找大模型应用开发相关的实习与工作，希望大家能提供思路和分析及可靠学习路线，十分感谢！

1．项目介绍，过实习，讲论文，根据表述实时跟进询问交流2．讲一下大模型训练和推理的流程， SFT 和 RLHF 的作用分别是什么3．为什么探索 MoE 架构， MoE 相比 Dense 有什么好处4．有没有全量微调过5．推导一下神经网络反向传播的过程6．在 RLHF 中，目前主流的强化学习算法有哪几个，写一下损失函数的表达式7．一道排列组合的概率题8．平常有用过 RLHF 吗，简单介绍一下9. 开放题：对目前大模型的发展有什么看法10.代码：多头自注意力

首先讲为什么写这篇啊，因为现在基本上都是开源模型的，然后大量的公司需要自己的数据和样本，所以非研究院这种，基本上都是开源模型二开，所以说基本上都是调试出自己的模型，部署在自己的显卡上。那么这里就有专门的一个岗位，大伙可以去搜，叫模型部署的岗位，不过只有大公司才会有，一般的话，都是顺手全干完的。比如我hhh，我一个人能顶人家几个，有时候能力越大，干活越多，而不想干活，就要装糖，然后能力越小，所以说能力越大，能力越小。ok，正式开始啊，上面讲了为什么要部署自己的模型，这里我默认，你知道有ollma这个种东西，也默认你已经下载好了模型，有自己的显卡。比如说你下载了个各方面都很好的，自我感觉良好的模型...