26校招｜美团大模型面经

1. 在LLM推理里，我们经常听到一个词叫prefill，能解释一下它是什么意思吗？2. 我们来聊聊Transformer的基础吧。能先介绍一下Softmax函数吗？然后整体讲讲Transformer模型，特别是里面的QKV（Query, Key, Value）机制，能详细说说这个过程吗？3. Transformer的训练复杂度还挺高的，尤其是在处理长序列时。你了解哪些工作是致力于降低它训练时间复杂度的？4. 长上下文（long context）是现在LLM的一个研究热点，你都知道有哪些方法可以解决或者缓解长下文问题？5. GQA（Grouped-Query Attention）的原理是什么？...

一面（1.5h）1．自我介绍，过实习，讲论文，根据表述实时跟进询问交流2．讲一下大模型训练和推理的流程， SFT 和 RLHF 的作用分别是什么3．为什么探索 MoE 架构， MoE 相比 Dense 有什么好处4．有没有全量微调过5．推导一下神经网络反向传播的过程6．在 RLHF 中，目前主流的强化学习算法有哪几个，写一下损失函数的表达式7．一道排列组合的概率题8．平常有用过 RLHF 吗，简单介绍一下9. 开放题：对目前大模型的发展有什么看法10.代码：多头自注意力二面（1h）1．自我介绍，过实习和论文2．知道哪些强化学习算法，除了 PPO和 DPO 这些呢3. 知道 LoRA 的原理吗， A 和 B 两个矩阵怎么初始化，有了解过其他的初始化方法吗4．除了 DeepSpeed ，还用过其他的什么优化方法吗5．ZeRO -1, ZeRO -2,ZeRO -3三个模式的区别6．讲一下 RLHF 的流程，之前有用 RLHF 做过模型对齐吗7．当时你用 DeepSpeed ZeRO -3来微调Qwen2-72B，每一张卡占用的显存大概是多少，估算一下为什么是占这么多的显存8. 在微调 Qwen 的时候，数据是怎么构造的9.代码：无重复字符的最长子串📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

八股文：SFT 训练时，数据规模和模型大小之间有什么 scaling law？除了 GRPO，还有哪些改进技术？比如 DPO、GSPO？怎么解决 DPO 和 GRPO 的 reward hacking 问题？DPO、GRPO 和 PPO 有啥区别？聊聊全参数微调和 PEFT？PEFT 的四种模式（addition, replace, LoRA, prompt tuning）分别讲讲？ 手撕算法：链表题：判断链表有没有环，找出两个链表的相交节点。O(n) 时间复杂度内，找出数组中第 k 大的数。

rt，投了两个星期简历了，最近两天收到十几份笔试了，还有一堆测评，不过面试只收到两个。我基础比较差，项目和八股都很不熟，算法也只是hot100和代码随想录刷过一遍。再继续投下去的话如果还像这样每天应付测评笔试都得花好多时间，完全不能把项目和八股背熟，就算有面试估计也是寄，但是已经九月中了，如果不投到了二十号左右再投会不会好公司都快没hc了该停一个星期好好沉淀沉淀吗