美团多模态大模型算法岗面经

八股 1.bf16 和 float16 的区别？各占多少位？训练中如何选择？2.DeepSpeed Zero 各阶段分别做了哪些优化？3.如何估算 LLaMA-7B 模型推理时的显存占用？4.Prefix LM、Causal LM、Encoder-Decoder 三类架构的适用场景与优缺点？5.Qwen 或 DeepSeek 技术报告中提到的关键创新点有哪些？例如： RoPE 外推、MoE6.PPO/GRPO 微调后，如何防止模型在分布外（OOD）问题上性能崩塌？7.是否自己实现过 RLHF 流程？不用框架能否手写 PPO 核心逻辑？8.模型部署用了什么框架（vLLM/TGI/自研）？如何优化推理延迟和吞吐？9.未来希望专注大模型哪个方向？例如：对齐 / 推理加速 / 长上下文手撕：K 个一组翻转链表（LeetCode 25）

1. 简历深挖围绕实习项目展开，问得很细，建议把自己做的每个模块的逻辑、贡献、思考都理清楚。2. 理论基础1.KL散度和交叉熵的关系？2.介绍LoRA，和全参SFT怎么选？小模型SFT vs 大模型LoRA效果可能如何？SFT数据集怎么构建？3.介绍AUC，它表达的是什么？4.Recall重要的场景下，如果recall很高但precision很低怎么办？5.Precision和Recall分别是什么？不同场景下如何权衡？哪个更重要？3. 手撕代码实现 shuffle 函数（注意洗牌算法的公平性和复杂度）

虽然我的简历上第一个就是烂大街的java项目，什么外卖、点评、商城之类的。但是我还是推荐大家在找实习或是一开始学技术栈时通过这些烂大街的项目去练手并熟悉相关技术。牛客上也有很多这些项目的知识点和难点，可以拿来参考参考。最好是自己能在这些项目上有新的亮点，这样在面试时可以和面试官多吹一吹。简历上的第一个项目可以是烂大街的，第二个项目的话，最好是有亮点，可以吸引面试官的。最好不要太特别或小众，这样的话，面试官不太熟悉，就不会对着简历问了，可能直接拷打八股了。牛客上有不少可以参考的项目，可以看看。github上也有不少项目，但主要是自己能够实现，能有可以吹的点，并且要很熟悉。如果只是对着别人的项目或视频简单敲一敲代码，那样的话就没啥突出的点了。

1，讲下实习项目c吧（应该是只有c和组里工作相关）2，模型某个设置可能会受到样本分布变化影响，怎么解决的3，回归用mse和mae区别在哪4，除了看loss，某指标如何离线评价（没说上来，胡言乱语了一下）5，（场景题）目前gpu资源比较紧张的前提下（没法做大规模实验），对于多目标模型，假如说现在有个特征想加，算了相关系数，跟ctr正向，cvr负向，那你到底要不要加上。（感觉又有点胡言乱语了）手撕交叉熵公式（卧槽刚想起来好像把label也写到log里面了……数学奇迹之log0）分割等和子集（边界条件磕磕绊绊了一下）反问业务 工作