阿里大模型算法校招二面-55min

1.八股：bf16 和 float16 的区别？各占多少位？训练中如何选择？2.八股：DeepSpeed Zero 各阶段分别做了哪些优化？3.八股：如何估算 LLaMA-7B 模型推理时的显存占用？4.八股：Prefix LM、Causal LM、Encoder-Decoder 三类架构的适用场景与优缺点？5.八股：Qwen 或 DeepSeek 技术报告中提到的关键创新点有哪些？（如 RoPE 外推、MoE）6.项目：PPO/GRPO 微调后，如何防止模型在分布外（OOD）问题上性能崩塌？7.项目：是否自己实现过 RLHF 流程？不用框架能否手写 PPO 核心逻辑？8.项目：模型部署用了什么框架（vLLM/TGI/自研）？如何优化推理延迟和吞吐？9.项目：未来希望专注大模型哪个方向？（对齐 / 推理加速 / 长上下文？）为什么？10.代码题：LeetCode 25：K 个一组翻转链表

1.在 RAG 应用中是如何做效果评估具体用了哪些指标2.如何训练用于 RAG 场景的生成模型3.vLLM 的核心原理是什么4.如何增强模型的多轮对话能力5. CoT ( Chain - of - Thought )训练数据如何构造6.介绍vL LM 、量化、 KV Cache 优化技巧7." packing "形式和"多轮对话"形式有何区别？8.LeetCode 72编辑距离📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1.介绍下transformer的结构2.如果微调模型出现复读机现象，是什么原因3.如果微调效果不好，怎么去分析4.能不能讲一下你对function call的理解5.问答系统上线，从query到生成回答，花多少时间6.Agent工具调用你知道怎么训练吗，训练集应该包含哪些，怎么得到训练的数据集7.假如一个query有两个工具可以调用，训练集应该怎么设计8.你构造数据集遇到过什么难点，如何解决问题

1.项目介绍2.讲一下在百度实习期间做的主要工作。3.压缩专家机制是如何实现的？4.用的训练数据集规模分别是多少？5.为什么选择用SFT训练，而不是用RL训练？6.介绍一下 DPO, PPO, GRPO的原理和区别7.PPO的损失是token级别还是sequence级别的？8.PPO中的Critic模型是如何计算优势的？9.讲一下LoRA微调技术原理10.LoRA微调是如何减少训练参数的？11.LoRA技术有哪些优势？12.算法题手撕 三数之和（撕出来了