1.八股：bf16 和 float16 的区别？各占多少位？训练中如何选择？2.八股：DeepSpeed Zero 各阶段分别做了哪些优化？3.八股：如何估算 LLaMA-7B 模型推理时的显存占用？4.八股：Prefix LM、Causal LM、Encoder-Decoder 三类架构的适用场景与优缺点？5.八股：Qwen 或 DeepSeek 技术报告中提到的关键创新点有哪些？（如 RoPE 外推、MoE）6.项目：PPO/GRPO 微调后，如何防止模型在分布外（OOD）问题上性能崩塌？7.项目：是否自己实现过 RLHF 流程？不用框架能否手写 PPO 核心逻辑？8.项目：模型部署用了什么框架（vLLM/TGI/自研）？如何优化推理延迟和吞吐？9.项目：未来希望专注大模型哪个方向？（对齐 / 推理加速 / 长上下文？）为什么？10.代码题：LeetCode 25：K 个一组翻转链表

1. 项目继续深挖依然是实习项目，可能会延伸到方案对比、难点、优化空间等。2. 大模型应用与方法1.对一份数据做分类/识别/检测，用大模型有哪些方法？2.如何评估AIGC生成的文本？3.大模型“幻觉”如何缓解？真实性如何评估？4.RAG过程中索引可以做哪些优化？3. 模型训练与优化1.KL散度表示什么？2.反思机制是怎么做的？为什么用反思？3.PPO中KL散度的作用？4. 手撕代码实现KMeans实现一个简单的MLP，从CSV读取数据

1.八股：一个7B参数的大语言模型，在训练和推理时分别需要多少显存？影响显存占用的关键因素有哪些？2.八股：SFT 阶段，7B 和 70B 模型的学习率设置通常有何不同？背后的原理是什么？3.项目：DPO 训练过程中，你会重点关注哪些评估指标？为什么？4.项目：训练一个基于 pair 对的 reward 模型，loss 函数怎么写？如果是非 pair 形式（只标注最优 response），loss 又该如何设计？5.项目：DPO数据构造中常出现正负样本不均衡问题，你有哪些解决方案？6.项目：用DPO缓解幻觉时，如果反而引入了新的幻觉，可能是什么原因？7.项目：DPO中的beta参数代表什么？过大或过小会带来什么影响？8.项目：你在微调时是否观察过不同层的梯度差异？9.项目：不同参数高效微调方法（如 LoRA vs Adapter）在你的任务上效果对比如何？

bg: 211本➕985硕，一篇多智能体强化学习领域的中科院一区期刊，有一段大厂的后端实习。准备再做两个大模型微调和agent的项目，想转大模型应用开发，春招能有机会嘛😢😢