中科闻歌

1.八股：大模型框架了解哪些，介绍下vllm原理2.八股：常用的LLM，讲解DeepSeek R1的训练流程和基本原理。3.八股：讲讲MOE架构和Dense架构差异，在训练和推理方面4.项目：介绍实习项目，项目中有没有做微调？5.项目：DPO，PPO和GRPO的区别6.项目：为什么PPO要用value baseline和GAE？它们如何让训练更稳定？7.项目：为什么GRPO在训练MOE时会出问题？原因是啥，怎么改进策略8.项目：GRPO的KL散度是什么？KL散度中超参数如何设计？9.项目：阐述大模型的幻觉现象及抑制方法。10.代码题：lc300 最长递增子序列

一、项目深挖1. 训练时显存占用高的瓶颈在哪？做了哪些显存优化？2. 如果重新做一次，你会在哪些环节提前做 ablation？二、 延伸八股：1. AdamW 与 Adam 在权重衰减上的实现差异？2. 梯度累积等价于 batch 扩大的严格条件是什么？3. PPO 的核心目标函数是什么？每个符号的物理意义？4. 相比 PPO，GRPO 的“Group”体现在哪一步？5. KL 散度在 RLHF 阶段出现的位置、作用以及过大/过小分别会导致什么现象？6. Multi-Agent 场景里，Reflection 模块与 Memory 模块的输入输出各自是什么？它们如何解耦又能互相增强？7. 简述 MRR 的计算流程。8.同样是排序指标，NDCG 与 MRR 的评估视角差异在哪？三、手撕环节原地快速排序

1.实习介绍2.介绍transformer架构3.transformer架构为什么要切分为多头？4.讲一下attention的具体计算步骤5.计算attention的softmax之前为什么要除根号d_k6.介绍一下transformer位置编码；还了解别的位置编码吗？7.如果在transformer中，把K去掉，变成Q*Q*V，这样会有什么问题吗？假如不考虑解码器，只考虑编码器内部的attention操作的话，这样会有什么问题？8.transformer是encoder-decoder架构，而GPT是decoder-only架构，为什么会演变成这样一种形式？为什么把encoder给舍弃掉了？9.为什么像GPT这种生成式任务，不同时利用encoder-decoder？10.transformer的FFN层为什么会逐渐演变成MOE层？11.moe层的负载均衡具体是怎么做的？偏置项b是怎么训练的？你怎么保证有一个机制让偏置项得到变换？照理来说，偏置项b应该放到损失函数中，这应该怎么设计？12.做agent有哪些框架？13.做agent的开发范式有哪些？14.lora微调的核心原理是什么？15.大模型幻觉了解吗，怎么缓解大模型幻觉？16.手撕，最长递增子序列

1. 自我介绍环节：简要介绍个人背景与技能。2. 经历阐述：介绍实习经历，并自选一篇论文进行讲解。3. 项目细节追问（具体内容略）：针对项目展开深入提问。4. 大模型生成评测：大模型生成内容的评测方式有哪些，具体如何操作？5. RAG技术短板：RAG存在哪些缺陷？6. 大模型输出一致性：如何确保大模型输出内容的一致性？7. DeepSeek R1详解：讲解DeepSeek R1的训练流程和基本原理。8. 强化学习算法辨析：DPO、PPO、GROP之间的区别是什么？9. SFT与强化学习对比：SFT和强化学习各自有什么优缺点，分别适用于什么场景？10. 提示工程方法：提示工程的主要方法有哪些？11. 大模型幻觉问题：阐述大模型的幻觉现象及抑制方法。12. 多智能体协同：如何保证多智能体协同的效果？