感觉是项目经历太浅太少了，寒假沉淀沉淀年后再战吧...1. 实习介绍2. 项目深挖3. RAG的问题与改进方案4. 在不能修改模型的情况下，如何调整模型回复风格5. 为什么大模型有few-shot能力？讲一下few-shot能力的原理6. PPO、DPO、GRPO、DAPO等RL算法的原理和区别7. 平时是否使用vibe coding？对此有什么看法？8. 手撕代码：编辑距离，分析写法的时空复杂度，有什么更优的写法

1.项目八股对于 Megatron-LM，多头注意力计算是使用的 TP 还是 PP，可以举个例子，比如说我现在注意力计算有16 个头，现在是有 4 个 gpu 做 TP，那么是如何进行实现的，是切分行还是切分列2.手撕最长递增子序列3.反问业务，对实习生的期望

1，介绍RAG流程，分段有没有做优化；编码模型和重排模型用了什么；Qwen3系列和bge系列的原理，Qwen3系列编码模型是怎么训练的2，RAG怎么评估，用了哪些指标；RAGAS有哪些指标，为什么不直接用库3，Agent的思想是什么，Agent包含哪些部分；介绍DeepResearch；介绍Agent怎么做任务规划和问题分解4，SFT数据集怎么构建，问题不够多样化怎么解决5，介绍LoRA原理；LoRA分支怎么初始化，为什么这么做6，self-attention公式；为什么要scaling7，介绍KV Cache；vllm是怎么加速推理8，RLHF，介绍PPO，包含多少个模型；GRPO与PPO的区别；GRPO的缺点；介绍GSPO

1. 项目细节：Qwen 2.5 VL的图片输入处理与Loss设计2. 项目细节：ViT的结构和原理3. 项目细节：Qwen 2.5 VL与普通Transformer结构差异4. 八股：RMSNorm与LayerNorm的区别及大模型偏好5. 算法题：LC25 K个一组反转链表6. 强化学习方法对比：GRPO、DPO、PPO、DAPO、GSPO7. 项目细节：图片如何传递给VLM并被理解

Transformer1- Transformer 的完整编码器-解码器架构和工作流程(完整输入输出)？2- Encoder 和 Decoder 分别适用于什么场景？3- Multi-Head Attention的数学公式和计算过程4- 为什么注意力计算要除以√d_k（缩放点积注意力的原因）5- 为什么 Transformer 用 Layer Normalization6- Layer Normalization 的位置和作用（Pre-LN vs Post-LN）7- Encoder 的 self-attention mask 机制8- Decoder 的 masked self-attention 原理9- Transformer/MHA 的参数量与计算量10- 多头注意力的"头"是什么意思？不同头是否学习到不同模式？11- 位置编码的作用和实现方式（正弦余弦编码 vs 学习式编码），为什么要引入位置编码？12- 你还了解哪些位置编码13- Transformer 相较于 CNN， LSTM 等模型的优势在哪？

1. word2vec，skip n-gram具体流程。2. 介绍attention的计算，self-attention和cross-attention区别。3. auc的定义，当处理正负样本不均衡的情况时，auc还适用么，请根据 tpr 和 fpr 的定义进行解释。4. 推荐链路提问，召回->粗排->精排->重排，每一步充当什么样的角色。然后就是深挖项目实习。手撕：区间合并

项目方面： 1、用的什么模型？数据有多少？模型的输入输出长什么样子？2、如何评估蒸馏后的模型的指标？具体指标如何计算？3、知不知道别的高效参数微调方法？为什么大家都普遍用LoRA？4、Neo4j的图查询是精确查询，为什么没使用向量查询？是否了解GraphRAG？没问到具体八股和手撕

1.MOE 原理，讲一下负载均衡以及有哪几种类型？ 你能写一下公式吗？2.MOE 的 expert parallel 如何做的？ 你用了 swift 参数怎么设置的，有 2 个 node 你如何分配你的训练参数？3.做 grpo 遇到熵崩没有？你是怎么理解的？如何解决的（clip higher 限制、小学习率）4.大模型容易 reward hacking，如何解决？你说训一个小模型，那小模型数据如何来？还有什么办法吗？5.VLLM prefix cache实现过吗？ 讲一下你的理解6.在训练 grpo 时候应该更新rollout 的 mllm 吗？（ref model）7.手撕： transformers encoder

1️⃣ 自我介绍2️⃣dpo训练对于系统问答的优化在哪里3️⃣提高模型的准确率核心是什么4️⃣rerank 用的什么模型5️⃣swiGLU 的改进6️⃣全参数微调 7B 需要多少显存7️⃣FP16/BF16 区别8️⃣介绍 gradient checkpoint9️⃣RougeL 计算方法1️⃣0️⃣代码：找数组第 k 大元素

1.项目介绍2.训练样本大概多少条3.为什么会想在重排做生成式4.如果是做生成式召回应该对模型结构怎么修改5.有考虑用别的强化学习的方法吗6.dpo 的公式是什么7. grpo 了解吗8.beamsearch 怎么做的9.大模型了解多少，强化学习了解什么10.手撕 transformer 并计算 flops 和内存开销

1.自我介绍，过实习，讲论文，论文过的比较细，有说的笼统的地方面试官会实时进行询问交流2.了解哪些大模型，简要挑一两个介绍一下，当时说了Qwen和DeepSeek，然后面试官又问了这两个有什么区别3.接着上一问，为什么大家都开始探索 MoE架构，MoE 相比 Dense 有什么好处4.在之前实习的时候用 LORA 微调过 Owen，于是问了有没有全量微调过，有没有对比过两者的性能表现5.讲一下大模型训练和推理的流程，SFT和 RLHF的作用分别是什么6.在 RLHF 中，目前主流的强化学习算法有哪几个，写一下损失函数的表达式7.代码:22.括号生成8.代码:多头自注意力

AI大神卡帕西发现，与其追求某个完美工具，不如把几种工作流拼接起来，取长补短。于是，他总结出了自己的“四层AI编程工具链”，整理给大家👇1️⃣ 日常主力：Tab自动补全差不多75%的写代码场景，还是依赖Cursor的Tab补全。在合适的位置写几行注释或代码，就是对LLM最直接的“任务说明”。2️⃣ 精准微调：高亮+修改高亮一个具体的代码块并要求进行某种修改。3️⃣ 整块功能：Claude Code/Codex用来处理相对容易描述的整块功能。这些工具非常有用，尽管总体效果参差不齐。但在要涉足不太熟悉的、更偏向氛围编程（vibe-coding）的领域时，它们是不可或缺的。这些工具也很适合一次性任务，例如CC可以快速写出1000行一次性的、广泛的可视化/代码找bug，找到错误后，所有这些代码都会被立即删除。这就是代码后稀缺时代：代码不再是稀缺资源，随便写，随便删。4️⃣ 最后防线：GPT-5 ProGPT-5 Pro用来处理最困难的事情。例如，当人/Cursor/CC都被一个错误困住了时，就可以把整个东西复制粘贴给5 Pro，它虽然会运行10分钟，但最终真的能找到一个非常细微的错误。

1.GAN和Transformer 这两个分别在你的项目里承担了哪些作用？这两个是怎么帮助你推动模型进行图像或者视频重建并提升性能？2.你的GAN以及生成器和判别器主要负责什么工作的，讲一下他们的核心作用以及怎么协同的3.你做项目的时候是先用的生成器还是判别器，为什么要这样设计呢？4.你的轻量化参差模块在优化Swin transformer发挥的什么作用？5.计算机视觉中多尺度融合是什么含义6.为什么深层次神经网络中提取的图像特征被称为”语义特征”？怎么处理图片信息的，多尺度特征的提取怎么提升的模型性能，你用了什么技术和算法框架去实现的7.在你处理模型时用的什么注意力机制，在大模型图像处理项目时这些模块在整体架构分别承担了什么职责？8.你在里面用的对抗损失函数怎么设计的，怎么结合别的模块使用的9.你用的WGAN，他和原始的GAN是怎么改进梯度问题的，以及损失函数中梯度惩罚项怎么实现的Lipschitz约束10.你说一下逻辑回归他的原理还有适用场景以及如何实现的11.在逻辑回归中，我们一般用交叉墒损失函数，你可以说一下为什么吗？12.你结合一下逻辑回归二分类任务，说一下为什么这种情况经常使用交叉墒损失而不是均方误差损失呢？13.L1L2正则化在机器学习模型中的作用是什么(这里要求写数学公式)14.请详细介绍一下PPO这个在强化学习中的策略优化算法，主要思路和流程是什么15.在PPO的算法损失函数中，有两个操作，一个是clip，还有一个是min，请你说一下这两个操作的方式作用还有他们在PPO中的意义。16.在PPO算法的损失函数设计中，cilp的操作已经能够限制策略更新的幅度确保稳定性，为什么还需要在损失计算中取原始的目标和clip的较小值？如果只保留clip部分，不取较小值会有什么问题？

1、实习介绍2、讲述论文内容和细节。3、对于模型训练过程中，如果出现样本标签数据分布极其不均衡，通常会采取什么方法来解决问题。4、transformer的感受野encoder中是可以看到所有的token的，你认为感受野越大越好还是越小越好。5、位置编码：sin cos，正余弦，bert可学习位置编码，rope相比于正余弦编码的优势。6、欠拟合和过拟合定义，通常如何解决？7、transformer的位置编码的基底是10000，为什么设置100008、手撕：岛屿的数量。