1.MOE 原理，讲一下负载均衡以及有哪几种类型？ 你能写一下公式吗？2.MOE 的 expert parallel 如何做的？ 你用了 swift 参数怎么设置的，有 2 个 node 你如何分配你的训练参数？3.做 grpo 遇到熵崩没有？你是怎么理解的？如何解决的（clip higher 限制、小学习率）4.大模型容易 reward hacking，如何解决？你说训一个小模型，那小模型数据如何来？还有什么办法吗？5.VLLM prefix cache实现过吗？ 讲一下你的理解6.在训练 grpo 时候应该更新rollout 的 mllm 吗？（ref model）7.手撕： transformers encoder

1️⃣ 自我介绍2️⃣dpo训练对于系统问答的优化在哪里3️⃣提高模型的准确率核心是什么4️⃣rerank 用的什么模型5️⃣swiGLU 的改进6️⃣全参数微调 7B 需要多少显存7️⃣FP16/BF16 区别8️⃣介绍 gradient checkpoint9️⃣RougeL 计算方法1️⃣0️⃣代码：找数组第 k 大元素

1.项目介绍2.训练样本大概多少条3.为什么会想在重排做生成式4.如果是做生成式召回应该对模型结构怎么修改5.有考虑用别的强化学习的方法吗6.dpo 的公式是什么7. grpo 了解吗8.beamsearch 怎么做的9.大模型了解多少，强化学习了解什么10.手撕 transformer 并计算 flops 和内存开销

1.自我介绍，过实习，讲论文，论文过的比较细，有说的笼统的地方面试官会实时进行询问交流2.了解哪些大模型，简要挑一两个介绍一下，当时说了Qwen和DeepSeek，然后面试官又问了这两个有什么区别3.接着上一问，为什么大家都开始探索 MoE架构，MoE 相比 Dense 有什么好处4.在之前实习的时候用 LORA 微调过 Owen，于是问了有没有全量微调过，有没有对比过两者的性能表现5.讲一下大模型训练和推理的流程，SFT和 RLHF的作用分别是什么6.在 RLHF 中，目前主流的强化学习算法有哪几个，写一下损失函数的表达式7.代码:22.括号生成8.代码:多头自注意力

AI大神卡帕西发现，与其追求某个完美工具，不如把几种工作流拼接起来，取长补短。于是，他总结出了自己的“四层AI编程工具链”，整理给大家👇1️⃣ 日常主力：Tab自动补全差不多75%的写代码场景，还是依赖Cursor的Tab补全。在合适的位置写几行注释或代码，就是对LLM最直接的“任务说明”。2️⃣ 精准微调：高亮+修改高亮一个具体的代码块并要求进行某种修改。3️⃣ 整块功能：Claude Code/Codex用来处理相对容易描述的整块功能。这些工具非常有用，尽管总体效果参差不齐。但在要涉足不太熟悉的、更偏向氛围编程（vibe-coding）的领域时，它们是不可或缺的。这些工具也很适合一次性任务，例如CC可以快速写出1000行一次性的、广泛的可视化/代码找bug，找到错误后，所有这些代码都会被立即删除。这就是代码后稀缺时代：代码不再是稀缺资源，随便写，随便删。4️⃣ 最后防线：GPT-5 ProGPT-5 Pro用来处理最困难的事情。例如，当人/Cursor/CC都被一个错误困住了时，就可以把整个东西复制粘贴给5 Pro，它虽然会运行10分钟，但最终真的能找到一个非常细微的错误。

1.GAN和Transformer 这两个分别在你的项目里承担了哪些作用？这两个是怎么帮助你推动模型进行图像或者视频重建并提升性能？2.你的GAN以及生成器和判别器主要负责什么工作的，讲一下他们的核心作用以及怎么协同的3.你做项目的时候是先用的生成器还是判别器，为什么要这样设计呢？4.你的轻量化参差模块在优化Swin transformer发挥的什么作用？5.计算机视觉中多尺度融合是什么含义6.为什么深层次神经网络中提取的图像特征被称为”语义特征”？怎么处理图片信息的，多尺度特征的提取怎么提升的模型性能，你用了什么技术和算法框架去实现的7.在你处理模型时用的什么注意力机制，在大模型图像处理项目时这些模块在整体架构分别承担了什么职责？8.你在里面用的对抗损失函数怎么设计的，怎么结合别的模块使用的9.你用的WGAN，他和原始的GAN是怎么改进梯度问题的，以及损失函数中梯度惩罚项怎么实现的Lipschitz约束10.你说一下逻辑回归他的原理还有适用场景以及如何实现的11.在逻辑回归中，我们一般用交叉墒损失函数，你可以说一下为什么吗？12.你结合一下逻辑回归二分类任务，说一下为什么这种情况经常使用交叉墒损失而不是均方误差损失呢？13.L1L2正则化在机器学习模型中的作用是什么(这里要求写数学公式)14.请详细介绍一下PPO这个在强化学习中的策略优化算法，主要思路和流程是什么15.在PPO的算法损失函数中，有两个操作，一个是clip，还有一个是min，请你说一下这两个操作的方式作用还有他们在PPO中的意义。16.在PPO算法的损失函数设计中，cilp的操作已经能够限制策略更新的幅度确保稳定性，为什么还需要在损失计算中取原始的目标和clip的较小值？如果只保留clip部分，不取较小值会有什么问题？

1、实习介绍2、讲述论文内容和细节。3、对于模型训练过程中，如果出现样本标签数据分布极其不均衡，通常会采取什么方法来解决问题。4、transformer的感受野encoder中是可以看到所有的token的，你认为感受野越大越好还是越小越好。5、位置编码：sin cos，正余弦，bert可学习位置编码，rope相比于正余弦编码的优势。6、欠拟合和过拟合定义，通常如何解决？7、transformer的位置编码的基底是10000，为什么设置100008、手撕：岛屿的数量。

1.项目介绍2.介绍实习工作3.团队合作内容4.介绍自己负责的工作内容5.AI算法题6.面试官介绍组里目前重点工作7.过去之后负责什么工作

一、算法与基础1. 手撕Transformer decoder层代码，要求实现mask机制2. 预训练时为什么要用Masked LM而不是直接预测下一个token？3. 大模型量化中，INT4和FP16的精度损失主要差在哪些场景？怎么弥补？4. 讲一下MoE结构的原理，为什么能在增加参数量的同时控制计算成本？二、项目深挖1. 你做的大模型压缩项目，为什么选择知识蒸馏而不是量化？2. 训练时遇到过loss震荡吗？怎么定位是数据问题还是模型问题？3. 你们的模型部署延迟要求是多少？用了哪些优化手段？4. 如何评估一个生成模型的创造性？有哪些量化指标？三、业务场景题如果让你设计一个垂直领域小模型，数据量有限但要求推理快，完整流程会怎么设计？

1. 主要问简历项目2. lora原理以及AB矩阵初始化3. 开放性：你觉得你的xx项目还能怎么优化？如果给你足够的时间和资源，你会怎么做？手撕1. 返回严格递增最长子序列长度2. 手写lora公式反问部门业务：b站搜推大组

1.上来先写代码题 LC300.最长递增子序列2.AUC的理解、一道AUC的计算题3.了解PCOC嘛？PCOC和AUC的区别4.讲一讲LR损失函数5.sigmoid为什么会造成梯度消失？6.介绍FM7.拷打项目8.平时怎么学习ctr点击率预估这些模型的？

1.实习介绍2.介绍一下两个项目的来源？3.项目是完全自己独立完成还是团队合作？4.RAG 项目在开发过程中遇到的难点是什么？5.多路召回策略：各策略召回文档的好坏如何评估？6.是否有独立且成熟的评价体系衡量召回质量？7.性能指标提升如何对比？8.8.7% 的提升对应的 baseline 是什么？9.vLLM 部署：如何实现 2k tokens/s 的吞吐？10.并发与压力测试（batch/并发规模）如何设置的？11.讲一下 DPO / PPO / GRPO 的原理与区别12.对 GRPO 的后续优化算法是否了解？（进一步的改进方向）13.在百度实习期间遇到的最难问题是什么？14.MCP 协议相较于 Function Call 的优势是什么？15.算法题：买卖股票的最佳时机先讲一下思路、分析复杂度、最后手撕写出来之后 运行通过

1.项目介绍2.介绍实习工作3.几个人在做这项工作4.介绍一下自己负责的工作内容5.算法题6.没出leetcode题目7.出了一道AI算法题（写出了大概思路）8.面试官介绍组里目前重点在做什么工作9.聊过去之后主要会让负责什么工作10.组里计算资源充足 不需要担心

1.项目拷打为主2.项目中的OCR怎么做的，为什么用大模型做3.后训练的数据规模有多少？数据集是自己构建的吗4.数据清洗采用了什么策略5.OCR如何处理复杂表格6.微调前后准确率对比7.Badcase有哪些，占比怎么样8.为什么用GRPO不用DPO9.什么任务适合DPO10.模型微调用的是全参微调还是lora微调，为什么这么选11.Lora微调的阿尔法和rank是怎么选择的，对模型的影响分别是怎么样的12.GRPO奖励怎么设计的13.是否做过消融实验14.讲讲react思想15.讲讲agent中的反思模块逻辑16.Agent中数据是怎么交互的