继续来分享下之前的面经~欢迎友好讨论，信息共享1.项目拷打2.R1的MLA是如何实现KV-Cache的节约?3.R1在SFT时冷启动的目的?4.位置编码是什么?解释ROPE?5.一个14B的模型，推理和训练要多少显存?6.显存的占用和哪些因素相关?7.大模型灾难性遗忘是什么?如何解决?8.BF16、 FP16、FP32对比。9.Adam, AdamW原理。

攒攒人品！有面试过同岗的朋友欢迎评论区交流1.多模态大模型中图文对齐、模态融合的核心方案有哪些?2.强化学习几种方法的优缺点分别是什么，分别适用于什么情况3.位置编码的演变，图片位置编码和语音的位置编码有什么不同4.最近读过哪些论文，说了一个关于thinking的5.thinking模型为什么幻觉严重，原理上怎么解释6.thinking模型重复输出或者前后矛盾问题有什么解决方法7.手撕:多头注意力机制实现

给我面没招了，发点面经攒攒人品～1* 项目拷打2* 项目的数据来源是什么？你是如何确定优化目标的？3* 比如数据从 100 条扩充到 1.2 万条，是否全通过自动化生成？生成的样本具体是什么样的？举个例子说明一下生成前后的对比4* 怎么保证自动化生成数据的正确性呢5* 在通过调整参数直到模型回答正确为止的过程中，是否意味着生成的CoT中存在错误逻辑？6* 经过数据清洗后，最终用于SFT的有效数据量是多少？7* 在做微调时，除了 LoRA 是否对比过其他的微调算法8* 你是如何评价微调效果的？测试集的比例是多少？微调前后的准确率分别是多少？原有的模型性能保留了多少？9* LLM常用的结构是什么？10* 说一下Transformer 的整体结构11* 目前主流大模型最常用的位置编码是什么？。12* 写一下多头注意力机制的数学公式。13* 公式中为什么要除以 \sqrt{d_k}？其对梯度消失或梯度爆炸有什么影响？14* 在 Transformer 的 Encoder 和 Decoder 中，哪些部分是可以并行计算的，哪些不可以？15* 除了 LoRA，你还了解哪些微调方法？16* 大模型训练通常使用什么损失函数17* 在机器学习基础中，二分类问题、多分类问题以及回归问题分别使用什么损失函数？18* 你了解哪些优化算法19* 模型训练中出现过拟合的常用解决方案有哪些？

面试很难，还是要多多练习，感觉自己说不明白业务逻辑1.讲论文和实习。2.LayerNorm和BatchNorm在大模型中的区别？为什么Transformer用LayerNorm？3.解释大模型训练中的“灾难性遗忘”现象及解决方法。4.如果微调后的模型过拟合，你会如何调整？5.如何评估一个对话系统的生成质量？6.如何用大模型提升网易新闻的推荐效率？7.设计一个游戏内AI陪玩系统，需考虑哪些模块？8.领域适配时，如何构建高质量的垂域训练集？9.你在项目中如何解决数据稀缺问题？10.模型上线后遇到了什么性能瓶颈？如何优化的？

1.自我介绍 2. Lora 原理（核心是低秩分解：将原始权重更新近似为两个低秩矩阵乘积，减少参数量，保留主导方向，训练高效） 3.了解 DeepSpeed 吗， ZeRO -1, ZeRO -2和 ZeRO -3分别做了哪些优化 （1 优化优化器状态，2 优化梯度，3 切分参数，全面节省显存） 4. Qwen的模型结构是怎么样的，相比于 LLaMA, DeepSeek 有什么区别（Qwen采用GQA+SwiGLU+RMSNorm，和LLaMA架构非常相似，差异在训练数据和tokenizer中文支持更好；DeepSeek只用MoE/ MLA架构，Qwen系列主要是Dense模型） 5.怎么缓解...

1. 先做个智力题说活跃一下大脑十袋金币里9袋真1袋假，每袋5个币，真币一个10g，假币一个9g，现在有一个电子秤，问最少称几次能找到那袋假币，怎么称。提示袋子里的金币可以拿出来，一次就可以2. 手撕翻转二叉树用的递归 问层数很深时存在有什么问题 然后用迭代做问时间空间复杂度 纠正了一些代码格式上的问题和可以简写优化的点3. 自我介绍4. 八股java和python有什么区别为什么有的python10行写出来但java要100行python不用考虑数据类型的优缺点为什么说java是编译预言python是解释性语言git用来干嘛 基于什么实现5. 问项目为什么用多agent不用单agent怎么评估 效果如何检索时query是自然语言而向量是代码语义怎么办向量数据库的原代码一直在迭代怎么办

项目狠狠拷打40分钟八股1. 解释LORA训练方法2. 有了解传统精排方法吗，比如LTR3. 有了解Qwen3的embedding和Reranker模型吗4. 结合项目讲大模型训练的几个阶段的特点和异同5. 介绍GRPO、PPO、DPO，分别需要几个模型，需要训练的是哪些6. 重要性采样有哪些方法（裁剪、KL和加权归一）7. GRPO让英伟达股市暴跌原因是什么，资源省在哪8. 介绍GSPO的优化，腾讯最近出的SPO有关注吗代码1. Pytorch实现GQA2. 接雨水（两种方法）3. SQL题