整体面试还是不错的，发下面经给大家参考～1.实习介绍2.在微调大模型时使用过哪些框架3.CLIP模型的zero-shot能力是如何实现的？4.Transformer中Pre-Norm和Post-Norm的设计差异是什么？对模型训练稳定性和性能有何影响？5.在生成式大模型（如LLaMA、GPT）中，为何通常采用Decoder-only架构而非Encoder-Decoder结构？6.请描述大模型中自然语言理解模块的具体实现方案，包括语义解析和意图识别的关键技术。7.针对Transformer模型推理过程，会采用哪些优化手段8.请阐述检索增强生成（RAG）的核心原理，并说明如何通过RAG缓解大模型的幻觉问题。9.vLLM框架的核心优化原理是什么？其在动态批处理和显存管理上有哪些创新设计？10请对比RLHF、PPO、DPO算法的技术差异、优缺点及适用场景

整体面试还是不错的，但是没后续了，不知道是哪里出了问题1、 attention中数据shape是batch first还是seq_len first2、Prompt长度加倍，首token延迟加倍吗3、模型选型时是否做定性定量对比ab test，客观数据验证文心性能不好了吗4、专家的负载均衡是什么，怎么解决5、如何定性定量评估数据集质量，单条和整体数据集质量6、单一分类模型，细分分类模型和MOE融合的优劣7、MHA手写8、说一下 simpo 的原理，它是怎么解决 dpo 微调序列过长的问题的9、deepspeed 的每一段的通信比较，zero3分别是0和2的多少倍

最近闲下来了发点面经攒攒人品1. attention中数据shape是batch first还是seq_len first2. Prompt长度加倍，首token延迟加倍吗3. 模型选型时是否做定性定量对比ab test，客观数据验证文心性能不好了吗4. SFT过程中遇到了哪些问题和解决方案？5. 如何定性定量评估数据集质量，单条和整体数据集质量？6. 单一分类模型，细分分类模型和MOE融合的优劣。7. MHA手写?

整理了些面试遇到的八股问题，攒点人品...1.L1/L2正则化2.激活函数尤其是relu还有relu的一些优化BN和LN各自的作用和区别?3.损失函数4.GAUC5.transformer/attention6.xgboost和lightgbm，一般问到树相关的都是因为简历中出现了7.eword2vec8.dropout9.CDIN/SIM模型还有后续一些变种10.过拟合/欠拟合11.梯度消失/梯度爆炸12.交叉熵13.优化器，主要是adagrad adamrmsprop这几个14.sigmoid

1.简历拷打2.召回了解的多吗？3.了解DAT双塔吗？4.谈谈大模型召回的理解？5.召回损失函数设计介绍一下？6.多目标融合的算法你了解那些？7.谈一下最近看的论文？8.模型训练的时候梯度如何传播？代码无重复字符的最长子串大数相加

1. 预训练做过吗？你怎么看待预训练用垂直数据，继续预训练预期达到什么效果？2. 为什么需要多阶段 sft？对齐的原理是什么，你怎么看待。3. 你觉得 MLLM 能做好 grounding 任务吗？为什么现在效果始终不如 yolo 等小模型。4. MLLM 的对齐分别有哪些任务，介绍下5.  通用对齐阶段你用了哪些数据？6. sft 之后不用通用数据会出现哪些问题，你实际使用有什么经验吗？7. 为什么用 6 倍的通用数据？不是 5、4、3？8. MLLM 做安全对齐你会如何做数据9. 图像、视频筛选数据的工具你用过哪些？10. 你觉得 MLLM 做 rl 有必要吗？MLLM 做 rl 的 sft 的区别是什么？

最近闲下来了写一些面经攒点人品1.手撕三数之和2.手撕零钱兑换3.DPO是用来干什么的，原理是什么？4.DPO的loss是怎么计算的？5.PPO中reward模型打分之后如何对不同样本进行排序？（Elo）6.用了几张卡跑的？7.用了什么显存优化的技术？8.zero1，2，3的原理？9.项目是如何进行Data Parallel的？

1.PPO 公式，是否可以没有 value model2.交叉熵公式？怎么计算的详细说下3.grpo 是什么，讲一下过程4.ppo 计算和 grpo 有什么不同，知道 gae 吗？5.grpo 有哪些变体？6.讲一下你对代码生成的看法，trae 中项目代码是怎么传进 llm 的知道吗？7.有直接试过 grpo 吗？有什么缺点？8.手撕：给定 n 行，每一行包括左指针、右指针和替换字符串，将指定字符串替换，如何优化？

1.实习介绍2.防止 sft 灾难性遗忘你有哪些方法？3.sft 和 rl 区别是什么？数据格式有什么区别？4.Reasoning 推理过程有做什么 rl 吗？有哪些奖励？5.rl 有哪些算法？reward 常见的有哪些任务？6.为什么现在不用 reward model？区别是什么？7.PPO 模块介绍一下，公式说一下？critical model 什么作用？8.DPO 公式介绍一下，和 sft 有什么区别？9.GRPO 少了哪些模块，如何在 GRPO 基础上防止模型波动？10.介绍位置编码，PE、ROPE，现在常用哪些？为什么现在模型上下文只到 128K，如果是你你会做哪些改进？11.高效推理了解过吗？如何做到高效推理？你知道哪些方法？12.Lora 是什么？初始化讲一下？是否能对换？还有哪些变体？13.KL散度作用是什么？推一下公式。如果是确定标签，那会有什么变化？从数学原理解释13.编辑距离，用 n 的空间复杂度，如果我要打印编辑路径，你会怎么改，在哪个地方改？基本全答上来了，手撕也很快，实在不知道为什么挂了

攒人品中...1.  双向mamba vs 因果注意力：因果注意力平方复杂度、仅捕前文，短序列优；mamba线性复杂度、双向捕全局，适配车端低算力长序列场景。2.  shift实现：拆分不重叠窗口→固定步长移位→跨窗计算融合，通过张量切片/滚动实现，提升全局信息捕捉能力。3.  vllm注意力分数：分析过！用于定位瓶颈，通过阈值过滤无效计算、FlashAttention优化，适配车端低延迟需求。4.  prefill vs decoder阶段：prefill预处理提示词、缓存键值对；decoder逐token自回归生成，复用缓存，二者协同保障座舱交互推理效率。5.  降低prefill耗时：稀疏注意力过滤无效计算+动态批处理提GPU利用率+FlashAttention算子适配，结合车端芯片优化，耗时降35%左右。6.  两阶段耗时对比：prefill单次耗时高（随输入长度增长）；decoder单步快，总耗时受生成长度影响大，座舱场景易累计超时。7.  PPO流程：采样生成样本→奖励模型评分算优势值→裁剪约束更新参数→迭代优化，监控KL散度，适配座舱交互模型微调。8.  GRPO及变体：PPO优化版，无需价值函数、省显存；IGRPO增量更新稳训练，SGRPO融合MoE降算力，适配车端场景。

虽然凉了，但是不妨碍我攒人品1.实习介绍2.工作经历中成长收获最大的点3.项目深挖：项目背景数据来源、数据格式、数据标注训练细节DPO数据如何构建4.八股：self-attention的时间复杂度GRPOGQADeepSeek技术报告中的MoE、MTP5.手撕：无序数组中找第 K大的数

攒人品中，面过相关岗位的牛友欢迎评论区交流～1.项目拷打为主2.实习中你主要做了哪些工作3.模块设计及优化思路4.对于模型输出结果，特定案例如何修正5.置信度怎么判断6.你这边有用到哪些模型，选模型的时候有什么考量7.提示词怎么设计的，你设计提示词时有什么技巧8.最终的准确率是多少，剩下没准确的那些是什么原因9.场景题：用大模型做http数据包安全性识别，模型出现了幻觉，如果是你的话你会怎么解决

1.项目拷打为主2.大模型反思验证怎么做的3.为什么用大模型ocr，是否考虑使用传统的ocr方案4.你了解哪些基座模型5.你大模型应对的场景，是否有什么固有的缺陷6.是否有对badcase做归类7.是否有针对某一类badcase做专门优化，怎么做的8.你们做的这个业务，目标群体是哪些9.Grpo相比于其他强化学习的优势在哪10.奖励稀疏问题怎么解决11.AIGC是文生图还是图生图12.AIGC的反思验证怎么做的13.绘图具体怎么做的，绘图目标是什么14.绘图很大程度上依赖模型能力，万一模型对指令理解有问题怎么办15.绘图的“美感”是怎么体现的16.讲讲你这里的query改写17.场景题：不同的用户有不同的绘图偏好，你怎么设计系统以增大项目的普适性18.对于学术界中，AIGC图像质量相关的内容是否有了解

有面试过同岗的朋友欢迎评论区交流1.实习介绍2.介绍一下了解的大模型有哪些，这些模型在结构上有什么差异3.说一下大模型常用的位置编码有哪些，各有什么优缺点4.介绍一下大模型的预训练后训练以及推理是怎么做的，并且详细问了 RLHF 的做法，包括PPO 算法的原理，以及 DPO 和PPO 的区别5.大模型的超长上下文是怎么做的，比如说 KIMI6.大模型智能体是怎么工作的，有哪些组件7.场景题:如何训练一个大模型，可以做到精确的提取摘要8.代码:股票的四个题 121.买卖股票的最佳时机 122.买卖股票的最佳时机I 123.买卖股票的最佳时机 I 188.买卖股票的最佳时机 IV