发一下问题给大家参考，攒攒人品！项目拷打八股1.bert和gpt的区别？2.训练/微调一个LLM的流程？3.实习时用的 megatron 框架吗，对分布式训练框架了解多少？4.了解强化学习吗，跟SFT有什么区别？

发点面经攒攒人品～八股1.写一下 attention 公式2.训练时为什么要mask，推理时也需要吗？两处有什么区别？推理时的sequence length和训练时一样吗3.transformer和传统seq2seq模型有什么区别？4.计算attention时为什么要除以d_k，这个d_k的含义是？5.attention计算时还有哪些scale处理？6.attention中softmax函数作用、公式、为什么有减去最大值的处理？换个函数还能这样处理吗？7.解释数值上溢、下溢问题8.讲一下prompt书写的经验，如何判断prompt是否达标，如何改进prompt9.讲一下SFT，会对哪部分计算loss？为什么？10.讲一下deepspeed11.训练用一个7b模型要占用多少显存？不同zero阶段能够节省多少显存？12.训练模型时用了几张卡，有遇到什么异常中断问题吗？

📍面试公司：蔚来🕐面试时间：2026.03.16💻面试岗位：大语言模型强化学习算法实习生❓面试问题：自我介绍项目经历1，拷打项目动机，方法细节，评测方式，遇到的难点和解决方式，提出的方法为什么有效强化学习算法理论基础，介绍PPO算法，算法计算公式，优点，训练流程，介绍GRPO算法，特点，优势有关强化学习算法的代码库，TRL，VERL，Ray等询问对于Agentic RL 的认识，其中可能存在的难点，答了算法侧的稀疏奖励问题和工程实现上各类工具的稳定性编程题，word1->word2的最小操作次数🙌面试感想：自我介绍吟唱时间太长，适当压缩为教育背景，研究背景，项目/实习经历的简单介...

攒人品中，祝大家都能拿到满意的Offer！1.实习拷打2.询问实习时间3.快手推荐实习主要做的什么4.实习期间做了哪些优化5.LLM 的长度扩展策略有哪些6.介绍 YaRN7.用户是怎么用你们的工具的8.幻觉怎么判断出来，如何解决9.是否有调用外部搜索引擎10.有没有用到Agent和RAG11.910B适配过程中遇到的问题12.深挖NIPS论文13.下游任务介绍，效果为什么会有提升14.给了一个现实生活中的例子，你的这篇论文怎么套上去15.实习期间最大的挑战16.技术上最有难度的事情是什么

1. 讲一下梯度下降的原理和它的几个常见变种（比如SGD、Adam），它们各自适合什么场景？◦ 追问：在实际训练中，如果发现损失函数震荡很厉害，可能是什么原因？怎么调整？2. 如何处理机器学习中的过拟合问题？除了增加数据，你还能想到哪些具体的技术手段？3. 解释一下Transformer模型中的自注意力（Self-Attention）机制，它的核心思想是什么？4. 如何评估一个分类模型的好坏？除了准确率，你会重点看哪些指标？5. 了解哪些常见的模型压缩或加速技术？（比如剪枝、量化、知识蒸馏）6. 在训练深度学习模型时，你是如何调试和定位模型性能不佳的问题的？7. 是否了解AIGC（生成式AI）相关的模型，比如扩散模型（Diffusion Model）？简述其基本思想。8. 将一个训练好的模型部署到线上服务，你会考虑哪些工程问题？9. 除了技术本身，你认为AI算法工程师在工作中还需要具备哪些重要的能力或意识？10. 你最近读过哪篇让你印象深刻的AI领域论文？简述它解决了什么问题。

继续来分享下之前的面经~欢迎友好讨论，信息共享1.直接开始八股2.Transformer 中为什么用LN不用BN3.图像中 BN 是怎么用的4.在 NLP 中如果句子长度不一致，用 BN 会有什么后果5.给定三维矩阵bsz * seq_len * dim，BN和LN分别作用在哪个维度6.已知bsz seq_len dim head，参数量是多少，和哪几个参数有关7.带有多个注意力头的注意力机制计算过程8.说出pytorch中维度变换的函数9.显存OOM，参数，ZERO，vllm，梯度累积，优化器，混合精度10.讲一下实习经历11.长度外推技术12.觉得自己做得最好的点是什么13.使用华为的框架和显卡进行SFT有没有遇到什么问题14.LongLoRA和LoRA的区别15.算法题：返回第K大的数，要求比快排更快

发点面经攒攒人品～1.项目拷打2.你如何评估大模型的性能？有哪些常用的评估指标？3.请描述一下你如何对大模型进行优化，以提高其性能和效率。4.你是否有过使用或开发大模型的经验？请分享一个具体的案例。5.大模型中的注意力机制是如何工作的？它在大模型中起到了什么作用？6.大模型中的优化算法有哪些常见的选择？它们各有什么优缺点？7.如何处理大模型训练过程中的梯度消失或梯度爆炸问题？8.在大模型设计中，如何权衡模型的复杂度和性能？9.面对大模型训练和推理所需的庞大计算资源，你有什么解决建议？10.请简述你了解的大模型的主要结构特点。11.reward bench上的reward model分哪几类?12. reward model如何训练的，训练目标是什么?13.dp0训练的损失函数和训练目标，dpo如何改进怎么理解大模型安全，包含哪些方面的内容？14.指令跟随能力的评估集有什么，如何评估的?15.阿尔法狗强化学习策略是什么?提升推理能力和指令跟随能力哪个更难, 为什么, 提升指令跟随能力的优化方式和其他的比如推理有什么不一样的地方?16.dpo训完了一般输出长度会变化吗? 如何解决这个问题大模型训练过程学习率一般是怎么变化的, 退火阶段学习率如何变化的?

今天来点AI应用开发的八股1. 什么是CoT和ReAct？2. MCP是什么？3. LangGraph和LangChain的区别？4. RAG中选用的嵌入模型？如何切分的？重叠步长多少？5. 如何实现会话长记忆？6. AI应用如何实现流式输出？7. 那输出过程中在用户关闭浏览器导致断开了，如何保证中断后还能保持之前输出？

上周面了小荷健康一面问了项目的一些问题然后就是手撕代码，平常刷leetcode,但是考的是acm格式，从来没有写过，没撕出来之后是一些八股的基础知识然后就反问了一些小荷在做的业务。一共45分钟。本人学历也不怎么高，就是一个211硕，现在很多暑期也开了，代码题是真的有点费劲了，不知道还要不要接着刷呢。

攒攒人品！有面试过同岗的朋友欢迎评论区交流1. 项目拷打2. 重点问了其中的模型优化工作，包括模型结构选择，线上指标怎么分析3. 问了多任务模型，mmoe，ple都分别介绍下，各自做了哪些优化，有什么作用4. 广告系统和推荐系统的异同点5. 投放链路：召回粗排精排重排流程以及常见算法6. 分类和回归任务的关系，可否相互转化？7. DIN模型介绍下8. 常见的损失函数有哪些（分类、回归、对比）9. 简单问了auc的计算和理解10. 手撕代码：给n对括号，输出所有排列11. 概率论（圆上三点构成锐角三角形的概率，二项分布和泊松分布和正态分布

给我面没招了，发点面经攒攒人品～1.  项目拷打2.  实习中做了什么？遇到什么问题？怎么评估效果？3.  怎么理解 YaRN？跟其他长文本/外推方案相比差异在哪？4.  RoPE 怎么跟 MLA 结合起来讲？只在短文本训过的模型，如何做长文本外推？5.  flash-attention / Megatron-LM 你了解哪些关键点？6.  了解哪些Tokenizer算法？像 DeepSeek 这类的分词思路跟标准 BPE 有什么不同？8.  coding：先讲原理，手写 FFN

攒人品中～ 1.  项目里最核心的贡献是什么？怎么评估效果？2.  对比学习中如果负样本和正样本拉不开距离（或太像了），你会怎么修改损失函数或采样策略？3.  FlashAttention 原理：跟普通 Attention 的差异是什么？实现里 $QK^T$、Softmax、$PV$ 这几步是怎么落地的？4.  分布式框架3D 并行与通信：怎么理解 DP/DDP？通信瓶颈一般卡在哪些环节？5.  14B 模型，FP16 权重大概多大？训练时还要加哪些开销？如果用INT8 大概能省多少显存？6.  `torch.contiguous()` 是干嘛的？为什么推理阶段在意内存连续性？7.  代码题：井字棋判胜：读取 txt 井字棋（3×3）状态，判断当前玩家是否获胜。8.  代码题：交叉熵损失：解释原理并手写实现。9.  代码题：线性回归 SGD：推导更新公式并手写实现。

有面试过同岗的朋友欢迎评论区交流1.  DPO 与 SFT 的区别：两者核心差异是什么？可以先做 DPO 再做 SFT 吗？为什么？2.  把 DPO 用在“第一轮对话”，你会如何构建数据集？`Prompt`、`Chosen`、`Rejected` 具体来源是什么？3.  多轮对话数据分布设计：单轮和多轮数据各占多少比例？这样配比的理由是什么？4.  DPO 多轮样本怎么采样：多轮样本如何采样？如何配比？5.  Reward Hacking现象：你怎么看待这个问题？怎么解决呢

这次面试感觉其实还行，但是到现在也没联系我，估计凉凉了。  这次面试，面试官很侧重于 LLM 在实际业务（特别是销售/营销场景）中的落地能力、工程化思维（如异常处理、耗时分析）以及 Prompt 的精细化控制，这段时间段段学了不了，但是还是感觉差点意思。一、 业务逻辑与转化率优化 (ROI) Q1：你们的“线索评分”机制是如何运作的？回答： 基于四个维度进行打分： 1.联系方式完整性（基础门槛）。2.购买意向强度（结合大模型进行意图识别）。3.对话深度（交互轮次）。4.用户主动行为（如主动要求添加销售微信或留下电话）。 综合这些维度给出一个分数，通常分数较高（如大于 70 分）会被判定为高优线...

1、自我介绍2、通俗讲一下大模型从训练到落地到评测的全过程可以把大模型看成一个先大量学习、再针对任务训练、最后真正上岗工作的系统。第一步是预训练。这个阶段会给模型非常大量的文本，让它去做“根据前文预测下一个词”这样的任务。比如给它一句“今天天气很”，它要预测下一个字可能是“好”还是“热”。这个过程做得足够大以后，模型就会学到语言规律、常识知识、一些推理模式和表达能力。第二步是微调或者对齐。预训练出来的模型虽然懂很多东西，但不一定会按人的要求回答，所以还要进一步训练。比如给它大量“问题-答案”数据，让它学会更像助手一样回复，这就是 SFT。有些场景还会继续做人类偏好对齐，比如让模型学会什么回答更...

祝大家都能拿到满意的Offer！1.项目用的什么架构2.项目在研发过程中遇到了哪些困难，怎么解决的3.项目拷打4.讲讲怎么微调的？微调数据集怎么构建的？量级是多少？微调数据集是怎样的？你提到一部分是开源数据集一部分是从医院获取的，从医院获取到的数据集做了哪些处理？5.lora的原理和qlora的原理，qlora怎么优化显存？6.RAG+MCP这方面是你做的吗？怎么做的？RAG怎么构建的7.怎么进行多模态知识检索？8.所有功能都用的这个模型吗？其它用的什么？为什么？9.开始拷打下一个项目（AI安全的项目）问是怎么识别到用户的提问是不安全的，识别人名怎么判断要注入噪声？10.AI安全项目核心筛选逻辑

面试很难，还是要多多练习，感觉自己说不明白业务逻辑1.介绍一下你的项目2.你提到的coze，coze有两版，一个是拖拽式的编排，新的一版是直接使用agent？（这个不太理解啥意思），你使用的是哪一种？你是怎么设计节点的？3.你编写了哪些MCP工具，介绍一下4.上下文管理是怎么做的，如何进行记忆5.问关于ReAct的知识，那几个模式有什么差别6.给了一个场景，就是设计一个全自动化的agent进行AI漫剧创作，你会怎么设计？7.你认为设计的过程中最大的三个问题是哪三个？你准备怎么解决8.针对我现场设计的全流程进行拷打，例如我说要保证人物前后一致，他问用什么方法保证前后一致。我还说要进行片段的评估，他问我评估方法等9.如果你设计的这个全流程要先发行一版，你准备保留哪些重要的功能（节点）10.有没有使用过一些代码编程AI（如cursor、codex等），然后进行了一些延伸。

1、自我介绍2、项目拷打3、RAG 的完整链路是什么，哪些地方最容易出问题RAG 的完整链路一般是文档接入、清洗去噪、切 chunk、向量化、建索引、在线检索、重排、上下文构造、Prompt 拼接、模型生成和结果后处理。线上请求过来以后，先对用户 query 做归一化处理，再进行向量召回或者混合召回，把候选文档取回来，然后用 rerank 模型重新排序，选出最相关的内容拼到 prompt 里，再交给大模型回答。最容易出问题的地方通常有几个。第一是 chunk 切得不合理，太短会丢语义，太长会导致噪声太多。第二是召回率不够，模型根本没拿到正确证据。第三是重排不准，正确文档被排到后面。第四是上下文...

攒人品中，祝大家都能拿到满意的Offer！1.lora微调原理2.P tuning3.强化学习 ppo grpo4.prompt 微调5.attention结构6.gpt12的结构7.Deepseek r1 训练四个阶段8.Encoder only decoder only 区别9.Llamma12的结构10.Deepseekv2 v3 r1 r1 zero的结构和训练过程11.探讨moe技术细节以及未来发展的困境