一、算法手撕+八股1. 手撕旋转矩阵优化 要求时间复杂度O(n²)空间O(1)2. LayerNorm和BatchNorm在训练时梯度计算有何本质区别？3. 推导MoE架构的负载均衡损失函数 如何避免专家坍缩4. 多模态融合中 对比学习损失和重构损失如何加权？5. 解释KV Cache的内存瓶颈 推导多头注意力计算复杂度二、项目深挖1. 微调Qwen时发现验证集loss震荡的可能原因2. 多工具调用中如何用DAG实现并行调度优化3. 长文本推理的压缩方案 对比Sliding Window和NTK4. 模型量化时遇到激活值异常溢出如何调试5. 自主构建的评估体系里 如何分离知识幻觉与推理幻觉三、场景设计为智能客服设计多轮对话系统：1. 如何用思维链提升工单分类准确率？2. 设计工具调用降级方案应对高并发场景3. 在有限算力下平衡响应速度与推理深度4. 构建用户意图漂移的实时检测机制

一、算法与基础1. 手撕Transformer decoder层代码，要求实现mask机制2. 预训练时为什么要用Masked LM而不是直接预测下一个token？3. 大模型量化中，INT4和FP16的精度损失主要差在哪些场景？怎么弥补？4. 讲一下MoE结构的原理，为什么能在增加参数量的同时控制计算成本？二、项目深挖1. 你做的大模型压缩项目，为什么选择知识蒸馏而不是量化？2. 训练时遇到过loss震荡吗？怎么定位是数据问题还是模型问题？3. 你们的模型部署延迟要求是多少？用了哪些优化手段？4. 如何评估一个生成模型的创造性？有哪些量化指标？三、业务场景题如果让你设计一个垂直领域小模型，数据量有限但要求推理快，完整流程会怎么设计？

1. 项目继续深挖依然是实习项目，可能会延伸到方案对比、难点、优化空间等。2. 大模型应用与方法1.对一份数据做分类/识别/检测，用大模型有哪些方法？2.如何评估AIGC生成的文本？3.大模型“幻觉”如何缓解？真实性如何评估？4.RAG过程中索引可以做哪些优化？3. 模型训练与优化1.KL散度表示什么？2.反思机制是怎么做的？为什么用反思？3.PPO中KL散度的作用？4. 手撕代码实现KMeans实现一个简单的MLP，从CSV读取数据

1. 简历深挖围绕实习项目展开，问得很细，建议把自己做的每个模块的逻辑、贡献、思考都理清楚。2. 理论基础1.KL散度和交叉熵的关系？2.介绍LoRA，和全参SFT怎么选？小模型SFT vs 大模型LoRA效果可能如何？SFT数据集怎么构建？3.介绍AUC，它表达的是什么？4.Recall重要的场景下，如果recall很高但precision很低怎么办？5.Precision和Recall分别是什么？不同场景下如何权衡？哪个更重要？3. 手撕代码实现 shuffle 函数（注意洗牌算法的公平性和复杂度）

1️⃣ 简单介绍一下你的实习经历吧？2️⃣ LoRA的原理是什么，你是怎么理解的？3️⃣ 你了解DeepSpeed吗？能说说ZeRO-1、ZeRO-2和ZeRO-3分别做了哪些优化吗？4️⃣ Qwen的模型结构是怎么样的？和LLaMA、DeepSeek的主要区别在哪里？5️⃣ 在实际应用中，你会怎么缓解大模型的幻觉问题？6️⃣ 大模型的MoE结构相比于Dense结构，训练难点主要是什么？你觉得DeepSeek MoE效果好的原因有哪些？7️⃣ FP16、BF16、FP32、INT8这些格式有什么区别？在训练和推理大模型时，一般会如何选择？8️⃣ 可以讲一下RLHF的基本流程吗？并写一下PPO和DPO的Loss表达式。9️⃣ 对于超长上下文，业界一般是怎么处理的？你了解Qwen是怎么做的吗？🔟 （开放题）在你看来，目前大模型发展的上限可能在哪里？有哪些突破方向？1️⃣1️⃣ （代码题）Leetcode 152：乘积最大子数组。

1.项目介绍2.为什么要做DCN，DCN具体怎么做的，V2和v1有什么区别，他俩的时间复杂度和参数复杂度3.logloss剧烈下降的时候有什么办法？4.项目提到频次过滤，为什么要这样做？5.AUC相关（AUC原理，以及计算方式，均匀采样一定数量的负样本后AUC变化）反问：业务 个人在入职前能的事？

自我介绍+项目吟唱跳过1.介绍推荐系统，为什么有召回，召回和排序的区别2.AUC相关（是啥，咋算）3.解决过拟合的方法（这里提到了L1，L2正则化）4.L1和L2的区别（提到了绝对值和平方，以及稀疏化），为什么会有稀疏化？5.特征相关性如何选取？具体是如何算的6.多目标模型如何建模（项目中有一块涉及了，我猜测他想考MMoE，但是我项目里没写MMoE）7.logloss是啥，为什么要用logloss算法题：手撕旋转升序数组找目标+讲述思路，面试官自己都说简单...反问：介绍业务，可能会遇到的挑战和困难，入职前能做的事情

📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1、介绍自己的中厂实习2、一面的部分实习问题这里也问了。3、有没有试过外挂数据库来解决线上业务数据分布更新较快的问题，4、模型选型问题，为什么选qwen3-8b，如何估算模型开销。5、最多做过几卡的模型训练?对deepspeed和Megatron有多少了解?6、接触过哪些推理加速的方法。(vllm的page-attention, kv cache, prefix cachemla，flash-attention直接安排一套)7、一个他们组里面的一个具体场景题。8、手撕k个一组反转链表，并要求最后不足k个的也反转。

1. 主要问简历项目2. lora原理以及AB矩阵初始化3. 开放性：你觉得你的xx项目还能怎么优化？如果给你足够的时间和资源，你会怎么做？手撕1. 返回严格递增最长子序列长度2. 手写lora公式反问部门业务：b站搜推大组

1. SFT数据的构造2. 为什么RL可以提高模型的能力3. 问答系统中如何做意图理解4. 开放题：LLM可以解决过去问答系统的哪些问题，你觉得还可以用LLM做什么新的创新5. 有其他offer吗？选offer会考虑什么？手撕算法：无反问：LLM在车机系统中的应用场景

1.面试官先简单介绍团队，然后进行自我介绍；2.对项目和论文进行了细致询问；3.为什么多头注意力能提升表达能力？4.大模型中使用RMSNorm的原因？它和LayerNorm有何差异？5.LoRA和PromptTuning的区别，以及各自适用的场景？6.模型微调时是否遇到过过拟合？如何处理的？7.大模型推理时的加速思路？8.KV Cache是如何起作用的？为什么对长上下文推理很关键？算法题手撕：字符串的全排列。二叉树序列化与反序列化。

1.上来先写题，力扣原题：和为k的子数组2.有没有做过微调和模型训练3.Python全局锁是什么4.你怎么理解原子性5.进程和线程6.场景题：如果有1000w数据在云端，希望用http方式下载处理保存，用python怎么做，重点关注线程和进程7.多线程处理是否会受到全局锁的影响8.混合精度训练的原理是什么9.训练的时候发现训练速度很慢，该从哪些方面去考虑以提高速度10.多机多卡训练的通信问题11.梯度累加的原理是什么12.大模型的编码方式有哪些13.介绍encoding和decoding14.介绍旋转位置编码15.大模型的词表是怎么生成和使用的16.介绍一个你觉得做得比较优秀的项目17.为什么用xx模型，相比于其他的模型有什么优势18.Reward model是怎么训练的19.如何客观评价两个大模型哪个好20.你是怎么写prompt的，怎么迭代的21.介绍mcp的原理22.Mcp的优缺点

1.项目拷打谈谈传统搜索算法和 RAG 的理解2.为什么大模型结合 RAG 会出现 AI 幻觉的现象？3.介绍一下 MHA4.了解 MHA 的变体吗？5.了解 KV 缓存吗6.介绍一下 self attention 吧7.了解 PE 优化吗8.了解 dpo 和 PPO 吗9.了解 ReAct 架构吗10.如果你有一个待优化的模型和一堆 query ，你怎么利用 PPO 来优化模型？

1. 这个岗位是抖音电商岗位，在data部门，主要是做山寨商标识别的，可能需要用到多模态模型对山寨logo识别，或用到AIGC模型生成一些山寨logo2. 介绍完自我介绍，就是一道力扣困难题，求两个有序数组中位数，要求时间复杂度log(m+n)，可能需要二分法，但之前看力扣答案还看不明白，再写下去属实是浪费时间3. 项目深挖，主要是问我textual Inverion和Lora的作用，没有问我的论文4. 八股：Lora实现细节，PPO实现细节，是否知道大语言模型常用的旋转位置编码，是否了解deepseek的GRPO，你对多模态模型了解多少5. 思维题：如果你和一个人比赛但是你的胜率较低，你是选择五局三胜还是三局两胜获胜的概率大？答案应该是三局两胜，我跟面试官说可以建一个二叉树用回溯法求全概率然后比较。但是他让我用直觉判断，果然我的直觉是不准的，选了五局三胜。6. 开放题：如果让你去生成一些山寨logo，该怎么做。我回答的是首选图像编辑模型，在原有logo的基础上通过语言进行额外控制，可以最大限度保留原logo特征；因为logo的颜色较为单一，可以考虑用controlnet➕线稿修改的方式生成。线稿修改可以人工提供一些样本，成本相较于直接人工绘制山寨logo较低。

1，讲下实习项目c吧（应该是只有c和组里工作相关）2，模型某个设置可能会受到样本分布变化影响，怎么解决的3，回归用mse和mae区别在哪4，除了看loss，某指标如何离线评价（没说上来，胡言乱语了一下）5，（场景题）目前gpu资源比较紧张的前提下（没法做大规模实验），对于多目标模型，假如说现在有个特征想加，算了相关系数，跟ctr正向，cvr负向，那你到底要不要加上。（感觉又有点胡言乱语了）手撕交叉熵公式（卧槽刚想起来好像把label也写到log里面了……数学奇迹之log0）分割等和子集（边界条件磕磕绊绊了一下）反问业务 工作

1，实习项目a是什么，用处在哪2，实习项目b做的动机是什么，为什么要这么干3，实习项目c主要涉及哪些方面，业务上不一样在哪（我哪敢说太多……）4，c为什么直接换模型了，有可能只是样本分布不一样；看过里面mmoe权重吗，保序回归分桶怎么做的5，实习那边广告会对用户流量做区分吗6，比赛a怎么做的7，召回可以限定用户行为序列长一点，每个少召回一点（我说这样可能重复率太高）8，后面排序特征设计？9，了解llm做生成式推荐吗，聊聊大家对这部分的想象空间。（我不到啊，胡言乱语了）10，有发论文吗（没啊）简单说下相关工作的思想手撕：编辑距离秒了反问1，部门业务后续发展方向2，可能承担的工作3，组里的具体工作

先做道题吧：二叉树z字层序遍历1，实习项目a具体工作内容是什么（涉及到RL感觉有点难讲清，大家接触RL不多导致我有点说不明白，后面得优化一下表述），为什么要自己设计一个排序模块？排序模块这部分怎么做的。2，实习项目b的动机？后面结果貌似可以预见，为什么还要这样做？3，实习项目c的出发点，为什么做这样的多目标，感觉任务上关系不大，有优化吗？保序回归分桶怎么做的？这个分桶的区间和数目感觉可以再试试讨论。主要承担的工作在哪部分？4，来问点基础知识吧1.AUC2.优化器了解吗（说了下sgd和adam）3.激活函数了解吗（说了下sigmoid和relu）4.mse和mae5.bn和ln反问

1.上来先写代码题 LC300.最长递增子序列2.AUC的理解、一道AUC的计算题3.了解PCOC嘛？PCOC和AUC的区别4.讲一讲LR损失函数5.sigmoid为什么会造成梯度消失？6.介绍FM7.拷打项目8.平时怎么学习ctr点击率预估这些模型的？