26实习淘天大模型二面 凉凉

1.项目和八股1.双向mamba和直接使用一个因果注意力有什么区别2.shift具体是怎么实现的3.针对你的 vllm 推理优化比赛，看过注意力分数吗4.prefill 阶段和 decoder 阶段5.你的方法如何降低 prefill 阶段的时间6.这两个阶段对比而言，哪个阶段更耗时7.ppo算法的流程8.grpo 以及变体2.手撕最大连续和的子数组（dp）3.反问对实习生的期望，业务

字节抖音风控部门大模型算法一面1.自我介绍（论文、实习、项目）2.拷打项目（问的很细，占据主要面试时间）3.实习介绍4.讲讲dpo与kto的区别5.grpo的非规则奖励如何设计6.两道medium力扣

1. 项目和八股介绍一下你做的这个项目为什么没有用 nsp，只用了 mlm分析一下transformer训练过程中显存占用和计算复杂度- 优化器 参数 梯度- 面试官说到：激活值也需要保存  训练过程中怎么去做到对激活值的显存占用，有什么参数可以进行控制 （答了混合精度，面试官说不对- 激活显存 ≈ `batch_size × seq_len × hidden_dim × n_layers × bytes_per_element`- 设置bs相关，也就是使用梯度检查点（Gradient Checkpointing），将大的bs分割成小的micro-bs来计算，最后进行一个统一PPO DPO GRPOclip可以限制分布差异  还有哪些方法KL 散度公式2. 手撕给定两个叶子节点，在二叉树中找到两个节点的最近公共祖先，空间复杂度要求o(1)。每个节点存在指向父节点指针

1.项目都问得很深入，基本上写在简历的每一句话都会问问了数据集(举具体的例子)，整个流程的pipeline，项目评估的指标是如何计算出来的react 是如何实现的，包括提示词怎么写的八股1.BatchNorm 和LayerNorm 是如何处理数据的举个例子，分别适用在哪个场合?为什么?2.mcp 协议了解吗?3.为什么要做rag?为什么要把 retrival 和generation拆开4.大致介绍-下 lama-factory框架算法:打家劫舍(不是hot100，是环形的 dp)