字节大模型算法一面分享

1. 实习介绍2. 项目拷打3. 标准RAG有什么问题？4. 了解Agent吗？把RAG做成Agent有什么好处5. 说一下LoRA的原理；LoRA完推理的时候要挂着Adaptor吗？6. 手撕代码：torch写SFT的loss计算代码（注意shift right）面试官对技术了解很深入，问得都是技术细节，感觉比我自己更了解我的项目，给我面没招了...

字节抖音风控部门大模型算法一面1.自我介绍（论文、实习、项目）2.拷打项目（问的很细，占据主要面试时间）3.实习介绍4.讲讲dpo与kto的区别5.grpo的非规则奖励如何设计6.两道medium力扣

1. 项目和八股介绍一下你做的这个项目为什么没有用 nsp，只用了 mlm分析一下transformer训练过程中显存占用和计算复杂度- 优化器 参数 梯度- 面试官说到：激活值也需要保存  训练过程中怎么去做到对激活值的显存占用，有什么参数可以进行控制 （答了混合精度，面试官说不对- 激活显存 ≈ `batch_size × seq_len × hidden_dim × n_layers × bytes_per_element`- 设置bs相关，也就是使用梯度检查点（Gradient Checkpointing），将大的bs分割成小的micro-bs来计算，最后进行一个统一PPO DPO GRPOclip可以限制分布差异  还有哪些方法KL 散度公式2. 手撕给定两个叶子节点，在二叉树中找到两个节点的最近公共祖先，空间复杂度要求o(1)。每个节点存在指向父节点指针

1.拷打论文、竞赛2.对强化学习训练有什么了解吗？3.如果有一个对话任务，没有固定答案，该怎么选RL训练策略4.讲一讲GRPO的原理，优劣以及后续改进5.预训练和SFT的loss计算差异？6.Qwen3相比前代有什么改进？7.目前LLM领域关注到哪些最新进展？8.手撕：最长公共子序列📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。