LLM字节大模型算法一面 猝不及防

1、说一下PPO算法2、在PPO算法中，PPO是如何平衡探索和利用的？3、PPO算法中GAE算法的公式以及原理4、说一下SAC算法5、在SAC算法中，熵是怎么设置的，在具体实现的时候有哪两种实现方法，熵是怎么更新的？6、为什么PPO类的算法是在线策略、SAC是离线策略7、GRPO算法和PPO有什么改进8、Lora算法的原理9、Lora中 矩阵A和B是怎么初始化的，他们的秩设置有什么原则10、怎么进一步降低Lora的参数 （也就是QLora的原理）11、什么是矩阵的秩12、能不能从特征值的角度来说一下矩阵的秩13、Transformer相比起以前的注意力机制有什么不同14、Deepseek 中的前馈神经网络层和Transformer的有什么不同15、 对比一下 Deepseek，Llama，GPT316、你认为强化学习有没有给大模型带来新的知识

总时长70分钟左右，比一面显著更难，对项目抠得很深，八股都是结合项目问的，算法题是hot100中的困难题1.实习介绍2.后面问了相当多的项目细节，以及具体参数(选的框架、显卡配置、训练参数等)，有10多个问题，期间还让比较GRPO、DPO、DAPO、GSPO等方法3.项目+八股:图片是怎么传递给VLM(Qwen2.5 VL)并被VLM理解的，你知道吗?4.项目:用的什么Loss?;可以用numpy写一下公式吗?5.项目+八股:你说到Owen2.5 VL是包括ViT的，可以介绍一下ViT的结构和原理吗?6.Qwen 2.5 VL里面的Transformer结构和普通的Transformer的结构有哪些不同?7.RMSNorm和LayerNorm主要区别在哪里:现在大模型更喜欢哪个，为什么这么设计?8.算法题:lc25 K个一组反转链表(9.反问

1.项目介绍2.训练样本大概多少条3.为什么会想在重排做生成式4.如果是做生成式召回应该对模型结构怎么修改5.有考虑用别的强化学习的方法吗6.dpo 的公式是什么7. grpo 了解吗8.beamsearch 怎么做的9.大模型了解多少，强化学习了解什么10.手撕 transformer 并计算 flops 和内存开销📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

项目方面： 1、SFT用的什么模型？如何进行的蒸馏微调？只用数据还是logits蒸馏？2、LLM生成的数据如何直到是对的还是错的？如果没有金标准数据怎么办？3、你觉得这个项目的亮点是什么？4、智能体方面，ReAct架构具体是如何做的？规划智能体和生成SQL有没有交互？有的话如何防止一直迭代不结束？5、如何预防用户使用特定任务智能体干别的？八股方面：八股先问了一个：二叉树的层序遍历用什么数据结构？然后我有点突然懵，面试官就换了一个问题，介绍一个排序算法思想和逻辑，以及时间复杂度是什么。无手撕