字节实习大模型一面凉经 43min

总体评价给到:拉完了。公司在深圳，实习日薪200，不包吃不包住，实习完全放养，偶尔给你点任务，做完就可以继续摸鱼，完全学不到东西，还是那句话，整体评价:拉完了

字节抖音风控部门大模型算法一面1.自我介绍（论文、实习、项目）2.拷打项目（问的很细，占据主要面试时间）3.实习介绍4.讲讲dpo与kto的区别5.grpo的非规则奖励如何设计6.两道medium力扣

没关系，至少我摸鱼很曼妙，每天晚上不睡，早上不起的，天天早上闹钟响的时候脑子里都是好累，好想辞职，晚上一点要早睡，然后就赖给十几分钟才开始洗漱准备去公司，还好公司活不多，基本上一天摸摸鱼随便就过去了，也可以在摸鱼中偷偷睡一会

1. 项目和八股介绍一下你做的这个项目为什么没有用 nsp，只用了 mlm分析一下transformer训练过程中显存占用和计算复杂度- 优化器 参数 梯度- 面试官说到：激活值也需要保存  训练过程中怎么去做到对激活值的显存占用，有什么参数可以进行控制 （答了混合精度，面试官说不对- 激活显存 ≈ `batch_size × seq_len × hidden_dim × n_layers × bytes_per_element`- 设置bs相关，也就是使用梯度检查点（Gradient Checkpointing），将大的bs分割成小的micro-bs来计算，最后进行一个统一PPO DPO GRPOclip可以限制分布差异  还有哪些方法KL 散度公式2. 手撕给定两个叶子节点，在二叉树中找到两个节点的最近公共祖先，空间复杂度要求o(1)。每个节点存在指向父节点指针