智谱大模型算法日常实习二面

1.实习介绍2.问最喜欢哪个项目3.项目流程4.模型评测方法5.裁判模型怎么构建6.裁判模型打分怎么确定是否稳定7.怎样解决裁判模型打分中模型对输入顺序的偏好性问题8.手撕:先序遍历构建二叉搜索树(有复杂度要求)

有面试过同岗的朋友欢迎评论区交流1.实习介绍2.介绍一下了解的大模型有哪些，这些模型在结构上有什么差异3.说一下大模型常用的位置编码有哪些，各有什么优缺点4.介绍一下大模型的预训练后训练以及推理是怎么做的，并且详细问了 RLHF 的做法，包括PPO 算法的原理，以及 DPO 和PPO 的区别5.大模型的超长上下文是怎么做的，比如说 KIMI6.大模型智能体是怎么工作的，有哪些组件7.场景题:如何训练一个大模型，可以做到精确的提取摘要8.代码:股票的四个题 121.买卖股票的最佳时机 122.买卖股票的最佳时机I 123.买卖股票的最佳时机 I 188.买卖股票的最佳时机 IV

1. 为什么要用agent解决这个场景2. 什么是agent3. 你在里面做了哪些工作4. 为什么要SFT5. 训练前后区别在哪 举一个具体的例子6. 数据怎么构建的7. 什么平台上训练的 训练多久 学习率多少 为什么是这个学习率8. 什么是语言模型9. cnn能不能做语言模型10. 现在大模型是什么架构11. 写出伪代码 用abc 预测第四个token 告诉了我特征维度 头个数12. 分头是怎么分的 怎么拼接13. 场景题：做一个意图识别的分类任务，类别特别多 怎么做

1. 项目和八股介绍一下你做的这个项目为什么没有用 nsp，只用了 mlm分析一下transformer训练过程中显存占用和计算复杂度- 优化器 参数 梯度- 面试官说到：激活值也需要保存  训练过程中怎么去做到对激活值的显存占用，有什么参数可以进行控制 （答了混合精度，面试官说不对- 激活显存 ≈ `batch_size × seq_len × hidden_dim × n_layers × bytes_per_element`- 设置bs相关，也就是使用梯度检查点（Gradient Checkpointing），将大的bs分割成小的micro-bs来计算，最后进行一个统一PPO DPO GRPOclip可以限制分布差异  还有哪些方法KL 散度公式2. 手撕给定两个叶子节点，在二叉树中找到两个节点的最近公共祖先，空间复杂度要求o(1)。每个节点存在指向父节点指针