腾讯LLM大模型算法二面-实习面经

1. 自我介绍2. 项目介绍3. 用了什么锁来实现多进程的同步（项目相关，但是我也不知道他具体要问什么锁，所以继续询问具体问题）4. 讲了一遍Redis分布式锁的应用，但是他好像没听懂😅5. 再更加详细讲了一遍分布式锁的工作流程，似乎是不耐烦了直接写算法题6. 算法题是改版的压缩字符串，非力扣题目，需要将一个带有括号和数字的字符串展开，然后再压缩成没有括号的压缩字符串。数字表示重复次数。最后虽然思路对了但因为索引越界bug没A😓接下来还问了些八股：1. stringbuilder和stringbuffer的区别2. stringbuffer具体怎么实现的3. 他们两个哪个代价大4. 知道hashcode吗？Java里面hashcode具体怎么实现的？5. MySQL查询比较慢的原因可能有哪些？怎么优化？（能回答多少就说多少）接着就是问了些个人情况和反问环节总的来说，感觉很差。面试官自己晚到20分钟就算了，面试过程中还跟急着下班一样，想挂就挂呗还特地来刷一波KPI😓……最后过了好几天才发感谢信😅

发点面经攒攒人品～1.项目介绍2.介绍实习3.数据集使用的是公开数据集还在有自己构造数据集大模型相关八股提问4.分别讲一下 Dense 模型和 MoE 模型以及二者的区别5.讲一下MoE的 路由机制是如何做的6.训练完验证使用的是什么数据集7.做这个工作的过程中的难点在哪8.如何做的 SFT9.介绍一下 PPO10.讲一下 RAG 项目11.分类任务常用的评测指标有哪些12.讲一下 LoRA 微调的原理13.A、B 矩阵怎么初始化的14.LoRA 微调秩设置的是多少coding最小生成树

给我面没招了，感觉自己好菜、面试很难，还是要多多练习1.项目拷打2.你在去部署或者训练预训练或者后训练的模型时，有没有用过一些比较底层的一些训练的调试的工具，比如说千卡的话很容易就会出NCCL timeout，如果出现 NCCL timeout，一般怎么定位和解决？3.像那种rl里面的那个MOE之类的那种的优化有去做过吗4.看您的训练经验比较丰富，而且您上线运行的推理内容之前也进行过一些什么样的优化吗？5.有没有做过 kernel级别的优化？比如用 CUTE DSL或者手写 CUDA去做 fusion这类算子融合优化，介绍一下6像底层，如果你们在做.kernel fusion，倾向于用什么方式来做7.有没有哪次你做了 fusion 结果性能反而下降的？原因是什么8.平时写 CUDA的时候，有没有关注到底层实现细节？比如你刚提到 FA2，那再往下一层，像 Hopper架构里那个 warp specialization是什么，它底层大概是怎么实现的9.试过用 Agent去生成cuda内核么，怎么去做的10.如果我把 warp specialization 去掉，只保留 tile 和 shared memory 优化，大概会损失在哪？11.怎么么判断一个 MoE 模型是真的学到了分工，而不是只是把 dense模型拆开了12.在 RL + MoE 里，有没有遇到过 reward把 routing学坏的情况？就是模型为了拿 reward，全都走某几个 expert，这种情况你当时是怎么处理的

整体面试还是不错的，但是没后续了，不知道是哪里出了问题1.项目拷打2.实习拷打3. 多轮对话超长上下文如何训练4. 上下文记忆策略5. Skills读取超长sop的优化有哪些trick