大模型算法面经分享-字节

发点面经攒攒人品～1.项目介绍2.介绍实习3.数据集使用的是公开数据集还在有自己构造数据集大模型相关八股提问4.分别讲一下 Dense 模型和 MoE 模型以及二者的区别5.讲一下MoE的 路由机制是如何做的6.训练完验证使用的是什么数据集7.做这个工作的过程中的难点在哪8.如何做的 SFT9.介绍一下 PPO10.讲一下 RAG 项目11.分类任务常用的评测指标有哪些12.讲一下 LoRA 微调的原理13.A、B 矩阵怎么初始化的14.LoRA 微调秩设置的是多少coding最小生成树

第一场字节，三进宫，压力还是那么的大，现场共享屏幕启动项目看流程，结果当场出bug，在这浪费了将近20min还没搞出来（其实就是提示词模版给错了，导致空指针，还是压力太大了），然后问我二开项目是不是没跑过 ,算法是判断一棵树是不是另一棵树的子树，好像是力扣原题，75min。第二场钉钉，出场景题看你思考的深度（大型qps的一个系统，要求用到磁盘，怎么优化，我的思路是redis那一套，多实例，缓存，缓存淘汰策略），跟面试官有说有笑，谈到了ai 替代程序员的话题，45min，无算法。第三场美团，这个体验最好，面试官是个同龄人，彬彬有礼，一直围绕着项目聊，对每一个点都仔细询问，有没有什么替代方案，也问...

给我面没招了，感觉自己好菜、面试很难，还是要多多练习1.项目拷打2.你在去部署或者训练预训练或者后训练的模型时，有没有用过一些比较底层的一些训练的调试的工具，比如说千卡的话很容易就会出NCCL timeout，如果出现 NCCL timeout，一般怎么定位和解决？3.像那种rl里面的那个MOE之类的那种的优化有去做过吗4.看您的训练经验比较丰富，而且您上线运行的推理内容之前也进行过一些什么样的优化吗？5.有没有做过 kernel级别的优化？比如用 CUTE DSL或者手写 CUDA去做 fusion这类算子融合优化，介绍一下6像底层，如果你们在做.kernel fusion，倾向于用什么方式来做7.有没有哪次你做了 fusion 结果性能反而下降的？原因是什么8.平时写 CUDA的时候，有没有关注到底层实现细节？比如你刚提到 FA2，那再往下一层，像 Hopper架构里那个 warp specialization是什么，它底层大概是怎么实现的9.试过用 Agent去生成cuda内核么，怎么去做的10.如果我把 warp specialization 去掉，只保留 tile 和 shared memory 优化，大概会损失在哪？11.怎么么判断一个 MoE 模型是真的学到了分工，而不是只是把 dense模型拆开了12.在 RL + MoE 里，有没有遇到过 reward把 routing学坏的情况？就是模型为了拿 reward，全都走某几个 expert，这种情况你当时是怎么处理的

联想一面自我介绍rag文本分块策略你对AI agent的了解了解哪些框架在rag中如何构建上下文对话的能力关于大模型提示词的经验你知道哪些agent工具rag中的幻觉问题是这么处理的？你知道哪些向量数据库？在rag中，有哪些相似度的计算方法你知道最近两年有哪些agent框架吗谈谈你对openClaw的人生谈谈对agent Skills的认识什么是python闭包，你在项目中哪些场景中使用了的Java中如何处理内存泄漏风险反问：大概有几面：总共两面，后面一面是HR面多久能知道本次面试的结果：应该很快吧大概多久能入职：得HR才能知道（整个流程总共20分钟，无手撕代码环节。时间短的比拷打1个半小时，...