阶跃星辰大模型算法实习一面

研发卷，10道选择题 + 3道编程题，选择题基本上都是AI/大模型相关：RAG、大模型等等，最近做笔试基本上都是AI相关的了， 大家还是提前多刷刷AI的知识吧 编程题： T1. 风不吹雨 操作 1 是把  变成 ，最多用  次；操作 2 是减 ，最多用  次。每个位置每种操作最多做一次，两种可以同时做，求最小元素和。 一个比较显然的结论：如果同时做两种操作，先除后减一定不差于先减后除（因为除法会把减掉的量也砍半）。所以同时做两种操作的减少量就是 ，其中 。 然后注意到操作 2 对每个元素的减少量都是 ，跟选哪个元素无关。所以操作 2 直接贡献  的减少量。操作 1 的减少量取决于选哪些元素，贪...

发点面经攒攒人品～1.项目介绍2.介绍实习3.数据集使用的是公开数据集还在有自己构造数据集大模型相关八股提问4.分别讲一下 Dense 模型和 MoE 模型以及二者的区别5.讲一下MoE的 路由机制是如何做的6.训练完验证使用的是什么数据集7.做这个工作的过程中的难点在哪8.如何做的 SFT9.介绍一下 PPO10.讲一下 RAG 项目11.分类任务常用的评测指标有哪些12.讲一下 LoRA 微调的原理13.A、B 矩阵怎么初始化的14.LoRA 微调秩设置的是多少coding最小生成树

面试里如果被问到“为什么Attention要做成多头，而不是单头就够了”，很多人会先回答一句：“因为多个头可以关注不同子空间的信息。”这个方向并没有错，因为我最一开始学算法的时候，也思考过这个问题，但那会儿搜到的也就是这些原理罢了，但问题在于，这个说法太抽象了。面试官如果继续追问一句“什么叫不同子空间？到底不同在哪”，很多人就接不下去了，反正我到毕业写完论文了都没想过这个点。要把这道题答好，其实需要先回答一个更本质的问题：如果只有一个头，究竟会出什么问题？把这个问题讲透，多头注意力的问题也就解答了。（我的回答建议在文末）一、先别急着讲多头，先看单头的瓶颈到底是什么先从单头注意力开始。假设输入序...

攒攒人品！有面试过同岗的朋友欢迎评论区交流1.论文拷打2.如何确定改进的方向，动机是什么3.问了一下实习做的工作，没细问4.深度学习基础知识，网络怎么初始化5.过拟合6.dropout，推理时dropout需要什么额外处理7.手撕，算sqrt()，要写两种方法，牛顿迭代和二分查找