百度大模型算法实习二面 50min

面完就知道已挂无自我介绍，上来先介绍他们团队，然后说一面只考察基础，不问项目，就简历上写了Lora1、先code，桌面共享个IDE，手撕lora，给class loralinear，只要写init和forward部分即可2、scale值和alpha：一般设置为多少？这么设置的动机是什么？根据什么去调整？3、A/B两个矩阵的初始化，以及为什么一个是随机高斯初始化，一个是0，能不能两个都为0，能不能两个都随机初始化？4、推理时会用到的并行策略？比如70B的模型，用8卡（A800）单机去跑推理，如何打满GPU？正确答案应该是：可以采用TP+FP8/INT8的形式，如果使用vLLM这种推理加速器的时候，显存利用率的配置可以写成95%，最大程度打满。(结果我说DP+ZERO2，面试官说的是推理时候，结果我一紧张脑子里是训练的时候，吐血。面试官提示了zero是处理哪些部分，结果我迟迟反应过来！Zero只会在训练的时候用！)

1. 自我介绍2. 项目拷打3. Reward Model 在对齐训练里扮演什么角色Reward Model 本质上是在学一个“人类更偏好什么”的可微近似函数。SFT 学的是“像人那样答”，RM 学的是“人更喜欢哪种答法”。它并不直接生成答案，而是给候选答案打分，把人类偏好从离散排序信号压进一个标量目标里，后续无论是 PPO 还是其他策略优化方法，核心都要依赖这个分数去推动模型往偏好更强的方向移动。RM 最大的价值不是替代人工，而是把人工偏好从逐条监督扩展成可批量泛化的训练信号。真正难的地方在于它很容易学到表面模式，比如更长、更像模板、更会说套话的答案可能被错判成更优，所以 RM 训练的上限很...

面试的是大模型相关测试的部门，题目比较基础，但是牵扯到大模型相关的知识了，全部回答上来了，但是回答的模棱两可（太菜导致的）1.解释一下 Transformer 的 Encoder 和 Decoder 的区别和分别做什么的？2为什么模型参数越多，不一定代表单个 Token 推理成本越高呢？3.为什么 MoE会导致模型参数越多，不一定代表单个 Token 推理成本越高呢？4.解释一下什么是灾难性遗忘？5.为什么模型会出现幻觉？6.Temperature这个参数是干嘛的？7.Temperature → 0 时还会有幻觉吗？8.在向量数据库里，两个同义词是什么关系？9.假如有完全相同意思的词语，会出现在一条线上吗？10.RAG 的工作流程是什么？11.从一个 Query 进来开始，完整描述一下 RAG 的流程。12.如果 RAG 检索到的 Chunk 不足以回答问题，后续会怎么处理？

1. 你做过的后训练项目里，最难解决的问题是什么2. SFT 数据你怎么构造，怎样避免模型被训练“油了”SFT 最大的问题不是量不够，而是数据风格太单一，最后把模型训成一种固定腔调：很会说、很圆滑、但信息密度低。构造数据时我一般会先按任务拆层，比如信息抽取、工具调用、复杂问答、拒答、安全、长文总结、结构化输出，每一层的目标都不一样。然后再做难度分桶，避免模型只见过简单样本。另一个关键点是负面风格清理。很多数据表面上没错，但非常模板化，比如“这是一个非常好的问题，让我们一步一步分析”，这类东西在少量数据里没问题，规模一大就会把模型带偏。所以我会专门清掉这种“高礼貌、低信息”的样本，保留更接近真实...