小米 多模态算法工程师 暑期一面 面经

感觉对项目拷打的比较深，常规的八股考的不太多。多模态可以参考的信息也比较少。1 lora微调的epoch是多少 ？和常规的大模型epoch有什么区别？为什么2 clip为什么要创建两个表，分别做文本到图像和图像到文本的映射？对角线上的这两个值难道不是一样的吗？3 对图像的傅里叶变换，真的可以把图像的频域信息提取出来吗？ 都是时间域的嵌入转化为频域是否有可解释的物理含义？你是否做过相关实验？比如看每个图像高频低频的部分相关程度？4 交叉熵怎么计算？ 什么时候需要softmax5 qwen vl三阶段的过程都是什么？ 这样做有什么好处？最后一个阶段做了什么事情6 显著性目标检测为什么生成的是mask？这不是和图像分割类似吗？ 为什么不是描框？ 显著性目标检测的matrix为什么是IoU？你能解释一下是怎么计算的吗？7 针对样本不平衡的问题，训练的损失函数可以做什么改动？你是否了解focal loss？8 你对强化学习了解吗？大模型中强化学习用什么技术？(感觉是想问DPO那些的)9  swin transformer了解吗？是怎么实现的降低复杂度？ 在一个patch内使用滑动窗口还有什么其他的好处？

📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

腾讯-混元大模型面经-华5硕部门与岗位：TEG - 混元大模型团队 - 大模型对齐一面自我介绍，过实习，讲论文，论文过的比较细，有说的笼统的地方面试官会实时进行询问交流了解哪些大模型，简要挑一两个介绍一下，当时说了 Qwen 和 DeepSeek，然后面试官又问了这两个有什么区别接着上一问，为什么大家都开始探索 MoE 架构，MoE 相比 Dense 有什么好处在之前实习的时候用 LoRA 微调过 Qwen，于是问了有没有全量微调过，有没有对比过两者的性能表现讲一下大模型训练和推理的流程，SFT 和 RLHF 的作用分别是什么在 RLHF 中，目前主流的强化学习算法有哪几个，写一下损失函数的表达式代码：22. 括号生成代码：多头自注意力一面问的八股还是比较多的，问的也比较细，而且还写了两道代码题，整个面试花的时间也比较多，大概一个半小时左右二面自我介绍，过实习和论文，面试官会一起进行探讨，包括工作的动机、贡献和结果，也会提一些问题和建议之前实习用 DeepSpeed 微调过 Qwen2-72B，于是面试官问了 ZeRO-1，ZeRO-2，ZeRO-3 三个模式的区别当时你用 DeepSpeed ZeRO-3 来微调 Qwen2-72B，每一张卡占用的显存大概是多少，估算一下为什么是占这么多的显存除了 DeepSpeed，还用过其他的什么优化方法吗我看你也用到了 LoRA，知道 LoRA 的原理吗，A 和 B 两个矩阵怎么初始化，有了解过其他的初始化方法吗对 RLHF 了解的多吗代码：3. 无重复字符的最长子串二面更多的是结合具体的工作来问的，从用到的东西来引出问题，问的也比较灵活。当然因为部门主要是做对齐的，所以也大概聊了聊 RLHF三面自我介绍，挑一个觉得做的比较好的论文和实习讲一下，面试官问的比较详细，为什么选现在这种方案，为什么 work，其他方案有考虑吗在微调 Qwen 的时候，数据是怎么构造的，有用到什么数据清洗方法吗，数据配比是怎么做的讲一下 RLHF 的流程，之前有用 RLHF 做过模型对齐吗在做对齐的时候，为什么 SFT 之后还要做 RLHF，只用 SFT 可以吗知道哪些强化学习算法，除了 PPO 和 DPO 这些呢，DeepSeek 用的 GRPO 相比于 GPT 的 PPO 做了哪些改进开放题：对目前大模型的发展有什么看法代码：零钱的两个题 322. 零钱兑换518. 零钱兑换 II三面面试官更聚焦于对齐这一块的内容，考的比较深。由于之前没有接触过强化学习，答得还是比较吃力的，不过面试官还挺好的，会一起讨论来做引导四面自我介绍，过论文和实习，问的也比较细，这里能明显的感受出来面试官的视角更系统，会把这些工作串起来问我看你简历上没写 RLHF，平常有用过 RLHF 吗推导一下神经网络反向传播的过程一道排列组合的概率题开放题：你觉得大模型目前还有哪些可以改进的点四面整体更看重思维和基础，没有考察什么八股总结一共四轮技术面，整体来说强度比较大，对于大模型八股的考察比较细，对大模型的理解问的也比较深刻，包括一些数理逻辑基础，考察的比较全面腾讯-混元大模型面经-华5硕-主页内tui腾讯2026校园招聘技术研发提前批专项，报名启动面向对象：毕业时间在2025.1.1~2026.12.31期间的同学开放岗位：前端、移动端、PC端、游戏端、测试开发、技术运营等招聘项目选择：【人才专项-技术研发提前批】，截止时间：8月5日。技术研发提前批专项面试未通过，不影响后续参加常规应届生招聘。专项优势：-更大几率发起面试，投递即进专项简历库-更快流程推进，先人一步拿到正式offer-更高offer成功率，大前端、测试开发等热招岗位需求多多内推链接：https://join.qq.com/resume.html?k=ANQI6RfQ3rhPS2dpyIkeSw（内推简历优先筛选，加速流程推进）

1️⃣自我介绍：【⌚️10分钟】点评：流水账，有些磕磕绊绊，自我介绍环节的项目介绍的很详细，非常冗余。优化：写逐字稿，背诵，提升语言表达能力。2️⃣经常问题的问题优化：【⌚️20分钟】1：transform结构了解吗？回答点评：回答的很简单，5分吧，说了transform的结构是encode-decode结构，分块，每个块里面有四个组建，MHA、FFN、LN、残差链接，介绍和理解不深刻。提升指导：梳理回答逻辑结构，讲解MHA、FFN、LN、残差链接的添加逻辑和含义，其中MHA给出代码层面理解，从2分钟的回答变成6分钟的回答。2：多头自注意力机制是啥？公式是啥？代码你会写吗？回答点评：讲了公式，但是掌握的不够细致，pytorch代码框架不熟悉，attention_mask机制没有写出来。提升指导：讲述代码的原理，如何使用代码回答问题，展示自己的理解深刻。3：rag中的多路召回是什么？embeding为啥用智源的BGE-large/Base？回答点评：使用了BM25和向量召回，但是没有讲出来两个的区别和联系提升指导：先讲原理，再讲述下语义理解能力和泛化能力的区别，计算的效率，两个互为补充等。3️⃣不会回答的问题指导：【⌚️40分钟】1:  LN不太会回答，看网上的回答很多，但是不是理解层面。2：我的向量召回是faiss做的，和这个相关的问题我如何准备？3：经常会被问到rag用的啥框架，这个问题如何回答？还需要准备框架的知识吗？4：面试官经常问我，rag的模型是啥？有做微调吗？如果不做微调怎么回答？5：大模型还需要补充那些知识？📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。