小米 多模态算法工程师 暑期一面 面经

感觉对项目拷打的比较深，常规的八股考的不太多。多模态可以参考的信息也比较少。1 lora微调的epoch是多少 ？和常规的大模型epoch有什么区别？为什么2 clip为什么要创建两个表，分别做文本到图像和图像到文本的映射？对角线上的这两个值难道不是一样的吗？3 对图像的傅里叶变换，真的可以把图像的频域信息提取出来吗？ 都是时间域的嵌入转化为频域是否有可解释的物理含义？你是否做过相关实验？比如看每个图像高频低频的部分相关程度？4 交叉熵怎么计算？ 什么时候需要softmax5 qwen vl三阶段的过程都是什么？ 这样做有什么好处？最后一个阶段做了什么事情6 显著性目标检测为什么生成的是mask？这不是和图像分割类似吗？ 为什么不是描框？ 显著性目标检测的matrix为什么是IoU？你能解释一下是怎么计算的吗？7 针对样本不平衡的问题，训练的损失函数可以做什么改动？你是否了解focal loss？8 你对强化学习了解吗？大模型中强化学习用什么技术？(感觉是想问DPO那些的)9  swin transformer了解吗？是怎么实现的降低复杂度？ 在一个patch内使用滑动窗口还有什么其他的好处？

积功德职位描述：1. 负责机器学习、深度学习等算法在得物业务场景的产品化工作2. 包括但不限于如下方向：目标检测，图像分割，图像分类，NLP，多模态，大模型等职位要求：1. 熟悉Linux环境开发，熟练掌握 Python 语言，有较强的编码能力2. 熟练使用一种深度学习框架如Pytorch、TensorFlow等，熟悉OpenCV、NumPy、Pandas等常用库3. 对云原生有一定了解，有容器化使用经验者优先4. 有GPU编程经验、熟悉算法模型部署、 TensorRT 优化工具者优先5. 图像处理、模式识别、计算机视觉、计算机图形学、机器学习等计算机相关专业在读研究生优先一面（2025.7.10）30minHR发给我的邮件是上午 11 点，我 11 点进会议等了半个多小时没人退出去了，12 点多的时候，HR微信联系我说怎么没进飞书会议，然后我赶紧爬起来进会议。。。搞忘了，日本和国内有一个小时时差，麻了。。。1. 面试官进来直接说你的简历我已经看过了，自我介绍一下吧2. 几乎是纯聊天。。。面试官说我的经历非常匹配（暗示）3. 大模型有没有推理优化经验？无，我说以前主要做CV算法，接触和使用过扩散模型，这也算CV大模型🤗4. 算法题：最大子数组和（秒了）5. 硕士研究内容？6. 偏向算法还是调度？有没有调度相关经验？无。。。7. 你们推理部署是怎么做的？我介绍了自己之前负责和参与过的GPU侧和端侧的推理部署8. 写过CUDA吗？熟不熟？学校里深入学过，之后因为业务关系，没啥使用场景，可以再捡起来9. 你还做过AIGC？有没有NLP相关经验？基本的概念和算法比如 tf-idf, n-gram，word2vec 这些都是知道的，做过文本分类任务，了解 Transformer、CLIP10. 有没有多卡推理优化经验？有多卡训练经验，多卡推理没做过。。。11. 问什么时候能来实习？答最快这月底就能到岗，3个月时间可以保证，每周5天12. 你知道岗位base地吗，能接受吗？我说就是期望在国内实习，上海完全能接受，表现出很想去的意愿🤣13. 反问：组内主要业务场景？商品内容理解、文本理解、AI鉴定商品真伪、推理优化等。学聪明了，面试官框框介绍完，我添一句“那还是挺期待的”🤣，疯狂暗示一面面试官貌似就是老大，结束后HR直接说过了，进offer流程。。。今年暑期准备就去这个了，主要是面试官和善，面试体验好、务实，其余都是次要的（没认真找，随便投投，攒攒面试经验，我觉得现在找工作看眼缘、看运气。本来想着回家吃饭睡觉的 日本饭好难吃啊。。。

6.26投递 7.16一面无笔试，直接约一面。（还有独立的提前批和正式批）强度比较大，总时长1h，5min自我介绍+50min提问（项目+少量八股）+反问。无手撕。1.自我介绍（专门提前问了我PPT要讲多久）2.项目提问（这次每个项目都问了，很全）项目一：问题1：做的课题是什么，主要贡献是啥追问：你的意思是，FoV和深度恢复的权衡，谁重要？追问：你们的结论是啥呢追问：这个算法在哪个开源方改的，有没有版权问题的追问：算法具体的改进点，具体代码追问（打断）：会做关联吗问题2：快速运动图像模糊有特殊处理吗问题3：大致讲一下代码里面SLAM的整个流程项目二：问题1：你们加了啥追问：上面也是用脚点的方式去提吗？追问：能不能看一下效果，针对视频效果提问追问：网络细节，输出什么追问：看一下指标项目三：（横向）问题1：做的什么地图，mesh吗问题2：讲讲这块你遇到的比较大的问题，克服的一些困难追问：有精度指标上的要求吗追问：调研的时候，还有其他方法吗项目四：问题1：挑战杯项目是啥追问：这个项目主要是为了什么，用什么传感器，组大概有多少人八股：问题1：C++里面有多少个锁问题2：sort的排序序大致是怎么实现的反问：技术现状，传统方法焦虑学习方法还不够成熟，实际应用中仍需结合传统规则，有些厂商也在回归传统。真正能完全靠 learning 落地的还没有，最多就是demo，没人确定学习方法能不能真正解决问题。SLAM 岗位变少了但相关方向如建图仍有需求。公司更看重的是个人成长性和通用能力，而不是具体做的是传统方法还是深度学习

15个单选，5个多选，2个简答和一个编程选择：深度学习知识，transformer等简答：1.K折交叉验证2.两种IOU改进策略编程：dp 一个源字符串，给你一个目标字符串，你可以进行1.修改一个字符，2.添加一个字符，3.删除一个字符，这样的操作，求最小的操作次数