阿里云多模态算法面经

1、项目，各种聊就行2、ViT的原理，swin-Transformer的原理，各自对比，他们的编码方式，是否可学习，各自优缺点，attention的区别和滑动方法；3、多模态VLM的不同模块的设计原理，attention原理，旋转位置编码原理4、手撕动态规划题目：给定一个三角形 triangle ，找出自顶向下的最小路径和。 每一步只能移动到下一行中相邻的结点上。相邻的结点 在这里指的是 下标 与 上一层结点下标 相同或者等于 上一层结点下标 + 1 的两个结点。也就是说，如果正位于当前行的下标 i ，那么下一步可以移动到下一行的下标 i 或 i + 1 。 示例 1： 输入：triangle = [[2],[3,4],[6,5,7],[4,1,8,3]] 输出：11 解释：如下面简图所示： 2 3 4 6 5 7 4 1 8 3 自顶向下的最小路径和为 11（即，2 + 3 + 5 + 1 = 11）。 示例 2： 输入：triangle = [[-10]] 输出：-10解题代码：# dp 三角def minimumSum(triangle):# top --downfor i in range(len(triangle)-2, -1, -1):# scane all elemfor j in range(len(triangle[i])):# current +=  下一行最小值triangle[i][j] += min(triangle[i+1][j], triangle[i+1][j+1])# top last就是return triangle[0][0]if __name__ == "__main__":triangle = [[2],[3,4],[6,5,7],[4,1,8,3]]print(minimumSum(triangle))triangle = [[-10]]print(minimumSum(triangle)

继续来分享下之前的面经~欢迎友好讨论，信息共享1.项目细节深挖2.除了caption数据,为什么还要做一些VQA、reasoning、summary数据呢?3.解释为什么VQA、conversation、reasoning数据可能会提升模型效果4.当时的消融实验是完全消融吗?具体怎么做的?5.你的关键帧是怎么做的?6.技术报告看过吗:glm-4.1V,qwen3-vl,mimo-vl,kimi-vl,seed-1.5-vl7.你有仔细去看现在主流的VLM是怎么去洗数据，或者是怎么构造整套pipeline吧8.假如说你参与到这个进程中，你怎么看待接下来的趋势，或者说你拿到一个STEM任务类型，你会怎么去做，你觉得现在技术报告里的缺点在哪里，你有什么想法吗?9.使用VLM-as-judge做整套的数据清洗pipeline，从合成、清洗、过滤、验证、合并，这块有了解吗

和他们招的方向不太匹配感觉问了项目和手撕一道题就结束了非常有意思的是面试一开始就问了许多个人问题，以及反问

被横向挂了，希望发出来对大家有帮助！项目拷打15分钟左右：八股：1.模型推理部署的时候用的什么框架，对这方面了解多少，vllm，sglang2.qwen2.5vl和qwen3vl的对比3.qwen2.5vl怎么做的动态分辨率处理的图片或者视频，对比intervl两者有什么不一样的4.ROPE是相对位置编码还是绝对位置编码，原理是什么5.qwen2.5vl里面的MROPE怎么实现的6.DPO，GRPO，PPO有什么区别和不同7.python里的函数是不是对象8.python的装饰器是什么9.除了模型训练侧，agent有了解多少