双九硕多模态算法暑期实习复盘｜面经小结

从3.13号开始投起，除了拿到几个agent的offer（都拒）之外，就没有什么合适的offer了。转vlm确实很难，多模态项目都是自己做的，阿里实习的关于视频生成的，不知道我还需要做哪些努力才能找到vlm的实习啊。百度空间理解（一面挂），小红书（内容生成一面挂），字节（多模态/AIGC，抖音直播内容理解一面挂），商汤agent（一面挂），快手多模态（一面挂），阿里系乱捞都不合适也挂了

鼠鼠从寒假开始投，先总结如下但是总结之前，请让我感慨一下，到底是谁在拿offer啊！！！1、字节一面挂；2、腾讯 hr部门一面挂、 腾讯云一面挂；3、阿里淘天一面挂、菜鸟简历挂、阿里健康简历挂、高德简历挂；4、OPPO简历挂；5、vivo挂；6、蚂蚁国际二面挂；7、网易简历挂；8、b站简历挂；9、拼多多简历挂；10、小红书一面挂；11、太多太多了，不想再说了，都是泪啊；唯二还有希望的：携程英语测评之后泡池子、飞猪三面之后感觉自己也得g靠靠靠 damn damn，到底是谁在拿offer！

1、项目，各种聊就行2、ViT的原理，swin-Transformer的原理，各自对比，他们的编码方式，是否可学习，各自优缺点，attention的区别和滑动方法；3、多模态VLM的不同模块的设计原理，attention原理，旋转位置编码原理4、手撕动态规划题目：给定一个三角形 triangle ，找出自顶向下的最小路径和。 每一步只能移动到下一行中相邻的结点上。相邻的结点 在这里指的是 下标 与 上一层结点下标 相同或者等于 上一层结点下标 + 1 的两个结点。也就是说，如果正位于当前行的下标 i ，那么下一步可以移动到下一行的下标 i 或 i + 1 。 示例 1： 输入：triangle = [[2],[3,4],[6,5,7],[4,1,8,3]] 输出：11 解释：如下面简图所示： 2 3 4 6 5 7 4 1 8 3 自顶向下的最小路径和为 11（即，2 + 3 + 5 + 1 = 11）。 示例 2： 输入：triangle = [[-10]] 输出：-10解题代码：# dp 三角def minimumSum(triangle):# top --downfor i in range(len(triangle)-2, -1, -1):# scane all elemfor j in range(len(triangle[i])):# current +=  下一行最小值triangle[i][j] += min(triangle[i+1][j], triangle[i+1][j+1])# top last就是return triangle[0][0]if __name__ == "__main__":triangle = [[2],[3,4],[6,5,7],[4,1,8,3]]print(minimumSum(triangle))triangle = [[-10]]print(minimumSum(triangle)

1. 介绍一下你做的这个项目2. LoRA 的基本原理是什么LoRA 的核心思路是，微调大模型时没有必要把整个权重矩阵都更新掉，而是只学习一个低秩的增量。原始权重记作 (W)，微调后的权重写成：其中 (A) 和 (B) 的秩都很低，参数量远小于直接更新整个 (W)。训练时冻结原模型参数，只训练这两个小矩阵，这样显存占用、优化器状态和保存体积都会小很多。它适合做领域适配、指令微调这类任务，因为很多任务对模型的改动并不需要覆盖完整参数空间。LoRA 常见会插在 attention 的 q_proj、v_proj 上，有时也会加在 k_proj、o_proj 或 MLP 层。选哪些层，本质上是在表达...