阿里高德打车多模态大模型算法岗

✅一面1.首先是自我介绍和过项目，面试官还一起探讨项目用到的方法，可行性之类的2.介绍一下 CLIP3.了解 LoRA 吗，LoRA 微调的原理是什么4.了解哪些多模态大模型，简要介绍几个5.BLIP 的三个损失函数分别是什么，数据是怎样清洗的6.BLIP2 相对于 BLIP 有哪些改进，BLIP3 又有哪些改进7.Qwen-VL 的三个训练流程分别是什么，有什么作用8.视觉编码器和 LLM 连接时，使用 BLIP2 中 Q-Former 那种复杂的 Adaptor 好还是 LLaVA 中简单的 MLP 好，说说各自的优缺点9.代码：实现多头自注意力✴️一面比较常规，几乎都是八股问题，我觉得只要了解常见的多模态大模型都问题不大，主要还是要理解各个模型设计的动机是什么，这也是面试最喜欢考察的✅二面1.自我介绍和过项目，简要问了项目中使用某些方法的动机，以及是否会导致其他的问题2.了解 Transformer 吗，编码器和解码器的注意力有什么区别，在计算注意力中时除以 \sqrt{d_k} 的原因是什么3.后来有哪些比较经典的基于 Transformer 的语言模型，Qwen 相比于原始 Transformer 有哪些结构上的改动，Qwen2 又有哪些改进4.了解 RLHF 吗，DPO 和 PPO 有什么区别，Loss 是什么样的，各自的优缺点是什么5.介绍一下 CLIP，还了解什么其他的对比学习方法6.开放题：了解哪些多模态大模型，目前多模态大模型最大的问题是什么7.代码：1143. 最长公共子序列✴️二面其实也偏常规，几乎也都是八股问题，但是也考察了一些对模型的理解以及知识面的广度，整体来说比一面的难度大一些✅三面1.自我介绍，然后详细过了一下项目2.了解哪些大模型和多模态大模型，然后就聊了大模型这一路是怎么发展过来的，Transformer、BERT、GPT、LLaMA、Qwen 这些，以及当时的 o1 推理模型3.平常有尝试过训练过大模型吗，规模小一点的也没关系4.聊天，包括职业规划等等✴️三面比较轻松，面试官说知识点前面两面都考察过了，三面就轻松一些，大概40来分钟吧📳**************************************。

字节-算力基础设施：听面试官说是负责APP应用的底层算力支持，和APP相比算是一种幕前和幕后的关系？没有搞太懂，但感觉业务面有点窄，感觉搞的是基础架构方面的东西吧。美团-核心本地商业-业务研发平台：做的是卖票方面的业务，因为需要和第三方企业做对接，所以既是To B又是To C。 我个人的看法是字节的岗位感觉不太能够和需求联系起来，感觉像是完全的To B，后面如果想跳的话，可能选择不多，但是又感觉字节的tittle更大一点；美团的这个至少是有具体的业务在的，感觉对以后的发展会好一点。两个都是暑期实习，听字节的hr说他们这个部门转正率挺高的，不过美团的转正率也高，这个是大家都知道的，个人有点纠结，...

1️⃣一面时间：9.12  时长：1hcode：统计岛屿数量、最大岛屿面积，DFS方法解了然后介绍实习项目，面试官非常耐心地听，没有打断八股1.bert和gpt的区别？（从模型架构、训练方式、使用场景方面回答的）2.训练/微调一个LLM的流程？3.实习时用的 megatron 框架吗，对分布式训练框架了解多少？（回答了deepspeed和megatron区别，以及几种并行方式，以及deepspeed的三种zero）4.了解强化学习吗，跟SFT有什么区别？5.反问：业务，对岗位的期望💣评价：有点紧张，算法题有一个小失误没注意到2️⃣二面时间：9.14  时长：1h八股1.写一下 attention 公式（代码实现了下）2.训练时为什么要mask，推理时也需要吗？两处有什么区别？推理时的sequence length和训练时一样吗3.transformer和传统seq2seq模型有什么区别？4.计算attention时为什么要除以d_k，这个d_k的含义是？5.attention计算时还有哪些scale处理？6.attention中softmax函数作用、公式、为什么有减去最大值的处理？换个函数还能这样处理吗？7.解释数值上溢、下溢问题8.讲一下prompt书写的经验，如何判断prompt是否达标，如何改进prompt9.讲一下SFT，会对哪部分计算loss？为什么？10.讲一下deepspeed11.训练用一个7b模型要占用多少显存？不同zero阶段能够节省多少显存？12.训练模型时用了几张卡，有遇到什么异常中断问题吗？反问： 在乎候选人什么能力？对面试表现有哪些改进意见？💣评价： 基础不够扎实，网上有的知识都能回答上来，在同龄人里算比较优秀，欠缺一些多机多卡实践经验。  

LORA 原理：解释 LORA(Low-RankAdaptation)的核心思想，如何通过低秩矩阵实现参数高效微调?数学形式如何表达?Self-Attention机制：自注意力机制中 O/K/ 矩阵的作用是什么?如何通过缩放点积计算注意力权重?公式推导并解释Softmax 的意义。位置编码：Transformer为何需要位置编码?主流 LLM(如 LLaMA、GPT)使用哪种位置编码(如 ROPE)?相比绝对/相对位置编码有何优势?Seq2Seg 模型：Seq2Seq模型的核心组件是什么?Encoder-Decoder结构如何解决长程依赖问题?RAG技术：RAG(检索增强生成)的完整链路包含哪...