想问问有没有去了高德打车多模态大模型算法岗的佬们二面结束以后多久oc 呀我看大模型开发都出结果特别快我是昨天下午面的，焦急等待太想去了

✅一面1.首先是自我介绍和过项目，面试官还一起探讨项目用到的方法，可行性之类的2.介绍一下 CLIP3.了解 LoRA 吗，LoRA 微调的原理是什么4.了解哪些多模态大模型，简要介绍几个5.BLIP 的三个损失函数分别是什么，数据是怎样清洗的6.BLIP2 相对于 BLIP 有哪些改进，BLIP3 又有哪些改进7.Qwen-VL 的三个训练流程分别是什么，有什么作用8.视觉编码器和 LLM 连接时，使用 BLIP2 中 Q-Former 那种复杂的 Adaptor 好还是 LLaVA 中简单的 MLP 好，说说各自的优缺点9.代码：实现多头自注意力✴️一面比较常规，几乎都是八股问题，我觉得只要了解常见的多模态大模型都问题不大，主要还是要理解各个模型设计的动机是什么，这也是面试最喜欢考察的✅二面1.自我介绍和过项目，简要问了项目中使用某些方法的动机，以及是否会导致其他的问题2.了解 Transformer 吗，编码器和解码器的注意力有什么区别，在计算注意力中时除以 \sqrt{d_k} 的原因是什么3.后来有哪些比较经典的基于 Transformer 的语言模型，Qwen 相比于原始 Transformer 有哪些结构上的改动，Qwen2 又有哪些改进4.了解 RLHF 吗，DPO 和 PPO 有什么区别，Loss 是什么样的，各自的优缺点是什么5.介绍一下 CLIP，还了解什么其他的对比学习方法6.开放题：了解哪些多模态大模型，目前多模态大模型最大的问题是什么7.代码：1143. 最长公共子序列✴️二面其实也偏常规，几乎也都是八股问题，但是也考察了一些对模型的理解以及知识面的广度，整体来说比一面的难度大一些✅三面1.自我介绍，然后详细过了一下项目2.了解哪些大模型和多模态大模型，然后就聊了大模型这一路是怎么发展过来的，Transformer、BERT、GPT、LLaMA、Qwen 这些，以及当时的 o1 推理模型3.平常有尝试过训练过大模型吗，规模小一点的也没关系4.聊天，包括职业规划等等✴️三面比较轻松，面试官说知识点前面两面都考察过了，三面就轻松一些，大概40来分钟吧📳**************************************。

由于是排序后转推荐到其他组，因此就只有 ld 一面实习具体做的啥基建问题排查思路与解决思路小程序双线程架构在安全上有啥好处自己开发小程序，觉得他的优劣是什么如果小程序是单线程，那么他有可能会存在什么漏洞基础库架构，为什么会有 MainCtx and SubCtx 这样做是为了防止什么简单说说ssr如果要自己手动实现 clientonly 组件，有什么思路同构直出远程协同思想 基于状态与基于操作的区别yjs 并发冲突如何处理yjs 的协同算法，如何算出每一个操作唯一的插入位置yjs gc，墓碑机制undo redo 实现协同光标实现思路实践中遇到的服务端崩溃问题，你目前的解决方式和理想解决方式手写：实现一个 Replay 类，初始化为一个数字，用来决定对象可存储变量上限，其中 next 方法可以往该类存储变量， subscribe 方法用于添加一个订阅器，首次添加时立即输出类存储的所有变量，随后每次调用 next 方法都会 call 所有的 subscriber包装 一个 websocket 对象，并对外暴露一个 fetch 方法，使得 ws 的通信能像 fetch 那样调用，数据结构以及实现形式没有要求就记得这么多了

1️⃣一面时间：9.12  时长：1hcode：统计岛屿数量、最大岛屿面积，DFS方法解了然后介绍实习项目，面试官非常耐心地听，没有打断八股1.bert和gpt的区别？（从模型架构、训练方式、使用场景方面回答的）2.训练/微调一个LLM的流程？3.实习时用的 megatron 框架吗，对分布式训练框架了解多少？（回答了deepspeed和megatron区别，以及几种并行方式，以及deepspeed的三种zero）4.了解强化学习吗，跟SFT有什么区别？5.反问：业务，对岗位的期望💣评价：有点紧张，算法题有一个小失误没注意到2️⃣二面时间：9.14  时长：1h八股1.写一下 attention 公式（代码实现了下）2.训练时为什么要mask，推理时也需要吗？两处有什么区别？推理时的sequence length和训练时一样吗3.transformer和传统seq2seq模型有什么区别？4.计算attention时为什么要除以d_k，这个d_k的含义是？5.attention计算时还有哪些scale处理？6.attention中softmax函数作用、公式、为什么有减去最大值的处理？换个函数还能这样处理吗？7.解释数值上溢、下溢问题8.讲一下prompt书写的经验，如何判断prompt是否达标，如何改进prompt9.讲一下SFT，会对哪部分计算loss？为什么？10.讲一下deepspeed11.训练用一个7b模型要占用多少显存？不同zero阶段能够节省多少显存？12.训练模型时用了几张卡，有遇到什么异常中断问题吗？反问： 在乎候选人什么能力？对面试表现有哪些改进意见？💣评价： 基础不够扎实，网上有的知识都能回答上来，在同龄人里算比较优秀，欠缺一些多机多卡实践经验。