携程一面 已入人才池

1️⃣一面 1．自我介绍，问实习和论文2．了解哪些最新的多模态大模型，简要介绍3．在 BLIP -2或者 Qwen - VL 中， Learnable Query 的作用是什么4．介绍一下Wide&Deep和DCN这两个模型5．大模型的后训练是怎么做的，在 VLM 上做后训练有什么区别6．知道 SAM 吗？说说 SAM 是怎么做的7．了解多模态 RAG 吗8．概率题：一根绳子剪成三段，这三段可以围成三角形的概率是多少9．代码：一个推荐链路的排序2️⃣二面1．自我介绍，问实习和论文2．讲一下 LoRA ，两个权重矩阵一般怎么初始化，能都全0吗3．除了 LoRA ，还了解哪些可以进行训练推理优化的技术4．现在的多模态大模型，动态分辨率一般都是怎么做的，位置编码怎么设计5．平常训练或者微调 LLM 或者VLM，有什么感受6. 专家划分子空间是区分不同任务但有时候并不能取得理想的效果这是为什么7. 概率题，一副扑克牌，去掉大小王，随机抽两张，花色相同的概率8. 场景题：目前有一个带货的直播间，设计一个方案，商品比较多怎么降低时延📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

面试是24年7月的现在已经入职几个月了，补一下面经，帮有需要的同学参考。BG：本硕985 计算机论文1A1B一面：技术面自我介绍 & 简历相关。简单介绍了自己在多模态和大模型方向的研究/工作经历，包括在校期间的论文工作以及实习经历。面试官主要针对简历上的项目提了一些细节问题，比如具体模型的量级，提升了多少，和哪些方法做了比较等。因为是自己的工作，所以没有卡壳。问有没有遇到过 Python 文件之间互相 import 的问题，出现这种问题怎么办？让我简单介绍了一下 PPO 算法，以及和 TRPO 的区别是什么？接着 PPO，问了一下 ChatGPT 的 RLHF 流程，以及为什么不直接用 SFT，而是要用强化这么麻烦的方式训练模型？继续追问 RLHF、SFT、LoRA 的区别，分别适用于什么场景？反问：公司现有业务是什么，计算资源情况等。二面：主管面论文介绍。让我用通俗的语言介绍我自己发表和投稿的论文，重点是研究动机和要解决的问题。问有没有亲手训练过大模型，最多用了多少张 GPU 卡？并行训练使用的框架是什么？介绍一下 DeepSpeed，说一下这个框架在并行的不同阶段（ZeRO stage）分别做了哪些事？训练模型的时候，数据量有多少，怎么收集数据的，训练花了多少时间？遇到的最大问题是什么？问在大模型全量微调时，显存消耗分别由哪些部分占用？（参数、梯度、优化器状态、激活信息等），分别占用多少？假设模型参数量为N，请分不同情况讨论和计算一下微调所需要的显存（不同精度、batch size、seq len 等）。说一下 LoRA 公式，讲一讲其中 A 和 B 两个矩阵分别表示什么。LoRA 的优缺点是什么，什么场景下适合使用？问知道哪些大模型训练和推理框架，用过哪些？问 LLaVA 的结构是什么，和常规的纯文本大模型有什么区别？Encoder-Decoder 结构的模型转 ONNX 的一般流程，遇到不支持的算子怎么办？可能遇到的问题（动态 shape、模型中逻辑判断需要单独写、模块拆分等）。三面：HR 面主要问了为什么选择公司，对团队的看法，对岗位的认识；未来大致的规划，面试过程的体验，有没有别的公司的 offer 等。以及询问了期望薪资等。之后就是等待，最终和期望薪资基本一致。总体感受面试流程比较顺畅，问题也比较贴合岗位要求；如果和岗位匹配度高，一般流程推进速度会很快。入职以后，工作内容和面试被问的问题也差不多，基本上都是算法工程师需要做的内容，团队氛围也很不错。只是毕竟是企业，不可能光搞研究，在承接业务时还是免不了和很多人打交道和来回battle需求，这个无可避免。

1. 你平时喜欢玩多种类型游戏，有没有思考过喜欢的玩法实现？比如原神连招、空洞骑士角色控制，具体怎么实现的？2. 原神连招中，攻击判定和伤害传递逻辑如何实现？空洞骑士的角色状态机包含哪些状态，怎么设计的？3. 平台跳跃游戏中，爬墙行为怎么实现？优化角色手感可从哪些方面入手？按空格键时长影响跳跃高度的逻辑是什么？4. RTS游戏的框选操作逻辑如何实现？怎么判断小兵是否在框选范围内？5. 策划导出几十兆的JS文本数据，需读取特定数据，你会怎么处理？6. 不借助Unity自带碰撞系统，如何实现两个凸多边形的碰撞检测？7. 了解图形学渲染流水线吗？Shader中SubShader和Pass有什么区别？SubShader与硬件不兼容会怎样？8. 快速排序的时间复杂度是多少？N和logN分别代表什么含义？计算过程是怎样的？9. Unity中的静态合批和动态合批有什么区别与共同点？10. 若实现客户端调用服务端函数的远程调用（RPC），你会怎么设计逻辑？11. 制作Roguelike游戏，如何根据0-100的难度数值控制关卡生成和难度调整？12. 了解行为树吗？它的中断类型是什么意思？状态机和行为树有什么不同？13. C#中的GC是什么？有哪些方法可以避免GC？14. RTS游戏中，如何判定建筑单位的可放置位置？若划分可建造区域，数据该如何存储和获取？15. 如何实现愤怒的小鸟中小鸟的飞行轨迹？运行中怎么计算和影响小鸟位置？16. 用过DoTween插件吗？了解它的底层实现逻辑吗？17. 若团队对某个解决方案有分歧，你会如何选择方案并说服其他成员？

首先问了一个项目里面很细节的问题，差不多十分钟左右然后让我回答transformer结构的相关问题，比如说有哪些结构，每个结构是干什么的这些；然后问了一下最近有没有了解过与他们业务相关的算法，比如多模态大模型啥的（13分钟左右）然后让我写了个中等的算法题：力扣40，组合总和 II30分钟的时间还能让我写个算法题，写完也没什么反馈，就结束了，感觉这个算法题是来凑时长的感觉发挥得一般，不知道有没有后续。。。