字节多模态大模型一面面经

实习介绍——5min项目相关细节提问——5min1. 了解 DeepSpeed 吗？训练时用 ZeRO 优化主要是解决啥问题？ZeRO 的三个阶段分别都是啥？2. TP 或 PP 了解吗？3. 并行训练时，如果模型参数量不大，怎么决定用 PP 还是 TP 策略？它们各自有啥好坏？4. 如果用 TP=2 的策略，self-attention 层里的 QKV 矩阵具体是怎么切分的？5. 用 TP 的时候，主要会发生哪些通信？不同的切分方式会改变通信行为吗？举个例子呗。6. 讲讲 Flash Attention 的原理，矩阵 tiling 的过程说细一点，最好把 shape 也讲清楚。手撕算法：经典接雨水+最长上升子序列

1.项目拷打谈谈传统搜索算法和 RAG 的理解2.为什么大模型结合 RAG 会出现 AI 幻觉的现象？3.介绍一下 MHA4.了解 MHA 的变体吗？5.了解 KV 缓存吗6.介绍一下 self attention 吧7.了解 PE 优化吗8.了解 dpo 和 PPO 吗9.了解 ReAct 架构吗10.如果你有一个待优化的模型和一堆 query ，你怎么利用 PPO 来优化模型？📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1.物理内存和数据内存讲一下有什么区别？2.大模型调参数讲一下？3.根据面向对象的多态思想讲一下你面前的桌子。4.关于adb命令的，怎么问忘记了。5.说一下你的实习经历吧，都做了什么？6.为什么想转测试？7.反问面试大概30分钟，没有手撕。面试官上午在boss上打招呼，下午投完简历过了5分钟打电话问我四点有没有时间可以约面，挺着急的。感觉我答的不好，不知道为啥过了

40min 1.挑一个实习项目介绍2.手撕:最短路径 和为k的子数组3.介绍理解的推荐4.介绍了解的精排模型5.wor2vec 训练方式 做的优化6.deepfm fm的复杂度7.Bert的结构7.din sim 具体怎么做的(问的较深)8.介绍 Lora 微调 参数以及初始化反问:业务 对我的建议 面试官问我的意向