字节大模型算法实习一面

多模态模型横向对比除了 Video-LLaMA，还了解哪些主流多模态大模型？→ 常见的有 LLaVA、Flamingo、BLIP、BLIP-2、KOSMOS、PaLI 等简单介绍 ALBEF 和 BLIP 这两个模型的核心设计→ ALBEF：基于图像 - 文本对比学习，搭配动量蒸馏来优化图文对齐效果；BLIP：引入 captioner 生成高质量图文对，再结合 filter 机制筛选优质数据BLIP-2 的整体结构是什么？两阶段训练流程是怎样的？用到了哪些损失函数？→ 结构：在 ViT 和大语言模型之间插入 Q-Former 作为中间桥梁→ Stage1：冻结 ViT 和语言模型，只训练中间的 Q-Former→ Stage2：冻结语言模型，将 Q-Former 与 LM 连接，做指令微调→ 损失：ITC（图文对比损失）+ ITM（图文匹配损失）+ LM 生成损失微调方法（PEFT 全家桶）了解 PEFT 吗？再讲讲 LoRA，重点说明低秩假设的合理性→ PEFT 是参数高效微调的统称，核心是只训练少量参数而不动原模型权重；LoRA 假设模型权重更新量 ΔW 具有低秩特性，将其分解为 A×B，只训练 A、B 两个低秩矩阵，既节省显存又能保留效果除了 LoRA，还有哪些 PEFT 方法？Prefix-tuning 和 P-tuning 有什么区别？→ 其他方法：Adapter Tuning、Prefix-tuning、P-tuning、IA³ 等→ Prefix-tuning：在输入序列前加可学习的 prefix，作用于注意力的 K/V 矩阵，更适合 decoder-only 架构→ P-tuning：用小型网络（如 LSTM）生成连续的 soft prompt，解决离散 prompt 不稳定的问题，更适配 encoder-decoder 模型大模型训练范式你项目中用到的大模型结构是什么？多模态特征是如何喂给大模型的？→ 示例流程：视频帧 → TimeSformer 提取时空特征 → 特征池化 → 线性投影对齐到文本维度 → 拼接到文本 prompt 之前 → 输入 LLM大模型在做了指令微调后，为什么还需要 RLHF？→ 指令微调只是让模型学会遵循指令，但输出可能更偏向 “模板化”；RLHF 是通过人类偏好对齐，让模型输出更符合人类价值观、更自然、更有用的回答，解决 “有用性” 和 “安全性” 问题了解 RLHF 吗？描述它的完整训练流程→ 三阶段流程：① SFT 微调：用高质量指令数据对预训练模型做监督微调，让模型学会基本指令遵循② 训练 Reward Model（RM）：用人类标注的偏好数据训练奖励模型，学习给不同模型输出打分③ PPO 优化：用 RM 作为奖励信号，通过 PPO 算法更新策略模型，最大化 RM 给出的奖励，实现与人类偏好对齐手撕 LeetCode 原题：合并 k 个升序链表→ 核心思路：用小根堆维护 k 个链表的当前节点，每次弹出最小值节点并入结果链表，再将该节点的下一个节点入堆，直到所有链表遍历完毕；时间复杂度 O (N log k)，N 为总节点数

攒攒人品！有面试过同岗的朋友欢迎评论区交流1.论文拷打2.如何确定改进的方向，动机是什么3.问了一下实习做的工作，没细问4.深度学习基础知识，网络怎么初始化5.过拟合6.dropout，推理时dropout需要什么额外处理7.手撕，算sqrt()，要写两种方法，牛顿迭代和二分查找

1. 自我介绍1.5 面试官特意提了一嘴一面面试官给我的面评，不知道何意味？2. 项目相关（有些记不清了，下面这些应该不全）2.1 总体介绍项目2.2 io_uring和epoll的对比，为什么选用io_uring，讲讲心路历程2.3 协程与线程的区别2.4 Raft共识算法与Paxos的对比2.5 Raft如何保持数据一致性2.6 Raft为什么在高并发情况下性能下降3. 设计题：（面试官让共享屏幕直接使用agent作答，估计是想看看我平时是怎么使用agent的）3.1 使用agent设计一个社交平台的用户好友关系、关注信息的系统3.2 假如一个几千万粉丝的大V发动态了，怎么让关注了他的用户接收到他的更新（涉及什么推拉结合）3.3 根据agent给出的系统架构（Redis+DB），如果Redis整个集群挂了，所有用户请求直接打到数据库中，会导致数据库崩溃，设计限流机制。4. 反问：4.1 部门用Go吗？（问这个问题是为了向面试官表示我正在主动积极学Go，刷个印象分）4.2 agent对行业的冲击，同事之间会讨论吗，你们对agent代替程序员的看法？4.3 目前实际生产中agent的参与程度4.4 后续流程（这里面试官直接说后面等HR面嘻嘻）无手撕，很惊喜，因为一面手撕没撕出来以为二面还会狠狠拷打算法注：最后的设计题我答得稀烂，业务层面的设计、Redis和数据库我都不怎么了解，虽然我在看Java面经的时候经常看到这些业务设计题，但没有意识去刻意了解。后来跟面试官坦白说因为学的C++，没怎么关注业务层面，面试官人很好，表示理解。感谢面试官（还有面试官长得像桑杰，我一看他就想笑），还是要补补后端业务层面的知识！冲冲冲！！！后续：二面面完两小时秒过，约HR面

项目点评还有一个agent1：简历上的 项目 是练手项目还是实习公司项目？2：介绍项目主要功能。3：做该项目时遇到的难点及解决方法？3：什么情况下会使用 Redis？（业务层面）4：缓存除了快速响应，还有什么重要使用场景？（为什么有 MySQL 还需要缓存？）5：为什么要用二级缓存？加入本地缓存的考量是什么？6：Redis 的内存淘汰机制是什么？//答成键淘汰策略了7：缓存穿透和缓存雪崩了解吗？（定义 + 解决方法）8：MySQL 的事务隔离级别有哪些？分别说明，InnoDB 默认是哪一种？MVcc怎么做的9：幻读是什么样的场景？10：消息队列（RocketMQ）一般是为了解决什么问题？11：结合项目说明为什么要用 MQ？不用会怎么样？12：高并发（限时秒杀）情景下的限流是怎么做的？还了解其他限流算法吗？//没答出来 简历也没写13：JVM 内存模型结构是什么？14：程序计数器的作用是什么？15：栈（虚拟机栈 + 本地方法栈）的作用是什么？16：局部变量在 JVM 内存的哪个结构里？17：Java 的垃圾回收算法、特点及使用场景？ //混淆算法和具体实现了 答的磕磕巴巴18：JVM 的类加载机制是什么？ //提到双亲委派 但是过程答的也不好19：引入 RAG 之后最大的好处是什么？解决了什么痛点？20：MCP 是什么？21：第二个项目中怎么使用 MCP 的？22：自己平常有没有用ai工具 用了什么？token消耗怎么办 学校有支撑吗手撕k个反转链表 与力扣不同的是最后不足k个节点也要反转手撕边界没弄清楚 递归超时 没有调试 面试官要把构建链表和输入输出都写出来 第一次没运行出来就结束了 可能觉得没必要浪费时间了反问：给我建议多尝试用一些ai的工具 大部分公司都会往这方面发展面试官很好每次答完ai会说出他的理解 感觉面试官更想知道从业务上为什么要用缓存消息队列 可能这方面答的不好 我说了之后面试官说为什么不用不行之类的话术 没有问太多底层的东西 也问了ai的工具总体都是很基础的八股 整体不难 还得练 第二天发感谢信 我觉得没过的原因是很多知识停留在原地而不是业务层面 知识为了学而学 理解不够 可能答的很宽范 没有自己的理解