一名普通留学生的秋招。

多模态模型横向对比除了 Video-LLaMA，还了解哪些主流多模态大模型？→ 常见的有 LLaVA、Flamingo、BLIP、BLIP-2、KOSMOS、PaLI 等简单介绍 ALBEF 和 BLIP 这两个模型的核心设计→ ALBEF：基于图像 - 文本对比学习，搭配动量蒸馏来优化图文对齐效果；BLIP：引入 captioner 生成高质量图文对，再结合 filter 机制筛选优质数据BLIP-2 的整体结构是什么？两阶段训练流程是怎样的？用到了哪些损失函数？→ 结构：在 ViT 和大语言模型之间插入 Q-Former 作为中间桥梁→ Stage1：冻结 ViT 和语言模型，只训练中间的 Q-Former→ Stage2：冻结语言模型，将 Q-Former 与 LM 连接，做指令微调→ 损失：ITC（图文对比损失）+ ITM（图文匹配损失）+ LM 生成损失微调方法（PEFT 全家桶）了解 PEFT 吗？再讲讲 LoRA，重点说明低秩假设的合理性→ PEFT 是参数高效微调的统称，核心是只训练少量参数而不动原模型权重；LoRA 假设模型权重更新量 ΔW 具有低秩特性，将其分解为 A×B，只训练 A、B 两个低秩矩阵，既节省显存又能保留效果除了 LoRA，还有哪些 PEFT 方法？Prefix-tuning 和 P-tuning 有什么区别？→ 其他方法：Adapter Tuning、Prefix-tuning、P-tuning、IA³ 等→ Prefix-tuning：在输入序列前加可学习的 prefix，作用于注意力的 K/V 矩阵，更适合 decoder-only 架构→ P-tuning：用小型网络（如 LSTM）生成连续的 soft prompt，解决离散 prompt 不稳定的问题，更适配 encoder-decoder 模型大模型训练范式你项目中用到的大模型结构是什么？多模态特征是如何喂给大模型的？→ 示例流程：视频帧 → TimeSformer 提取时空特征 → 特征池化 → 线性投影对齐到文本维度 → 拼接到文本 prompt 之前 → 输入 LLM大模型在做了指令微调后，为什么还需要 RLHF？→ 指令微调只是让模型学会遵循指令，但输出可能更偏向 “模板化”；RLHF 是通过人类偏好对齐，让模型输出更符合人类价值观、更自然、更有用的回答，解决 “有用性” 和 “安全性” 问题了解 RLHF 吗？描述它的完整训练流程→ 三阶段流程：① SFT 微调：用高质量指令数据对预训练模型做监督微调，让模型学会基本指令遵循② 训练 Reward Model（RM）：用人类标注的偏好数据训练奖励模型，学习给不同模型输出打分③ PPO 优化：用 RM 作为奖励信号，通过 PPO 算法更新策略模型，最大化 RM 给出的奖励，实现与人类偏好对齐手撕 LeetCode 原题：合并 k 个升序链表→ 核心思路：用小根堆维护 k 个链表的当前节点，每次弹出最小值节点并入结果链表，再将该节点的下一个节点入堆，直到所有链表遍历完毕；时间复杂度 O (N log k)，N 为总节点数

1. 介绍一下你做的这个项目2. LoRA 的基本原理是什么LoRA 的核心思路是，微调大模型时没有必要把整个权重矩阵都更新掉，而是只学习一个低秩的增量。原始权重记作 (W)，微调后的权重写成：其中 (A) 和 (B) 的秩都很低，参数量远小于直接更新整个 (W)。训练时冻结原模型参数，只训练这两个小矩阵，这样显存占用、优化器状态和保存体积都会小很多。它适合做领域适配、指令微调这类任务，因为很多任务对模型的改动并不需要覆盖完整参数空间。LoRA 常见会插在 attention 的 q_proj、v_proj 上，有时也会加在 k_proj、o_proj 或 MLP 层。选哪些层，本质上是在表达...

1. 自我介绍2. 项目介绍3. 有多个消息投递到消息队列，处理的结果怎么与发送的请求对应呢？4. 为什么不直接通过数据库通信而需要用消息队列呢？5. 项目有没有前端流式输出展示？6. 身份认证是怎么做的？7. 你觉得langchain和langgraph框架提供了什么功能？优势在哪？8. 讲讲大模型的React9. 讲讲工具调用和多智能体协作10. 对于上下文工程，你觉得有哪些主流的技术？11. 讲讲RAG和持久化记忆的区别12. 什么是思维链（CoT）？13. 为什么Agent还需要Instructions, Rules, MCP, Skills？14. Rules和Skills有什么区别？为什么不把Skills的指导写进Rules？15. SSE和普通的HTTP的区别是什么？16. SSE和文件传输协议FTP有什么区别？他们不都是流式传输吗？17. 为什么Redis可以做限流？怎么做限流？18. Redis为什么速度快？19. 数据库分表是怎么分的？为什么一个表太大需要分表？20. docker和普通的虚拟机有什么区别？算法题：LeetCode中等难度，计算二叉树最大宽度反问总体来说，面试体验还是不错的。

发点面经攒攒人品～1.项目拷打2.实习拷打3.你提到用了CKA你能解释一下它是怎么计算的吗？这个指标真的能评估对齐程度吗4.ModalityAdapter模态适配器这个模块你是怎么设计的？它是怎么起作用的？有没有做过ablation实验？5.对比学习里你怎么构造正负样本的？正负样本不容易区分的时候你们是怎么处理的？有没有用HNM6.你们项目里用了多个loss比如MSE + Contrastive Loss + KL 散度为什么这么设计？有没有出现loss拉扯现象7医疗组手那个项目你说做了Prompt模板设计，能不能举几个例子？分类模板和生成式模板在你们场景下分别怎么做的8你们用的知识库是静态的吗？有没有做向量索引？用的什么方案9怎么避免模型产生医疗幻觉？你们有没有做 hallucination 率评估11.你用过哪些模型推理框架？你觉得Ollama和vLLM区别在哪儿？在车端你们选它们的依据是什么？12.你们说做了14B的车端模型，你们是怎么用SFT数据去做微调的？数据怎么构建的13.评测体系你是怎么搭建的？评测指标都有哪些14.你说你们构建了车载Agent平台Agent链路是怎么调度的多轮对话怎么做状态维护？15.Rewrite模型是你做的，具体输入输出是什么？你们是把 rewrite放在检索前还是后？训练数据是人工构造的吗？16你现在要设计一个多模态模型用于车内驾驶员状态识别，传感器包括摄像头和力传感器，你会怎么设计这个 pipeline