多模态模型横向对比除了 Video-LLaMA，还了解哪些主流多模态大模型？→ 常见的有 LLaVA、Flamingo、BLIP、BLIP-2、KOSMOS、PaLI 等简单介绍 ALBEF 和 BLIP 这两个模型的核心设计→ ALBEF：基于图像 - 文本对比学习，搭配动量蒸馏来优化图文对齐效果；BLIP：引入 captioner 生成高质量图文对，再结合 filter 机制筛选优质数据BLIP-2 的整体结构是什么？两阶段训练流程是怎样的？用到了哪些损失函数？→ 结构：在 ViT 和大语言模型之间插入 Q-Former 作为中间桥梁→ Stage1：冻结 ViT 和语言模型，只训练中间的 Q-Former→ Stage2：冻结语言模型，将 Q-Former 与 LM 连接，做指令微调→ 损失：ITC（图文对比损失）+ ITM（图文匹配损失）+ LM 生成损失微调方法（PEFT 全家桶）了解 PEFT 吗？再讲讲 LoRA，重点说明低秩假设的合理性→ PEFT 是参数高效微调的统称，核心是只训练少量参数而不动原模型权重；LoRA 假设模型权重更新量 ΔW 具有低秩特性，将其分解为 A×B，只训练 A、B 两个低秩矩阵，既节省显存又能保留效果除了 LoRA，还有哪些 PEFT 方法？Prefix-tuning 和 P-tuning 有什么区别？→ 其他方法：Adapter Tuning、Prefix-tuning、P-tuning、IA³ 等→ Prefix-tuning：在输入序列前加可学习的 prefix，作用于注意力的 K/V 矩阵，更适合 decoder-only 架构→ P-tuning：用小型网络（如 LSTM）生成连续的 soft prompt，解决离散 prompt 不稳定的问题，更适配 encoder-decoder 模型大模型训练范式你项目中用到的大模型结构是什么？多模态特征是如何喂给大模型的？→ 示例流程：视频帧 → TimeSformer 提取时空特征 → 特征池化 → 线性投影对齐到文本维度 → 拼接到文本 prompt 之前 → 输入 LLM大模型在做了指令微调后，为什么还需要 RLHF？→ 指令微调只是让模型学会遵循指令，但输出可能更偏向 “模板化”；RLHF 是通过人类偏好对齐，让模型输出更符合人类价值观、更自然、更有用的回答，解决 “有用性” 和 “安全性” 问题了解 RLHF 吗？描述它的完整训练流程→ 三阶段流程：① SFT 微调：用高质量指令数据对预训练模型做监督微调，让模型学会基本指令遵循② 训练 Reward Model（RM）：用人类标注的偏好数据训练奖励模型，学习给不同模型输出打分③ PPO 优化：用 RM 作为奖励信号，通过 PPO 算法更新策略模型，最大化 RM 给出的奖励，实现与人类偏好对齐手撕 LeetCode 原题：合并 k 个升序链表→ 核心思路：用小根堆维护 k 个链表的当前节点，每次弹出最小值节点并入结果链表，再将该节点的下一个节点入堆，直到所有链表遍历完毕；时间复杂度 O (N log k)，N 为总节点数

1.拷打项目推理框架算子如何优化的如何构建Memory pool的如何对框架进行测试的？数据量有多少2.八股Vllm的page attention了解吗？chunk prefill是如何实现的？continous batching了解吗？3.leetcode二维数组每行有序，求第K小的元素（prioirty_queue，只写出来暴力）

给我面没招了，发点面经攒攒人品～项目拷打CLIP部分1.CLIP的结构+一个batch里面混入了相同的图片，也就是说一个正样本被当作一个负样本，但它实际是一个正样本，怎么去解决和避免这些问题?在训练或者说Loss层面2.CLIP可以做分类吗?通过对齐的方式做分类你觉得是可行的吗?3.图像输入给大模型，解码输出文本，这样的对齐方式和CLIP有什么区别?这两种哪种是未来趋势?偏八股部分1.COT有了解过吗?结构化的输入/few-shot 为什么会有帮助?(模型层面)2.有了解过哪些大模型?BLIP2的三个loss介绍3.现在大部分的结构不采用Q-former，而用MLP，是为什么?那为什么之前不用MLP，而用Q-former?4.一个多模态模型，它的视觉和文本编码器的参数量大小有什么配比的逻辑?5.一个5乘5的卷积，它可以由几个3乘3的卷积串联来替换，从而减少计算量但保持感受野不变?6.分类任务需要很多标注样本，但是现在想在少量样本的情况下，实现新增任务的效果，如何实现?不希望通过大量数据做微调手撕：经典力扣 全排列

📍面试公司：小米🕐面试时间：2026/03/26（二十分钟草草收场，都不想去看结果就知道挂了）💻面试岗位：大模型推理优化❓面试问题：一、自我介绍二、八股问题拷打，其实上来就是手撕1、直接在编辑器上手撕MGA，要求写出init、forward、注意力层   ——丢人现眼了，基本不会写2、追问，不会写的话讲一下整个过程，输入到输出怎么样的？         ——讲了讲transformer，注意力机制3、vllm和sglang的底层代码有看过吗？                                          ——没看过（其实看过，但我不敢说，怕叫我写）4、kv cache有哪些加载方式？                                                        ——在胡言乱语，啊这个，啊那个5、PD分离机制是干什么的？你怎么实现的？                                   ——唯一能回答的问题6、有没有用vllm部署过模型？吞吐量是多少？                                 ——脑子昏了，沉默（跑了demo，没测过）7、MTP（可能是MCP？没听清）是什么，介绍一下？                     ——我估计想问Medusa？反正我没回答，沉默。到这他问不下去了。。。三、反问两个人尴尬一笑，没什么要问的了。🙌面试感想：应该是史上最无悬念的秒挂，第一个手撕不会之后我已经晕头转向了，加上昨天熬夜到五点，到后面我都有点不好意思了，感觉在浪费他的时间，在这里跟他道个歉😀。十月到现在算上开发+infra可能面了二十多家吧，大部分都是秒挂，感觉车企infra这块的要求都特别高吧，问的特别细，就是最新的技术一定都要掌握，这一块技术迭代感觉特别特别快，光背八股面经给我感觉不太行。鼠鼠也累了，但自觉已经尽力了。也感谢这些至少还给机会面试的公司吧，有些简历直接投垃圾桶里了。（希望下一届的同学早早准备，不要像鼠鼠一样还在为春招奔波）。