多模态模型横向对比除了 Video-LLaMA，还了解哪些主流多模态大模型？→ 常见的有 LLaVA、Flamingo、BLIP、BLIP-2、KOSMOS、PaLI 等简单介绍 ALBEF 和 BLIP 这两个模型的核心设计→ ALBEF：基于图像 - 文本对比学习，搭配动量蒸馏来优化图文对齐效果；BLIP：引入 captioner 生成高质量图文对，再结合 filter 机制筛选优质数据BLIP-2 的整体结构是什么？两阶段训练流程是怎样的？用到了哪些损失函数？→ 结构：在 ViT 和大语言模型之间插入 Q-Former 作为中间桥梁→ Stage1：冻结 ViT 和语言模型，只训练中间的 Q-Former→ Stage2：冻结语言模型，将 Q-Former 与 LM 连接，做指令微调→ 损失：ITC（图文对比损失）+ ITM（图文匹配损失）+ LM 生成损失微调方法（PEFT 全家桶）了解 PEFT 吗？再讲讲 LoRA，重点说明低秩假设的合理性→ PEFT 是参数高效微调的统称，核心是只训练少量参数而不动原模型权重；LoRA 假设模型权重更新量 ΔW 具有低秩特性，将其分解为 A×B，只训练 A、B 两个低秩矩阵，既节省显存又能保留效果除了 LoRA，还有哪些 PEFT 方法？Prefix-tuning 和 P-tuning 有什么区别？→ 其他方法：Adapter Tuning、Prefix-tuning、P-tuning、IA³ 等→ Prefix-tuning：在输入序列前加可学习的 prefix，作用于注意力的 K/V 矩阵，更适合 decoder-only 架构→ P-tuning：用小型网络（如 LSTM）生成连续的 soft prompt，解决离散 prompt 不稳定的问题，更适配 encoder-decoder 模型大模型训练范式你项目中用到的大模型结构是什么？多模态特征是如何喂给大模型的？→ 示例流程：视频帧 → TimeSformer 提取时空特征 → 特征池化 → 线性投影对齐到文本维度 → 拼接到文本 prompt 之前 → 输入 LLM大模型在做了指令微调后，为什么还需要 RLHF？→ 指令微调只是让模型学会遵循指令，但输出可能更偏向 “模板化”；RLHF 是通过人类偏好对齐，让模型输出更符合人类价值观、更自然、更有用的回答，解决 “有用性” 和 “安全性” 问题了解 RLHF 吗？描述它的完整训练流程→ 三阶段流程：① SFT 微调：用高质量指令数据对预训练模型做监督微调，让模型学会基本指令遵循② 训练 Reward Model（RM）：用人类标注的偏好数据训练奖励模型，学习给不同模型输出打分③ PPO 优化：用 RM 作为奖励信号，通过 PPO 算法更新策略模型，最大化 RM 给出的奖励，实现与人类偏好对齐手撕 LeetCode 原题：合并 k 个升序链表→ 核心思路：用小根堆维护 k 个链表的当前节点，每次弹出最小值节点并入结果链表，再将该节点的下一个节点入堆，直到所有链表遍历完毕；时间复杂度 O (N log k)，N 为总节点数

攒攒人品！ 1.项目拷打2.vision-language 对齐是 joint embedding 的？，那做了哪种对齐？有做 hard negative mining 吗3.所有视角共享 encoder 吗？如何防止view collapse？4.semantic space是如何保证cross-modal consistency的5.用diffusion model做动作策略，是怎么建模action space的6.如果多个diffusion模型组合，用了 gating 机制还是 uncertainty-aware ensemble？那 uncertainty 是怎么量化的？有对比过 epistemic 和 aleatoric 吗？7.怎么防止action drift？有没有引入 consistency regularization或者temporal smoothness loss？8.在surgical robotics里policy failure cost 很高，是怎么做risk-aware training 的？有没有加入 CVaR loss10.模型泛化能力是靠数据多样性还是结构归纳偏置？能列出你设计中的 inductive bias 吗？对 unseen 手术任务怎么泛化11.surgical scene 变化很大，怎么办12.你说MAE 是做关键帧 reconstruction，那帧选择怎么做？具体打分逻辑是怎么样的13.有没有做 token-level saliency analysis？你怎么知道模型真的关注了 surgical tool 而不是 background？部署是在 ARM 上还是 X86？有没有模型并行？多线程和多进程各负责什么14.做多模态感知融合时，视觉、语言、触觉（如果有）延迟不同，怎么对齐的15.整个pipeline的E2E latency是多少？瓶颈在哪你说中间用了 LQR，你 gain matrix 是 constant 吗？有没有做 gain scheduling？基于什么指标调的16.控制系统稳定性你怎么保证？有没有做过 Lyapunov 函数证明17.做过 trajectory optimization 吗？是基于 collocation 还是 direct shooting18.假设你有个 policy 输出波动很大，你会考虑在 policy 层加高通滤波器还是在 loss 层加 penalty？为什么？19.diffusion policy 是连续动作空间，那你是建模 joint distribution 还是 marginal20.语言指令不是 deterministic 的，你们是直接用 language embedding 吗？有没有考虑language-conditioned latent variable model？

1.拷打项目推理框架算子如何优化的如何构建Memory pool的如何对框架进行测试的？数据量有多少2.八股Vllm的page attention了解吗？chunk prefill是如何实现的？continous batching了解吗？3.leetcode二维数组每行有序，求第K小的元素（prioirty_queue，只写出来暴力）

给我面没招了，发点面经攒攒人品～项目拷打CLIP部分1.CLIP的结构+一个batch里面混入了相同的图片，也就是说一个正样本被当作一个负样本，但它实际是一个正样本，怎么去解决和避免这些问题?在训练或者说Loss层面2.CLIP可以做分类吗?通过对齐的方式做分类你觉得是可行的吗?3.图像输入给大模型，解码输出文本，这样的对齐方式和CLIP有什么区别?这两种哪种是未来趋势?偏八股部分1.COT有了解过吗?结构化的输入/few-shot 为什么会有帮助?(模型层面)2.有了解过哪些大模型?BLIP2的三个loss介绍3.现在大部分的结构不采用Q-former，而用MLP，是为什么?那为什么之前不用MLP，而用Q-former?4.一个多模态模型，它的视觉和文本编码器的参数量大小有什么配比的逻辑?5.一个5乘5的卷积，它可以由几个3乘3的卷积串联来替换，从而减少计算量但保持感受野不变?6.分类任务需要很多标注样本，但是现在想在少量样本的情况下，实现新增任务的效果，如何实现?不希望通过大量数据做微调手撕：经典力扣 全排列