校招腾讯多模态大模型算法凉经一面 1h

1.clip 知道多少？写一下 loss 函数
2.vision encoder 如何训练，你的多模态有分阶段训练 encoder 吗？3.为什么需要分阶段？模型做了交叉验证吗？
4.你论文 sft 统一训练还是分开的？我看你是分开的为什么分开？
5.如何做 reject sampling？给你3M 的图和视频，只有 16 张卡，设计一下 rs 的方案
6.论文进一步做后续有什么方案？
7.LLM 如何后接 mask 模型，最近看了哪些LLM 做 mask 的论文？
8.AI 生成的 mask 你们如何做的人工验证，还有什么 trick？
9.LLM图像/视频生成理解如何统一？有什么劣势？
10.diffusion 的 loss 是什么？
11.现在为什么不用 q-former 了？
12.手撕：二维有序矩阵找第 k 小的值