作业帮的笔试真的是做过最简单的，像是三道简单题，20分钟a完了

被横向挂了，希望发出来对大家有帮助！1. 讲一下主要的多模态模型的模型结构2. 对多模态的数据有什么了解，我回答之前看了一些多模态cot的工作构造的dpo数据，以及毕设做的多模态数据增强3. 之前的工作的多模态数据有什么特点和创新点，觉得还可以有什么改进4.统一生成理解模型下游微调各个任务的数据是怎么构造的5. dpo算法是怎么实现的，和其他强化学习有什么区别6. 看项目有目标检测任务，问了IoU是怎么算的，目标检测一般有哪些损失优化code：1. 实现dpo损失，按照想法能写多少是多少，不要求跑通2. 手写IoU损失，要求跑通

面试很难，还是要多多练习，感觉自己说不明白业务逻辑1.项目拷打2.讲一下你用的大模型是什么结构，特征是怎么喂给大模型的3.讲一下multi-head attention，用pytorch手撕一下，要可以实现cross attention的4.大模型训练为什么不用SFT5.知道RLHF吗，讲一下训练流程6.问了几个电商相关的场景题，用大模型解决 prompt 应该怎么设计，怎么处理prompt的输出，怎么过滤错误格式的输出

给我面没招了，发点面经攒攒人品～项目拷打CLIP部分1.CLIP的结构+一个batch里面混入了相同的图片，也就是说一个正样本被当作一个负样本，但它实际是一个正样本，怎么去解决和避免这些问题?在训练或者说Loss层面2.CLIP可以做分类吗?通过对齐的方式做分类你觉得是可行的吗?3.图像输入给大模型，解码输出文本，这样的对齐方式和CLIP有什么区别?这两种哪种是未来趋势?偏八股部分1.COT有了解过吗?结构化的输入/few-shot 为什么会有帮助?(模型层面)2.有了解过哪些大模型?BLIP2的三个loss介绍3.现在大部分的结构不采用Q-former，而用MLP，是为什么?那为什么之前不用MLP，而用Q-former?4.一个多模态模型，它的视觉和文本编码器的参数量大小有什么配比的逻辑?5.一个5乘5的卷积，它可以由几个3乘3的卷积串联来替换，从而减少计算量但保持感受野不变?6.分类任务需要很多标注样本，但是现在想在少量样本的情况下，实现新增任务的效果，如何实现?不希望通过大量数据做微调手撕：经典力扣 全排列