被横向挂了,希望发出来对大家有帮助!1. 讲一下主要的多模态模型的模型结构2. 对多模态的数据有什么了解,我回答之前看了一些多模态cot的工作构造的dpo数据,以及毕设做的多模态数据增强3. 之前的工作的多模态数据有什么特点和创新点,觉得还可以有什么改进4.统一生成理解模型下游微调各个任务的数据是怎么构造的5. dpo算法是怎么实现的,和其他强化学习有什么区别6. 看项目有目标检测任务,问了IoU是怎么算的,目标检测一般有哪些损失优化code:1. 实现dpo损失,按照想法能写多少是多少,不要求跑通2. 手写IoU损失,要求跑通