科大讯飞 26校招 多模态大模型面经

一、项目介绍+没有手撕？项目介绍完直接开始面，没写代码二、八股1.介绍下Transformer在NLP和CV中的使用区别2.什么是 CLIP 模型？它是如何做跨模态对齐的？3.BLIP-2 中 Q-Former 的作用是什么？为什么要加一个Query Transformer？4.Contrastive Learning 的 InfoNCE Loss 公式是什么？直观上是怎么工作的？5.在多模态预训练中，如何处理图像分辨率过高的问题？关键优化手段有哪些？6.LoRA 微调在多模态大模型中的应用有何特别之处？7.什么是多模态对齐？它和 RLHF 的关系是怎样的？8.介绍一下 LLaVA 架构的核心原理和主要创新点9.在视频问答（VideoQA）场景下，时间信息是如何建模的？常见方法有哪些？三、项目1.多模态问答系统如何处理OCR和物体检测信息？这些特征在模型中怎么融合？追问：如果 OCR 提取结果错误，会影响问答准确率吗？你如何降低影响？2.你的医学影像 + 病历文本项目(这个项目我没用大模型)，数据标注成本高，如何缓解？追问：有用到合成数据/数据增强方法吗？效果如何？3.在 LLaVA 的基础上加入分辨率自适应编码器，主要优化的是哪部分的瓶颈？推理速度提升多少？

一面：10.22  1h自我介绍项目中布隆过滤器的作用及原理常见的分布式锁实现方案setnx 为什么要加超时时间（死锁），什么情况会死锁String 结构做分布式锁 ，value里放什么Redisson 的 field与value是放什么Redis常用数据结构Redis的内存淘汰策略Redis的持久化MySQL的存储引擎了解哪些MySQL 的日志慢查询问题AQS可重入锁与读写锁 state 变量 的使用有什么区别（差点没答上）JVM的双亲委派机制CMS与G1的区别G1的回收过程算法：单例模式（写的双重校验锁）二叉树的层序遍历反问：业务二面：10.23  1h对懂车帝的了解接...

1. 为什么转算法2. 多路召回区别、占比、评估、效果3. self attention、target attention4. DIN输入、输出5. attention的q、k、v，输出，softmax6. word2vec两种模型对比、两种优化策略7. 为什么stacking、怎么集成的8. xgboost、随机森林区别9. 为什么想去北京10. 手撕三数之和11. 反问业务

二面：tl：9.22 约面 - 9.23 面试 - 当晚约三面1. 介绍一下 RPC 的实现原理，它是如何根据方法名找到对应的方法并进行调用的？2. AOP 在 RPC 中具体是如何实现的？3. RPC 的数据序列化协议（格式）是什么样的？4. 在网络传输中，数据格式是如何封装进去的？5. 针对 Protobuf、JSON、Java 序列化等数据格式，对比它们的优缺点。6. 虚拟内存（Virtual Memory）的作用是什么？为什么需要分段、分页和段页式管理？7. 页面置换算法有哪些？8. 如何实现 LRU (最近最少使用) 算法？其数据结构如何设计？9. 如果要实现 LFU (最不经常使用) 算法，该如何设计数据结构？10. 进程间通信（IPC）的方式有哪些？11. 共享内存如何实现两个进程间的通信（例如半双工）？12. 信号量（Semaphore）和管道（Pipe）的区别是什么？13. 信号（Signal）的基本概念是什么，常用于什么场景？14. 网络中的同步和异步的关系是什么？15. 阻塞和非阻塞的区别是什么？16. 网络 I/O 模型有哪些？17. 内核态和用户态的区别是什么？18. HTTP/Cookie 和 Session/Cookie 的区别？19. 跨域 Cookie 是指什么？20. 有一个很大的文件，每行数据格式为 时间戳 和 文本内容，且时间戳是升序的。如何在单机上高效地查找某一时间范围内的所有文本内容？21. 如何写出合并 K 个有序数组到第 K 大元素的算法？22. 手撕：两个有序数组中第k小的数三面： tl：9.25 面试 - 当晚通过1. 自我介绍2. 实习拷打3. UTF-8 英文占几个字节、中文占几个字节、Java 里如何去检查其占几个字节4. 七层网络协议5. HTTPS 是否了解过6. 最近在学什么、看什么书，分享一下7. 手撕：79. 单词搜索（可以重复选取同一个字母）8. 反问