快手-暑期实习-多模态算法面经 夯爆了

给我面没招了,发点面经攒攒人品~
项目拷打
CLIP部分
1.CLIP的结构+一个batch里面混入了相同的图片,也就是说一个正样本被当作一个负样本,但它实际是一个正样本,怎么去解决和避免这些问题?在训练或者说Loss层面
2.CLIP可以做分类吗?通过对齐的方式做分类你觉得是可行的吗?
3.图像输入给大模型,解码输出文本,这样的对齐方式和CLIP有什么区别?这两种哪种是未来趋势?
偏八股部分
1.COT有了解过吗?结构化的输入/few-shot 为什么会有帮助?(模型层面)
2.有了解过哪些大模型?BLIP2的三个loss介绍
3.现在大部分的结构不采用Q-former,而用MLP,是为什么?那为什么之前不用MLP,而用Q-former?
4.一个多模态模型,它的视觉和文本编码器的参数量大小有什么配比的逻辑?
5.一个5乘5的卷积,它可以由几个3乘3的卷积串联来替换,从而减少计算量但保持感受野不变?
6.分类任务需要很多标注样本,但是现在想在少量样本的情况下,实现新增任务的效果,如何实现?不希望通过大量数据做微调
手撕:经典力扣 全排列
全部评论

相关推荐

04-12 11:51
吉林大学 Java
1. 面试官介绍自己的团队,base位置,是否能够接受。2. 自我介绍3. 了解了一下我的现状,能够实习多久。4. 聊项目5. 你测试了你的系统吗?AI服务耗时怎么样?6. 你有调研过Java语言实现AI服务的工具吗?为什么项目中要用Python开发呢?7. 你的消息队列的主要作用是什么?8. 除了消息队列,你有没有想过其他通信方案?(RPC,HTTP等)9. 为什么不使用http同步调用的方案呢?10. 这个项目中,检索业务和生成业务的性能瓶颈你觉得在哪?有没有想过优化方案?11. 聊Java八股12. 你使用的JDK版本是什么?你了解过哪些新特性?13. 你用过lambda表达式吗?你知道lambda表达式底层的实现原理吗?14. 你了解过Java最新的绿色线程吗?15. 说说Java的虚拟线程和Go语言的协程、Python的协程有什么区别吗?(本人不了解Go和Java的虚拟线程,就只讲了Python的协程)16. 用普通的线程可以做到你项目中协程的工作吗?两种实现方案有什么区别?17. 你的项目用的是什么垃圾回收器?(回答是G1垃圾回收器)你了解G1垃圾回收器的底层原理吗?18. G1标记完需要回收的region后,具体如何判断是否该对一个region进行清理呢?19. 聊AI八股20. 你说你用了langchain和langgraph,介绍一下他们和二者的关系21. 你觉得langgraph真正的强大之处在哪?他有哪些关键的机制?22. 你知道langchain和langgraph框架在Java端的适配版本吗?有调研过吗?23. 你了解过向量数据库milvus的索引吗?24. 能简单讲讲向量的稠密索引是如何工作的吗?25. 你了解微调吗?Lora微调的原理是什么?与全量微调有何区别?26. 你了解vLLM吗?你知道他的原理吗?27. 你提到你使用了一些提示词工程,比如few shot和CoT,介绍一下他们以及具体的应用场景。28. 你的项目中如何应用提示词工程的?你怎么管理不同版本的提示词呢?29. 你了解哪些降低大模型幻觉的手段?30. 除了RAG,还有别的方法吗?31. 你的项目用了几个Agent?你的多个Agent之间如何通信?32. 你有没有考虑过Agent之间无限循环调用导致token消耗爆炸的情况?有没有解决方案或者思路?33. 你的项目中是如何计算和监控token消耗量的?34. 你了解哪些Agent通信方法?算法题:高精度乘法反问面试体验比较好。虽然难度大但是也能了解到很多新知识,开阔视野。第二天进二面。
点赞 评论 收藏
分享
评论
1
6
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务