快手实习 多模态算法一面分享(好难啊

给我面没招了,发点面经攒攒人品~
1.CLIP的结构+一个batch里面混入了相同的图片,也就是说一个正样本被当作一个负样本,但它实际是一个正样本,怎么去解决和避免这些问题?在训练或者说Loss层面
2.CLIP可以做分类吗?通过对齐的方式做分类你觉得是可行的吗?
图像输入给大模型,解码输出文本,这样的对齐方式和CLIP有什么区别?这两种哪种是未来趋势?
3.COT有了解过吗?结构化的输入/few-shot 为什么会有帮助?(模型层面)
4.有了解过哪些大模型?BLIP2的三个loss介绍
5.现在大部分的结构不采用Q-former,而用MLP,是为什么?那为什么之前不用MLP,而用Q-former?
6.一个多模态模型,它的视觉和文本编码器的参数量大小有什么配比的逻辑?
7.一个5乘5的卷积,它可以由几个3乘3的卷积串联来替换,从而减少计算量但保持感受野不变?
8.分类任务需要很多标注样本,但是现在想在少量样本的情况下,实现新增任务的效果,如何实现?不希望通过大量数据做微调
全部评论
5x5拆3x3这种数学题面试还问啊
点赞 回复 分享
发布于 05-07 12:57 广东
qformer退场是面试常考点吗
点赞 回复 分享
发布于 05-07 11:01 上海

相关推荐

1. 挑选个人复杂度最高、难点最突出的项目完整讲解,重点说明项目核心痛点、落地难点、技术瓶颈与最终落地解决方案。2. 结合项目场景,说明Agent任务目标拆解逻辑,以及PPO算法完整训练指标、效果评估标准。3. 阐述RLHF对齐偏好定义逻辑,大模型对话优劣好坏的标注标准与偏好数据集构建逻辑。4. 详细讲解奖励模型RM、Critic网络结构设计思路,组件有效性验证方式、调优优化策略,以及整体对话效果量化评估方案。5. 对比选型SFT、DPO、PPO、GRPO、RAG多条技术路线,说明为何选用强化学习做Agent对齐优化,完整输出各方案评估维度、适配场景与选型依据。6. DPO全流程效果评估方式,结合实际业务案例说明DPO固有短板,对比DPO与GRPO原理差异、优劣特点与落地适用场景。7. 从算法原理角度,讲解GRPO具备更强探索能力、稳定训练的核心原因。8. 阐述个人参与RAG相关项目初衷,梳理RAG系统整体架构与核心工作内容。9. 对比语义切分、固定长度切分、递归语义切分优劣,说明递归切分选型原因,以及不规则、非结构化文档专属预处理方案。10. 梳理向量数据库选型核心考量维度,结合线上高并发、低延迟生产环境,说明落地选型策略。11. 说明关键词检索+向量检索混合检索设计原因,介绍召回率、准确率等检索效果客观量化评价指标。12. 针对检索召回不足、匹配精度偏低、上下文关联性差等问题,逐条梳理全链路优化手段。13. 讲解用户意图模糊、指代不清、需求不明确类问题的意图识别与澄清处理方案。14. 讲解重排序模型选型、技术实现、解决的检索冗余错乱问题,所用开源/商用工具库,以及不同重排模型横向对比实验结论。📳对于想求职算法岗的同学,如果想参加高质量项目辅导,提升面试能力,欢迎后台联系。
查看14道真题和解析
点赞 评论 收藏
分享
评论
1
1
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务