秋招算法岗面经复盘-海康-多模态llm

海康威视 研究院-多模态算法工程师 (实习)招聘 工作地点:浙江省-杭州市岗位职责：负责计算机视觉、深度学习、 机器学习 相关 算法 的研究与实现，实习生以参与论文发表或项目预研为主多模态大模型（Large Multimodality Model）的数据和模型开发。灵活运用Vision、Audio、NLP的传统算法和大模型，将AI能力应用在产品中。职位要求：1. 985/211计算机相关专业，且具备相关项目工作经验。2. 熟悉LLM基本原理，对前沿的AudioLM，Diffusion，Any2Any有项目经验。3. 对Vision或Audio模态有较深的理解，有算法应用经验。4. 熟悉HuggingFace、OpenAI、Langchain等开发工具和社区。5. 拥有较强的模型开发能力，能够阅读理解前沿论文，相信AI应用前景。加分项：将多模态大模型应用在多种场景经验优先。对多模态数据集有深度理解和大模型训练经验优先。有意向者请将简历发送至邮箱：houguanqun@hikvision.com，实习要求三个月以上，超过半年者优先，欢迎各位加入

1.问项目2.八股GPT和bert的区别GPT做文本理解的效果会比bert差吗？扩散模型 文生图 图生图图生图有几种不同的方式？CLIP是怎么训练的？CLIP的损失

虾皮多模态二面4.17深挖项目+扩散模型相关八股，感觉答的还行，但只面了30+min4.24已挂…

个人背景可以看之前写的腾讯LLM面经一面 2024/3/28 下午17:00-18:00上来没有自我介绍直接介绍NeurIPS论文，中间穿插着一些提问说一下Transformer的整体结构了解有哪些位置编码方式吗说一下LLaMA中的旋转位置编码算法题：经典的求平方根，牛顿迭代法秒了算法题：判断一个字符串能否由另一个字符串旋转而来，比如abcd旋转后可以变成dabc或者bcda等，写完后面试官要求O(1)，临时没想出来详细说了快手的用户推荐算法实习，主要做了些什么你的NeurIPS论文能和推荐那边结合起来吗NeurIPS中论文中有没有考虑事件本身的一些属性，或者动态性什么的，我说后续有在考虑做这...