大模型算法岗现在都问这些了吗??

商汤多模态实习面经一面(已OC)
1. 项目+实习经历
2. 阐述一下最熟悉的VL模型
3. 根据2.提的模型进行深挖,包括网络设计,注意力计算的方式等
4. pre-Norm 和 post-Norm 差别
5. attention 计算复杂度
6. flash attention计算复杂度
7. 大模型的训练流程
8. 手撕: torch 手写softmax 并基于softmax的分布写出采样函数
面试官人很好很好!!!!!很轻松,很和谐

#面试问题记录# #机械人面试中的常问题# #算法#
全部评论
招聘算法实习生 - 计算机与数学基础扎实, 熟悉C/C++、Python等编程语言,能熟练操作Linux,Git,熟练使用Pytorch、Tensorflow等框架中的至少一种 - 熟悉Transformer模型框架 - 能实习半年以上 【加分项】 - 了解模型优化加速方案,了解llm模型量化方法(GPTQ, AWQ)等算法原理和实现细节 - 参与过相关开源项目或有会议/期刊论文 - 代码能力优秀,ICPC/NOI或机器学习等比赛获得过奖项
点赞 回复 分享
发布于 08-01 14:13 北京
咋样,二面来了吗
点赞 回复 分享
发布于 08-01 13:43 北京

相关推荐

08-05 18:14
门头沟学院 Java
小花的沉默:是学历厂没错啊,学历太高了不要
投递小鹏汽车等公司10个岗位
点赞 评论 收藏
分享
✅一面 1.首先是自我介绍和过项目,面试官还一起探讨项目用到的方法,可行性之类的2.介绍一下 CLIP3.了解 LoRA 吗, LoRA 微调的原理是什么4.了解哪些多模态大模型,简要介绍几个5.BLIP的三个损失函数分别是什么,数据是怎样清洗的6.BLIP2相对于 BLIP 有哪些改进,BLIP3又有哪些改进7.Qwen- VL 的三个训练流程分别是什么,有什么作用8.视觉编码器和 LLM 连接时,使用BLIP2中 Q - Former 那种复杂的 Adaptor 好还是 LLaVA 中简单的 MLP 好,说说各自的优缺点9.代码:实现多头自注意力一面比较常规,几乎都是八股问题,我觉得只要了解常见的多模态大模型都问题不大,主要还是要理解各个模型设计的动机是什么,这也是面试最喜欢考察的✅二面1.自我介绍和过项目,简要问了项目中使用某些方法的动机,以及是否会导致其他的问题2.了解 Transformer 吗,编码器和解码器的注意力有什么区别,在计算注意力中时除以 dk \ sqrt { d _ k }\ sqrt [ d _ k }的原因是什么3.后来有哪些比较经典的基于 Transformer 的语言模型, Qwen 相比于原始 Transformer 有哪些结构上的改动,Qwen2又有哪些改进4.了解 RLHF 吗, DPO 和 PPO 有什么区别, Loss 是什么样的,各自的优缺点是什么5.介绍一下 CLIP ,还了解什么其他的对比学习方法6.开放题:了解哪些多模态大模型,目前多模态大模型最的问题是什么7.代码:1143.最长公共子序列二面其实也偏常规,几乎也都是八股问题,但是也考察了一些对模型的理解以及知识面的广度,整体来说比一面的难度大一些✅三面:1.自我介绍,然后详细过了一下项目2.了解哪些大模型和多模态大模型,然后就聊了大模型这一路是怎么发展过来的,Transformer 、 BERT 、 GPT 、 LLaMA 、 Qwen ix ,以及当时的o1推理模型3.平常有尝试过训练过大模型吗,规模小一点的也没关系4.聊天,包括职业规划等等三面比较轻松,面试官说知识点前面两面都考察过了,三面就轻松一些,大概40来分钟吧📳对于想求职算法岗的同学,如果想参加高质量项目辅导,提升面试能力,欢迎后台联系。
点赞 评论 收藏
分享
不愿透露姓名的神秘牛友
08-08 18:20
职场水母:这题思路是什么,我目前想的一个暴力方法就是先把这个链表遍历一遍,用哈希表存储出现次数,然后再根据哈希表来一个一个删除节点,
点赞 评论 收藏
分享
评论
3
1
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务