大模型面试题合集大模型面试八股

1.八股：NLP和LLM最大的区别是什么？两者有何共同和不同之处？2.八股：激活函数有了解吗，你知道哪些LLM常用的激活函数？为什么选用它？3.八股：开源框架了解过哪些？Qwen，Deepseek的论文是否有研读过，说一下其中的创新点主要体现在哪？4.项目：介绍微调负责的工作，大模型微调最重要的是什么？5.项目：SFT+DPO训练怎么组织这部分数据的？是自己构造还是用公开数据？6.项目：看你做过LoRA微调，那你是怎么选rank值？合并adapter权重的时候有没有遇到梯度爆炸？7.项目：说下LoRA的原理，LoRA是不是只能在Linear层插？为什么不能插在LayerNorm之后？这会对训练稳定性造成什么影响8.项目：刚才提到用过QLoRA，能具体说说QLoRA是怎么降低资源成本吗？9.项目：llm推理效率，如果真的部署到在线系统里，这个效率的问题怎么解决呢10.项目：有没有尝试过模型裁剪？比如 low-rank adaptor、LoRA 融合，或者用Mamba替换部分token path？11.代码题：实现Casual mask的MHA，说下计算复杂度

1．首先是自我介绍和过项目，面试官还一起探讨项目用到的方法，可行性之类的2．介绍一下 CLIP3．了解 LoRA 吗， LoRA 微调的原理是什么4．了解哪些多模态大模型，简要介绍几个5.BLIP的三个损失函数分别是什么，数据是怎样清洗的6.BLIP2相对于 BLIP 有哪些改进，BLIP3又有哪些改进7.Qwen- VL 的三个训练流程分别是什么，有什么作用8．视觉编码器和 LLM 连接时，使用BLIP2中 Q - Former 那种复杂的 Adaptor 好还是 LLaVA 中简单的 MLP 好，说说各自的优缺点9．代码：实现多头自注意力一面比较常规，几乎都是八股问题，只要了解常见的多模态大模型都问题不大，主要还是要理解各个模型设计的动机是什么，这也是面试最喜欢考察的

2025年12月23日，北京的冬天寒风刺骨，圣诞节的彩灯已沿街亮起。大三学生小明裹紧外套，匆匆走过图书馆门前——那里贴满了寒假实习招募海报。一个月后，寒假就要开始，他下定决心：这个假期，必须找到一份AI相关的实习。他知道自己起点平凡：计算机专业，但没拿过竞赛奖，没进过实验室，只有几个在宿舍里自学完成的小项目。同班的“大神”们早已手握暑期大厂offer，而他，连一份像样的简历都还没准备好。但小明也听学长说过，寒假其实是条“隐蔽的快车道”：企业年终盘点后，新项目上马，正是需要短期帮手的时候。门槛往往更低，竞争也更少。这可能是他踏入AI行业最近的一次机会。一、起点：在信息洪流中打捞机会十二月底，小明坐在电脑前，第一次认真刷起了招聘软件。BOSS直聘、实习僧、LinkedIn……屏幕上岗位层出不穷：腾讯招算法助理，小米缺数据标注，连一些初创公司都在找AI产品实习生。他看得眼花缭乱，却也逐渐清晰——原来AI的世界里，不只“算法工程师”一条路。他想起学长曾随口提过：“先想清楚自己能做什么，再去看市场要什么。”那个晚上，小明拿出一张白纸，认真写下了自己的情况：会Python，懂一点TensorFlow，数学基础还行，但没真正跟过项目，也没接触过工业级数据。划掉那些要求“顶会论文”或“实验室经历”的岗位后，剩下的选项依然不少。他忽然觉得，这条路也许并没有想象中那么窄。二、第一次尝试：石沉大海的十份简历小明用Word模板做了第一版简历，老老实实列出专业课和成绩，附上两个课程项目描述。点击发送时，他心中还有些许期待。然而一周过去，投出的十份简历，只有两家回复，且都是婉拒。“问题出在哪儿？”他重新打开那些招聘描述，逐字对比自己的简历，渐渐看出了端倪。对方要的是“处理过真实数据问题”，他写的是“完成课程实验”；对方强调“模型优化经验”，他只写了“调参”。原来，简历不是清单，而是“说明书”——得告诉别人你能解决什么具体问题。三、转折：一份被重构的简历在一位已入职字节跳动的学长指点下，小明开始重写简历。“别只说‘我做过什么’，”学长说，“要说‘我解决了什么，带来了什么改变’。”小明盯着自己那个图像分类小项目，第一次尝试用不同的语言描述它：· 从前：“使用CNN实现猫狗图片分类”· 现在：“针对小型数据集噪声较多的问题，通过数据增强与梯度裁剪优化训练过程，使模型准确率从82%提升至94%”他还学会了从招聘描述中提取关键词——那些“深度学习”、“模型部署”、“A/B测试”之类的术语，并自然地编织进自己的经历中。泡泡小程序AiCV简历王改的简历修改后的简历依旧只有一页，却仿佛有了不同的重量。四、策略：不只是海投再次投入申请时，小明调整了方法。他建了一个简单的表格，记录每家公司的投递状态、岗位要求和跟进时间。每天固定投出五到八份，不再盲目撒网。一次偶然的机会，他在一个AI技术群里看到有人提起某公司的内部推荐机会。小明鼓起勇气加了对方好友，简短说明自己的情况和意愿。三天后，他收到了那家公司的面试邀请——这是他第一次获得大厂的面试机会。“很多机会藏在对话里，而不只是招聘页面上。”他后来在日记里写道。五、面试：从磕绊到流畅小明的第一次面试并不顺利。面对摄像头，他原本准备好的说辞突然变得生硬。面试官问起项目中遇到的挑战，他卡顿了十几秒，才勉强组织出回答。那晚，他给自己录了模拟面试视频。回放时，他看到了自己飘忽的眼神和过多的“然后……”。他开始有意识地练习用更结构化的方式表达：“我遇到的主要挑战是数据不均衡，这导致模型偏向多数类。我尝试了过采样和损失函数加权两种方法，最终使少数类识别率提升了12%。”几次练习后，陈述变得清晰自然起来。他也逐渐明白，面试不仅是展示技术，更是展示思考和解决问题的能力。六、意外与突破最意想不到的机会，出现在一次小组面试中。当时面试官抛出一个开放问题：“如何设计一个帮助老年人使用智能手机的AI功能？”其他候选人纷纷提出语音助手、图像识别等方案。小明却想起自己教外婆用微信的经历，提出了一个更简单的想法：“也许可以做一个‘操作回溯’功能，当老人不知如何回到上一步时，AI可以自动演示刚才的操作路径。”面试官眼睛亮了一下。这个不那么“高科技”、却从真实场景出发的想法，反而让小明脱颖而出。后来他才知道，那家公司正在开发适老化产品，他的观察恰恰切中了团队的需求。七、选择：在三个机会之间一月中旬，小明陆续收到了三份offer：腾讯的AI助理岗位、小米的数据实习，以及一家金融科技公司的算法实习。每个机会都有吸引力。腾讯平台大、资源多；小米的项目更聚焦；而那家金融科技公司给的课题则格外新颖。他再次拿出纸笔，列出每个选项的长期价值、学习曲线和自己的兴趣所在。最终，他选择了腾讯——不是因为名头最响，而是因为那个部门的业务与他最想探索的计算机视觉方向最为契合。“有时候，最适合的比最光鲜的更重要。”他在给学弟的信息中这样写道。八、寒假开始：从实验室到真实战场一月底，小明正式入职。第一个任务远没有想象中炫酷：清洗一批带有错误标签的图像数据。他花了三天时间写脚本、核对、修正，枯燥却必要。第二周，他开始参与一个模型优化项目。第一次看到工业级别的代码库时，他几乎有些晕眩——与他之前写过的脚本完全不同，这里有完整的测试、文档和协作流程。但也是在这里，他真正理解了什么叫“工程化”，什么叫“可扩展”。那些曾经在教科书上读到的概念，突然有了具体的形状。后记：桥梁与起点寒假结束前，小明所在的团队完成了一个内部工具的升级。在项目总结会上，组长特别提到了他提出的一个优化建议——那来自他之前处理自己小项目时的经验。“无论多小的经验，只要认真对待过，都可能在某一天派上用场。”他在实习总结中写道。回校那天，北京的风依旧寒冷，但小明觉得步伐轻快了许多。这份为期一个多月的实习，没有让他立刻变成AI专家，却实实在在地在他与这个行业之间，搭起了一座结实的桥梁。他知道，前面还有很长的路要走。但至少现在，他知道了路的方向，也拥有了继续前行的底气。

1.项目介绍2.Qwen- VL 的训练流程是怎样的3.讲一下大模型的训练流程，多模态大模型的视觉特征传递给 LLM 都有哪些方法4.ViT 一般怎么预训练5.多模态 RAG 介绍一下6.对于不同形状的图片或视频，位置编码怎么设计7.在 ResNet 或者 Transformer 中，残差连接的作用是什么，展开讲讲8.开放题：大模型在训练和推理的时候显存不够，有哪些优化方法9.代码：215．数组中的第 K 个最大元素