水滴算法面试-汗流浃背版

双非硕一年经验社招，之前只做CV1，4.10一面 简述下transformer,注意力机制公式，QKV cache ，闲聊提了一个场景如何用Yolov8检测，知道Lora 吗？简述lora 原理以及工作原理。有无大模型训练经验，怎么训练的，模型推理加速用的是什么。2，4月14二面，简述项目以及职则，说说CNN和tranformer 区别，项目中收获是什么，项目用的dify 还是langchain,了解lang graph吗，为什么用langchain ，说下rerank ，项目中用的什么检索策略，模型训练是否使用量化，数据管理用的什么，数据原因引起的大模型能力不足具体是数据的什么问题。说下梯度削减的训练策略3，4月17 HR面4，感谢信目前想起来的就这些，后续回想有的答的确实不好，毕竟经验不太够，下次吧 #面经#  #数字马力#

理想：RAG 的完美愿景 在大语言模型（LLM）的浪潮中，检索增强生成（Retrieval-Augmented Generation, RAG）被寄予厚望，作为 LLM 应用落地的关键技术范式之一，它的核心思想很简单： “让大模型在生成答案时，先检索外部知识库，确保回答既准确又新鲜。” 理论上，RAG 能解决大语言模型（LLM）的三大痛点： 知识固化：LLM 依赖训练数据，无法自动更新知识（如 GPT-4 不知道 2024 年后的新闻），导致时效性差、专业领域知识不足，而 RAG 通过连接外部知识库，可以随时引入新信息。 幻觉问题：LLM 可能编造虚假信息，而 RAG 为回答提供证据、增强生...

✅一面1️⃣深挖多模态论文2️⃣介绍transformer架构3️⃣详细说一下Decoder的因果注意力 QKV分别来自哪4️⃣Attention为什么要做scaled 不做会怎么样 为什么用根号d_k5️⃣Transformer怎么做加速训练（KV缓存） 训练和推理有什么区别（并行化）6️⃣深挖多模态大模型论文用的video-llama 讲一下大模型的结构7️⃣论文用了CoT讲一下论文的CoT是怎么样的8️⃣微调用的LoRA介绍一下LoRA9️⃣LoRA初始化怎么做的，用的秩是多少，为什么不选其他的数1️⃣0️⃣知道deepspeed和megatron吗？分别介绍一下1️⃣1️⃣论文用的deepspeed详细讲了一下三个stage分别是什么✅二面1️⃣深挖多模态和大模型的论文2️⃣Decoder文本生成有哪几种方法3️⃣还知道哪些多模态大模型4️⃣介绍一下ALBEF、BLIP5️⃣BLIP2的结构是什么  两阶段怎么训练的 有哪些损失6️⃣知道PEFT吗 讲一下LoRA7️⃣还有什么微调方法 -> prefix-tuning和P-tuning 两者分别是怎么做的 为了解决什么提出的8️⃣后面就是一些场景题✅三面1️⃣深挖论文2️⃣讲一下multi-head attention 用pytorch手撕一下 要可以实现cross attention的3️⃣讲一下你用的大模型是什么结构 特征是怎么喂给大模型的4️⃣大模型训练为什么不用SFT5️⃣LoRA是什么？有什么好处6️⃣知道RLHF吗？讲一下训练流程7️⃣接下来就是好几个场景题，电商相关的，用大模型解决prompt应该怎么设计，怎么处理prompt的输出，怎么过滤错误格式的输出📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

技术栈：主cpp，毕设用python大概3.15左右开始陆续投递，主攻后端开发以及游戏服务端开发面过的公司面经都在主页简历挂：淘天小马智行Momenta快手oppo虾皮vivo筛选中：京东腾讯音乐猿辅导巨人网络B站联想滴滴盒马放弃笔试：网易雷火吉比特拼多多蚂蚁笔试挂：游酷盛世   游戏服务端开发工程师        笔试(1.9/3)挂饿了么   研发工程师JAVA                笔试(1.2/3)挂携程     Java开发                        笔试(1.9/4)挂米哈游   软件工程师（后端）           笔试(1.3/3)挂笔试完泡池子：作业帮        后端工程师                    笔试(2.1/3)灵犀互娱        游戏服务器开发工程师    笔试(3.2/5)一面挂：众安保险 (kpi面)腾讯teg (还是太菜了，面试acm模式属实顶不住，写出来但边界情况没处理，面完秒挂)二面：最右网易互娱oc:美团暑期实习从正月初九2.6回校后准备，到4.2美团oc，勉强也算得上是两个月了。从刚来学校的大小周，到3月初开始的10106，再到三月底面试前的失眠，只能说感谢团子(流程推进真的是最快的，体验感也很好)。面试前的日子是最痛苦的，每天睁眼就是算法八股，晚上躺床上闭眼脑子里也还在想着算法和八股，焦虑到根本睡不着，每天都在焦虑中度过，甚至出去玩都会有负罪感，每周唯一休息的一天就是陪女朋友，其余时间根本不敢休息，还好最后结果是好的。最后希望大家都能拿到自己心仪的offer