面经分享

1️⃣RAG部分1.讲一下RAG的总体流程？—结合项目2️⃣Query 理解2.用户理解阶段一般会做哪些处理？有何作用？可以做哪些优化？3️⃣Index 构建3.文档问答中，如何构建索引，提升对用户问题的泛化能力？4️⃣Retrieval 召回4.多路检索如何实现？如何合并多路检索的结果，对它们做排序？5️⃣Reranker 精排5.如何构建重排序模型的微调数据？6️⃣模型结构部分6.RoPE相对正弦位置编码有哪些优势？7.为何使用 RMSNorm 代替 LayerNorm？8.RMSNorm与LayerNorm在数学公式上的核心区别是什么？7️⃣微调部分9.指令微调（Instruct-tuning） 和 提示学习（Prompting）的区别是什么？10.LoRA的工作原理及其优势？11.为什么在参数高效微调中使用低秩矩阵分解？

✅一面 1．首先是自我介绍和过项目，面试官还一起探讨项目用到的方法，可行性之类的2．介绍一下 CLIP3．了解 LoRA 吗， LoRA 微调的原理是什么4．了解哪些多模态大模型，简要介绍几个5.BLIP的三个损失函数分别是什么，数据是怎样清洗的6.BLIP2相对于 BLIP 有哪些改进，BLIP3又有哪些改进7.Qwen- VL 的三个训练流程分别是什么，有什么作用8．视觉编码器和 LLM 连接时，使用BLIP2中 Q - Former 那种复杂的 Adaptor 好还是 LLaVA 中简单的 MLP 好，说说各自的优缺点9．代码：实现多头自注意力一面比较常规，几乎都是八股问题，我觉得只要了解常见的多模态大模型都问题不大，主要还是要理解各个模型设计的动机是什么，这也是面试最喜欢考察的✅二面1．自我介绍和过项目，简要问了项目中使用某些方法的动机，以及是否会导致其他的问题2．了解 Transformer 吗，编码器和解码器的注意力有什么区别，在计算注意力中时除以 dk \ sqrt { d _ k }\ sqrt [ d _ k ｝的原因是什么3．后来有哪些比较经典的基于 Transformer 的语言模型， Qwen 相比于原始 Transformer 有哪些结构上的改动，Qwen2又有哪些改进4．了解 RLHF 吗， DPO 和 PPO 有什么区别， Loss 是什么样的，各自的优缺点是什么5．介绍一下 CLIP ，还了解什么其他的对比学习方法6．开放题：了解哪些多模态大模型，目前多模态大模型最的问题是什么7．代码：1143．最长公共子序列二面其实也偏常规，几乎也都是八股问题，但是也考察了一些对模型的理解以及知识面的广度，整体来说比一面的难度大一些✅三面：1．自我介绍，然后详细过了一下项目2．了解哪些大模型和多模态大模型，然后就聊了大模型这一路是怎么发展过来的，Transformer 、 BERT 、 GPT 、 LLaMA 、 Qwen ix ,以及当时的o1推理模型3．平常有尝试过训练过大模型吗，规模小一点的也没关系4．聊天，包括职业规划等等三面比较轻松，面试官说知识点前面两面都考察过了，三面就轻松一些，大概40来分钟吧📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

（鼠鼠处女面，感觉自己说的磕磕绊绊的，逻辑不够清晰，面试官居然说回答的还好。好开心~一面秒过。）面试问题与回答要点1. 自我介绍 & 项目概览2. Go语言与Raft项目考察面试官提问:看到你简历说用Go实现了Raft，是有Go的开发经验吗？对Go语言了解多少？我的回答要点:背景说明: 坦诚说明是为了完成MIT 6.824课程实验，花时间速成了Go语言并完成了项目。能力边界: 承认目前主技术栈是Java/Python，Go的经验仅限于该项目，很多细节已生疏。掌握程度: 对Go的基础语法和并发（goroutine, channel）有基本了解。3. RAG智能问答项目深挖面试官提问 1:聊一下你基于RAG的智能问答项目，你在Elasticsearch里主要做了哪些工作？我的回答要点 (阐述RAG全流程):离线处理阶段:数据预处理: 将PDF论文转为Markdown。文本切块 (Chunking): 采用基于语义的切块方式，保证上下文完整性。向量化 (Embedding): 使用智谱的Embedding模型将文本块转为向量。数据入库: 将文本和对应向量一同存入Elasticsearch。在线检索与生成阶段:用户问题向量化: 用同样模型处理用户提问。向量相似度检索: 在ES中召回Top 3最相关的文本块。构建Prompt: 将召回的文本块作为Context，与用户问题组合成最终的Prompt。生成答案: 将Prompt发送给大模型（LLM）获取最终回答。面试官提问 2 :召回的Top 3数据可能内容相似度很高，但不一定完全符合用户问题，你如何避免给用户错误的引导信息？我的回答要点:优化数据源: 关键在于切块质量，保证每个Chunk都是一个逻辑完整的语义单元。优化召回策略:扩大召回量: 尝试扩大Top K（如Top 5），为LLM提供更丰富的上下文。增加多样性: 可以在召回时引入多样性策略（如MMR算法思想），除了最相似的，也召回一些“不那么相似但可能包含新信息”的文本块，避免信息茧房。4. 基于Redis的多轮对话管理面试官提问 1:你提到用Redis做了个性化的多轮对话管理，具体是怎么实现的？我的回答要点:持久化方案: 放弃框架默认的内存会话管理，选择Redis做持久化存储。数据结构: 使用Session ID和User ID作为Key，将用户的多轮对话历史关联起来。存储格式: 将包含发言人、内容、时间等信息的对话历史序列化成JSON字符串后存入Redis。读写流程: 当新一轮对话发生时，从Redis取出历史记录，反序列化，追加新内容，再序列化存回去。面试官提问 2 :LLM本身有上下文窗口（Context Window）限制，你是怎么突破限制，实现长期记忆的？难道把全部历史记录都传给模型吗？我的回答要点 (坦诚现状 + 给出解决方案):承认局限: 首先坦诚目前项目的实现确实是全量传入，在对话轮次很多时会超出上下文限制，这是一个待优化的点。提出解决方案:方案一 (摘要压缩): 对时间较早的对话历史进行总结，用一个简短的摘要来代替冗长的原文，从而压缩上下文长度。方案二 (RAG on History): 将长期对话历史本身也视为一个外部知识库。当用户提问时，先用RAG的方式从历史记录中检索出与当前问题最相关的几轮对话，而不是把全部历史都传进去。反问环节我问: 公司的具体业务？面试官答: AI硬件，做嵌入式芯片，主要应用在玩具中，与用户进行大模型交互。后端技术栈是Go。我问: 对我本次面试表现的看法和建议？面试官答: 整体不错，但项目经验偏校园和实验性质，缺乏工业级的深度。我问: 后续面试流程？面试官答: 总共2-3轮。

http, https区别rsa四次握手kafka持久化机制rag文段分段有什么讲究文段向量化是怎么实现的(embbeding原理)还有一些go的基本八股算法手写lru二叉树每层最右节点