字节大模型Rag算法面试题汇总

1️⃣面试官：上面这个是 RAG 标准流程，实际项目中还有哪些优化技巧？在实际中，召回源会考虑多路召回，例如稀疏召回，语义召回，字面召回等。对于多路召回截断和召回分数对齐的问题，还会采用在召回后面增加一个重排序的阶段，精简召回数并提升召回的质量。另外，其中的 embedding 模型，重排序模型，以及生成模型会根据系统问答的指标情况，会针对性的进行进一步的微调。2️⃣面试官：那生成环节怎么评估效果？首先是量化指标：例如 Rouge - L ，文本相似度，关键词重合度等指标。除了准确度，还可以评估生成答案的多样性，看看模型是否能够生成多种合理且相关的答案。还需要引入人类评估：进行人工评估，一般是负责改项目的产品经理和测试人员，以及内测的普通用户对模型的回答进行质量、准确性和连贯性的评分。还应考虑资源效率：考虑模型的计算复杂性、内存需求和推理速度，尤其是在资源受限的环境中，看看 RAG 是否能够以合理硬件资源效果提供更好的性能。3️⃣面试官： RAG 中为什么会出现幻觉？幻觉问题是大模型的一个通病，出现幻觉问题主要分为两大类，一类是生成结果与数据源不一致，自相矛盾。另一类是用户问题超出了大模型的认知。针对前者可能是训练数据和源数据不一致、数据没对齐或者编码器理解能力的缺陷和解码器策略错误可能导致幻觉。后者则是用户的问题不在语言模型认知范围内。4️⃣面试官：针对幻觉的问题，有什么解决思路？第一个是引入更精准的知识库，消除虚假的数据源，减少数据偏差。另外可以加入一些纠偏规则，比如采用 ReAct 的思想，让大模型对输出的结果进行反思；还有现在比较流行的思路是集成知识图谱，即不再局限于向量数据库匹配，做召回时不仅考虑文档块，同时还考虑图谱的三元组。将知识图谱( KGs ）集成到 RAG 中，通过利用知识图谱中结构化且相互关联的数据，可以增强当前 RAG 系统的推理能力。5️⃣面试官：在实际做项目中，经常遇到各种边界的 case ，一般怎么解决？首先是无效问题：如果对于知识库中没有的问题，我们需要做一个准入的判别，判断是否需要回答。一般是一个二分类模型，或者直接用大模型+ prompt 来做，使模型在这种情况下输出一个预设的兜底话术。第二是减少幻觉：对于时间变化的问题，模型回答"我不知道"。在推理模块中添加规则和提示工程技术，使模在不确定时回答"根据当前的信息，不足以回答这个问题"。还有格式错误：模型可能会生成无法解析的答案，例如没有输出预定义格式。

两道题：1.大数相加2.青蛙过河，leetcode 403第二题没写出来，被面试官嘲讽第一题做的太慢，是真难崩，这就是字节秋招的强度吗？哭了

实习 介绍实习的项目架构，用到的技术栈中间件实习中信息流转的可靠性怎么保障的自己设计，怎么保证信息的可靠传递，全流程如果mq宕机了怎么做降级redis主从复制的延迟问题怎么解决八股hashmap的实现为什么hashmap中引入红黑树hashmap是否线程安全，如何保证线程安全什么情况下用reentrantlock思维题如何用两个普通队列实现堆优化，输出为o1，容忍输入的时间复杂度算法合并两个有序数组约二面

自我介绍项目介绍大模型夺命连环call关键词检索的算法 有什么rerank模型的架构rerank为什么慢长期记忆，短期记忆长期记忆需要保存什么东西长期记忆的压缩方案知识库构建 PDF数据是怎么解析的。 -- 用ocr和 VL模型 有没有调研过一些开源的库之类的OCR用的什么模型PDF中的表格和图片是怎么处理的。 -转成markdowmHTML是怎么解析的 有没有优化方案 BS4。 有调研过其他方案吗为什么要先embbding再rerank 你先rerank不行吗manus了解过manus，你能给我讲讲manus的技术特点嘛你怎么看出来manus是多智能体方案的如何不用多智能体方案给1000个t...