分享一下个人收集的一点零散后端RAG八股

一面： 1.请介绍一下Transformer的核心组件及其作用2.介绍LLM Decoder-Only架构3.你对SFT的理解是什么？与预训练相比有什么差异？4.SFT冷启动时数据集构造需要注意哪些因素？为什么要做数据清洗与均衡采样？5.介绍一下RAG的整体流程。在Agent落地场景中，RAG会遇到哪些延迟和正确率问题？你怎么优化召回链路？6.在你的问答Agent项目中，数据集构造的自动化流程是怎么实现的？7.你是如何利用多Agent协同来提高推理正确率的？调度策略如何实现？8.你提到用DeepSpeed做SFT训练，请讲一下DeepSpeed ZeRO Stage 1-3的区别，以及什么时候用FSDP会更好？9.你做Prompt优化时，是如何判断优化后的Prompt在Agent推理链路中性能提升的？用什么指标来衡量？10.在多Agent系统中，如何保证异步任务执行的稳定性和结果一致性？11.如果Agent推理API需要低延迟响应，你会从哪些方面做系统级优化？代码题：lc34.在排序数组中查找元素的第一个和最后一个位置

旷视科技 MegEagle计划 大模型 一面面经整体56分钟，算是提前批，岗位是视觉/语言大模型算法研究员1.自我介绍2.拷打实习项目，先介绍了一下实习的业务背景，我的是一个智能npc的，我讲了模型训练、数据处理、调优探索几个方面，他问我让模型更加遵循人设是怎么做的、数据分布是怎么调的、评估是怎么做的，然后问我deepspeed原理、vllm原理、kvcache原理3.拷打第一个项目，我的是一个rag的项目，我先整体讲了一下，然后他问我向量模型选的哪个、为什么不选别的、向量数据库选的哪个、还知道哪些、模型幻觉的解决有什么方法、模型长上下文解决的方法，我各答了我的理解4.拷打论文项目，我把我论文...

一、少量八股1.介绍下self-attention，计算其时间复杂度。2.为什么要用multi-head attention？3.kv cache是什么？它为什么能极大地提升推理速度？4.PPO的clip机制？在线强化学习和离线强化学习有什么区别？RLHF是哪一种？5.为什么要用reference model?为了解决什么问题？二、项目深挖1.如何让多个agent协同工作的？举个具体的协同机制例子。2.如果一个agent误判导致策略冲突，如何处理？3.你们有没有用到类似AutoGen或LangChain的框架？为什么选这个框架？4.你是怎么设计agent的记忆系统？5.长期记忆如何存储？如果历史记录量非常大，怎么优化查询效率？6.有没有做记忆衰退，避免旧数据干扰新任务？7.你们这种模块堆叠的架构是怎么设计视觉问答模块和动作模块的协同逻辑的？8.你简历里的人机协作流程，具体是什么意思？怎么设计人工干预与agent自动处理的平衡？9.human feedback是怎么被agent消化吸收的？有没有用rl进行策略更新？三、业务理解1.有没有做过模型压缩？比如在车载端或低端设备上的推理加速？2.如果量化后理解能力下降怎么办？怎么做精度补偿？3.你怎么处理响应速度与推理精度之间的tradeoff？是先召回再精排，还是单次生成？4.如果要做电商agent，你会选择哪些模态的信息作为输入？比如文本评论、图像、视频、购买记录？5.有没有做过A/B测试？

从mentor身上学到了啥？啊，就是那个带实习生的大佬，是个有点老、有点严肃但其实挺风趣的家伙。他教我从被动答题变成主动解题，别再想当然，要敢于提问！还得注意沟通方式，不要等被追问才说实话，及时汇报进度，别让大佬担心。工作习惯也不能马虎，邮件要有礼貌，文件命名要统一，别让桌面看起来像龙卷风过后。最后，带走的不仅是实战经验和背书人，还有对行业的真实认知。