百度文心一言Agent大模型面经

1.CV和NLP的区别与联系2.在Transformer框架下，CV、NLP、语音是否可能统一？3.大模型训练数据清洗、处理、配比的方法4.大模型训练如何更容易提升模型性能5.Encoder与decoder的中Attention区别?6.Attention如何计算?为什么除以根号下Dk?mask attention是如何实现的?7.讲GQA、MQA、MLA原理。8.为什么要用位置编码?为什么要用sin_cos?9.问之前实习的Agent的设计逻辑，问创新方法的实现。10.你提到用DeepSpeed做SFT训练，请讲一下DeepSpeedZeROStage1-3的区别，以及什么时候用FSDP会更好?11.什么是大模型的幻觉，如何缓解12.为什么会有复读问题，业内有哪些解决办法13.大模型工具调用的实现方式14.Agent的组成部分及实现方法15.问Agent的工具tool的设计，是否是workflow形式。16.了解哪些agent开发框架，例如langchain和Llamalndex，核心应用场景有何不同?17.问数据的输入输出格式如何保证大模型输出稳定的json做了哪些工作?18.开放题:你在大模型训练中遇到过的困难，如何解决?19.代码题:实现一个Tokenizer

拷打实习经历怎么理解 ReAct 框架，它的工作原理是啥样的？你用过 ReAct 吗？ReAct 里面关键是什么呢？怎么比别人做的好，核心要在哪个方向重点学习？MCP 和 Function Call 有什么区别？Transformers 你了解吗？你现在的工作没做过微调对吧？你觉得微调的原理是什么？RAG 和微调有什么区别？复杂的 Agent 层（多个 Agent 组成、多模块）怎么去评测？

1.自我介绍。2.你目前还在实习吗？你参与的实习吗？你参与的 AI 产品主要面向什么问答场景、包含哪些问题类型？3.处理查询文档里的异构数据（如图片）时，具体的处理流程是什么？解析成纯文字后如何进一步加工？这样只返回文字给用户，图片信息不会丢失吗？4.你们是通过人工打标建立图片和文本的对应关系吗？文档量很大的情况下，打标工作能完成吗？5.如何保证大部分图片异构数据解析后回答的正确性？若回答错误，怎么识别问题？后续要验证回答准确性，你有什么方案？6.用于评测的另一个大模型，如何构造问题、分析文字并进行对比？这个大模型的正确率以及模型自我一致性怎么确定？7.你们的模型基于哪些异构图像做增强？模型会不会产生幻觉，生成文档外的内容？8.若用户的问题不在文档里，你们会怎么处理？是调用其他模型吗？大模型回答不了时，会提示用户补充问题吗？用户补充后仍无法解决该怎么办？模型如何判断何时需要让用户补充提问？9.你们有框架编排这些流程吗？用的是什么框架？10.你简历中提到的识别率、检索召回率等指标，怎么理解检索召回率？这些指标具体包含哪些评价项？什么是忠实度？召回率的分子分母是怎么定义的？11.你之前那段实习的具体工作内容是什么？针对设备故障叙述报告这类复杂文本，模型如何理解？是做了相关检测吗？大模型是怎么实现术语解释的？12.请讲一下 LoRA 技术，除了减少参数量，它还有什么优点？你做的 LoRA 相关工作，后续有落地应用吗？13.你写代码主要用 Python 吗？会不会用 Java？了解 Java 的多线程、双亲委派模型以及消息中间件吗？有没有做过 Java 相关项目？14.你用过 LangChain 吗？如何用它解决模型的幻觉问题？若不熟悉 LangChain，还能通过什么方法做 AI 能力增强？15.让你实现一个查询天气的对话 AI 顶层设计，具体步骤是什么？聊天记录最终如何返回给用户？除了文本存储，还有其他方式吗？多模态的具体实现方法是什么？16.天气大模型要关联地理位置信息（如杭州属于中国），该怎么处理？如何对接天气 API？怎么定义 API 调用的相关内容？17.若查询天气后，还要根据天气推荐买伞这类服务，大模型如何按顺序调用多个服务？如果有七八项服务，每个服务的调用逻辑都要单独写吗？18.LangChain 和 LlamaIndex 的区别是什么？19.如何测试这个 AI 系统的技能？它和传统 AI 测试有什么区别？有哪些具体的测试方案？评测数据集该怎么构建？测试具体分哪些步骤，要验证哪些能力？20.要让模型完成“在公司周边奶茶店（如霸王茶姬）订一杯奶茶”的任务，该怎么实现？若调用高德 API 做定位和门店查询、调用外卖平台 API 下单，这两个 API 该怎么对接？编写大模型让它按顺序调用 API，可能会遇到什么问题？怎么解决？21.若高德 API 要求输入经纬度坐标，但大模型产生幻觉输出错误公司坐标，导致门店查询错误，该怎么干预模型？如果模型坚持认为自己的坐标是对的，该怎么处理？定位到问题原因后，又该怎么解决？

实习中的Redis缓存，如何估算Redis占用内存TCP三次握手四次挥手，TCP的可靠性如何保障，讲一讲超时重传、滑动窗口和拥塞控制Linux查找哪个端口占用的命令MySQL事务的四个特性SQL一条命令查找分别数学成绩高于90分和英语成绩高于90分的学生人数如何排查慢SQL，索引具体如何优化数据结构方面zset和树应用场景的不同Go语言中的并发介绍大量数据内存小的情况下判断是否存在集合内的数怎么解决谈一谈对于Agent的理解好久没面试了，还有一些缓存和数据库方面的基本八股不太记得了，感觉细节方面回答得很一般，还是太菜了要多学习