Ai agent应用开发实习一面-游戏厂

1 . RAG 怎么评测，有哪些维度，那些指标RAG 的评测一般分成检索、生成、端到端三层。检索层主要看正确证据有没有被找回来，常用 Recall@K、HitRate@K、MRR、NDCG；生成层主要看答案对不对、是不是基于证据回答，常看 Answer Correctness、Faithfulness、Relevance、Completeness、Citation Accuracy；端到端层更偏业务效果，比如用户满意度、追问率、拒答率、时延和成本。真正做项目时不会只看最终答案，因为答案错可能是召回错、重排错、上下文拼接错，也可能是模型生成错。2. 数据集包括什么RAG 的数据集一般不只是知识库...

本人技术栈主要是Python+Go，之前有两段后端实习经历一面一开始面试官就围着我之前的实习项目问，问得还挺细的：当时做项目的时候，为什么要引入父子索引？还有BM25，引入的原因是什么，比例是怎么设置的，整个具体流程是怎样的，有没有做rerank操作？如果做了rerank， rerank之后返回几个块？有没有做过一些验证来确保效果？rerank之后的topk截断是怎么实现的？为什么选这个k值，有没有考虑过其他方案？让我讲一下上下文工程，还有记忆功能是怎么实现的。除了AI相关的项目，还问了我之前做的后端实习项目，都是一些项目里的细节问题。分布式令牌桶限流、漏桶限流，还有滑动窗口算法限流，这三个都让我讲一下。尤其问了滑动窗口的数据结构会包含哪些字段，滑动窗口对比令牌桶有什么缺点，还有用Redis的什么数据结构能实现滑动窗口。又绕回我自己做的项目，让我讲一下LRU的原理和实现。布隆过滤器的原理、应用场景，也让我详细说一下。MySQL索引失效的情况，这块我八股好久没看了，只想起来两个，被面试官追问了好久，有点没答好。面试官还补问了一句，like查询会不会导致索引失效。MySQL的事务隔离级别，还有一致性相关的内容，让我讲清楚。MVCC这块问得特别细，反复追问，还举了具体场景，问这种情况下会创建几个readview，我当时琢磨了半天，尽量把自己知道的都讲了。最后还问了MySQL的锁相关知识，行锁、表锁这些都涉及到了。手撕代码环节，我跟面试官坦诚说，最近一直在实习，好久没刷过题了，然后面试官就出了一道反转链表，不算特别难，慢慢理清楚思路就做出来了。二面跟一面不一样，二面全程没涉及后端相关的问题，全是AI agent和RAG相关的，而且大部分都围绕我之前做的RAG项目展开，问得特别深入。首先问我，做RAG项目的时候，是怎么评测效果的？有哪些评测维度，具体用到了哪些指标？然后问项目里的数据集包含什么内容，数据来源、数据格式这些都问到了。如果让我对RAG的相关度和回答效果做优化，我有什么思路？有没有更体系化的优化方案，而不是零散的调整。面试官还举了个具体场景，比如有一千条数据，需要做求和处理，让我说说这种数据处理场景，我会怎么设计实现。RAG的性能怎么提升，有没有实际的优化思路，不管是工程层面还是算法层面。我项目里的上下文是怎么处理的，有没有什么优化的方向，比如上下文过长、冗余这些问题怎么解决。agent的长记忆和短记忆之间，怎么做到协同工作的，两者的衔接逻辑是什么。最后问我，有什么思路能让自己做的agent更智能？这个问题我感觉太宽泛了，当时没太get到面试官具体想了解什么，就主要围绕我工程开发中遇到的实际问题，讲了一些针对性的优化思路。手撕代码环节，出的是全排列，这个之前刷过类似的，思路比较清晰，顺利做出来了。感觉面试官比较爱问的AI问题就是RAG 的全链路优化、Agent、减少幻觉

淘天 27 届暑期实习生正在招聘 各方向都有海量 HC 欢迎看我置顶帖子投递一面 | Agent 生态与工程化面试题 1：请解释 ACP（Agent Communication Protocol）协议的设计思路，它解决了什么问题？参考答案ACP 解决的核心问题：目前各家的 Agent 框架（LangChain、CrewAI、AutoGen 等）各自为政，Agent 之间无法互通。A 公司用 LangChain 写的 Agent 没法直接和 B 公司用 AutoGen 写的 Agent 协作。ACP 要做的就是 Agent 之间的 HTTP——一个开放的、框架无关的通信标准，让不同技术栈的 Ag...

字节 腾讯三月初就开始了，阿里3.18才开启，但是已经开始造势了，阿里巴巴开始的这么晚，难道是刚盘点完hc？据说今年招聘大方向也是AI，同学们加把劲吧