agent开发是测试的最好转型期

本人简历上 1 个 RAG 项目 + 1 个 Agent demo；这次面的是AI岗一面前我以为：背完八股 + 把项目讲清楚，应该能稳过。0-5 min：自我介绍 + 项目背景- 顺利。讲清楚了我的 RAG 是给法律咨询场景做的，痛点是大模型不懂行业术语。5-20 min：项目深挖（开始崩）- Q1：你的法律文档总共多少？切了多少个 chunk？- 我：约 500 份 PDF，5 万个 chunk- Q2：500 份 PDF 加起来才 5 万 chunk？平均每份 100 个 chunk，你切片粒度是多少？- 我：512 token- Q3：法律文档里"第三条第二款"和"第三条之二"是不同含义，你的切片会不会把它切散？- 我：（沉默 5 秒）……应该会- Q4：那你怎么解决？- 我：我可以加一个 metadata……（开始编）❌ 第一次崩：切片粒度没考虑业务语义。20-35 min：评测体系（继续崩）- Q：你怎么知道你的 RAG 有效？- 我：我用 Recall@5……- Q：评测集多少条？怎么构造的？- 我：100 条，我手工标注的- Q：100 条够吗？分布怎么样？- 我：分布……我没分- Q：那你的 Recall@5 是 0.81，你怎么知道这个数字是好是坏？baseline 是什么？- 我：（沉默 10 秒）❌ 第二次崩：没有 baseline，没分布分析，纯靠"看起来还行"。35-55 min：Agent 部分（彻底崩）- Q：你的 Agent demo 用了几个工具？- 我：3 个，搜索、计算器、文档查询- Q：当用户问一个问题，你的 Agent 怎么决定调哪个工具？- 我：用 ReAct，让模型自己决定- Q：模型决策错了怎么办？- 我：我加了个 reflection……- Q：reflection 失败 3 次后怎么处理？- 我：（沉默 15 秒）……我没想过❌ 第三次崩：异常路径完全没设计。55-65 min：业务理解 + 反问- Q：你觉得字节做 AI 应用最大的瓶颈是什么？- 我：算力？数据？- Q：你看过哪些字节最近发的 AI 产品？- 我：豆包、扣子……- Q：扣子是 Agent 平台还是工作流平台？- 我：（再次沉默）❌ 第四次崩：对面试公司业务一无所知。