#面试官拷打AI项目都会问什么？## AI项目被面试官拷打：模型选型与Bad Case

面试官问AI项目，最狠的三连击就是：“**为什么选这个模型？有没有bad case？怎么解决的？**”

## Q1：为什么选这个模型？

**❌ 错误回答**：“因为这个模型最好/最常见/大家都用。”

**✅ 正确思路**：从**成本、效果、延迟、部署难度**四个维度横向对比。

举例：做RAG问答，为什么选GPT-3.5而不是GPT-4？
- **成本**：GPT-4贵10倍，预算扛不住
- **延迟**：GPT-4首Token慢2秒，用户体验下降明显
- **效果**：A/B测试发现，简单问答场景两者准确率差距不到3%
- **结论**：用GPT-3.5满足需求，GPT-4留着处理复杂Case

面试官想听的是：**你做过了对比实验，不是拍脑袋选的。**

## Q2：模型有没有bad case？

**❌ 错误回答**：“基本没有/很少出现。”（面试官：你骗谁？）

**✅ 正确思路**：主动承认bad case，说明你深入用过、踩过坑。

举例：
> “有。我们发现在长文档QA场景，模型经常忽略中间段落的信息，只靠开头和结尾回答。我们叫它‘中间缺失’现象。”

面试官心里：这人真做过，不是玩票。

## Q3：怎么发现和解决bad case？

**发现路径**：
- 人工抽检：每100条标注一次准确率
- 用户反馈：“答非所问”的投诉
- 自动化评估：用LLM-as-Judge跑回归测试

**解决方案示例**：

| Bad Case类型 | 原因 | 解决方案 |
|---|---|---|
| 中间缺失 | 上下文注意力衰减 | 分块+重排序，重要片段放前后 |
| 数字幻觉 | 模型记不住精确数字 | 用检索结果直接替换，不靠模型生成 |
| 拒绝回答 | 安全阈值过高 | 调低温度+加少样本示例 |

## 一个完整的回答示例

> **面试官**：你的RAG项目为什么选BGE做embedding？
>
> **候选人**：
> “我们对比了3个模型：OpenAI embedding、BGE-large、m3e。BGE在MTEB中文榜上Top 3，效果和OpenAI差距不到2%，但**免费、可本地部署、延迟低20ms**。成本上按日均10万次调用算，一年省3万多。所以选BGE。
>
> 但也有bad case——长文档（超512 token）直接截断会丢信息。我们发现后改成了滑动窗口分块+重叠20%，召回率从83%提到91%。后来这个方案被团队推广到其他项目。”

## 面试官追问清单

准备项目时，把这几个问题自己拷打一遍：

- QPS多少？怎么优化延迟？
- RAG检索命中率多少？怎么提高？
- 幻觉率多少？怎么降的？
- 遇到过什么奇葩输入？怎么兜底？
- 如果重新做，哪里会改进？

## 一句话总结

**面试官问模型选型和bad case，不是要标准答案，是要证明：你亲手做过、踩过坑、动脑子解决了问题。**

把你的bad case整理成故事，比背一百道八股文都管用。