很多人被问到这个问题时，第一反应是：“我会把Prompt写好一点。”但如果你真的这么回答，基本就已经输了。因为在真实业务里，大模型从来都不“乖”。它会幻觉、会乱填参数，甚至在极端情况下可能触发危险操作。就比如我之前做项目，有一步是需要让大模型输出一段JSON，我设置了非常严格的提示词，要他直接输出代码而不要带任何的对话，但还是会时不时的输出一句“好的”，让我们猝不及防。话说回来，问题的关键从来不是“让模型更聪明”，而是当模型不靠谱时，你有没有一套机制兜住它。所以如果你打算包装自己为一个真正有经验的工程师，就需要把这个问题拆成一整套体系，而不是一句prompt优化。（回答思路放在了文末）我们可以...

没必要在学校疯狂卷了

1 . RAG 怎么评测，有哪些维度，那些指标RAG 的评测一般分成检索、生成、端到端三层。检索层主要看正确证据有没有被找回来，常用 Recall@K、HitRate@K、MRR、NDCG；生成层主要看答案对不对、是不是基于证据回答，常看 Answer Correctness、Faithfulness、Relevance、Completeness、Citation Accuracy；端到端层更偏业务效果，比如用户满意度、追问率、拒答率、时延和成本。真正做项目时不会只看最终答案，因为答案错可能是召回错、重排错、上下文拼接错，也可能是模型生成错。2. 数据集包括什么RAG 的数据集一般不只是知识库...