腾讯AI产品一面：如何缓解幻觉？

严重性定义
产品场景下幻觉的容忍度，接受多少成本来解决

评估和检测
●业务角度：进行人工评估，比如标100条Case，从体感上感知主要问题
●自动化评估：在垂直领域，构造数据集，利用LLM进行知识检索判断幻觉

幻觉分类
大致分为与真实世界信息不一致的事实性幻觉（包括编造事件、信息过时等）、与输入的上下文不一致的忠实型幻觉。需要不同的缓解措施

幻觉如何缓解？

调API的话
1.首先是Prompt调优。比如输入更详细的任务指令、调优的过程中不断根据输出的Bad Case加入限制。比如COT。
2.然后是上下文优化，这里指的可以是RAG的召回信息优化，也可以是特定场景的上下文处理优化，突出其重点部分更容易被大模型理解。
3.还可以基于Agent思想，将其问题拆分成更细粒度的任务，每个步骤都使用RAG融入外部知识来降低幻觉。
4.最后是成本较高的，使用另一个模型来检测幻觉，如果有幻觉则重新生成。

自研模型的话，通常是在垂直场景需要蒸馏一个小模型，或者微调一个模型。除去上述部分，还可以参考一下思路
1.SFT训练数据层面：通过合成指令微调，有助于缓解幻觉。
2.强化学习：在强规则的领域，可以通过强化学习来缓解忠实型幻觉。比如特定格式输出、特定内容提取等。
3.推理：在不同领域考虑不同的解码方式，多样性解码在专业领域诱发更多幻觉，贪心搜索在开放领域加剧幻觉 #为了减少AI幻觉，你注入过哪些设定？#