腾讯AI产品一面:如何缓解幻觉?

严重性定义
产品场景下幻觉的容忍度,接受多少成本来解决

评估和检测
●业务角度:进行人工评估,比如标100条Case,从体感上感知主要问题
●自动化评估:在垂直领域,构造数据集,利用LLM进行知识检索判断幻觉

幻觉分类
大致分为与真实世界信息不一致的事实性幻觉(包括编造事件、信息过时等)、与输入的上下文不一致的忠实型幻觉。需要不同的缓解措施

幻觉如何缓解?

调API的话
1.首先是Prompt调优。比如输入更详细的任务指令、调优的过程中不断根据输出的Bad Case加入限制。比如COT。
2.然后是上下文优化,这里指的可以是RAG的召回信息优化,也可以是特定场景的上下文处理优化,突出其重点部分更容易被大模型理解。
3.还可以基于Agent思想,将其问题拆分成更细粒度的任务,每个步骤都使用RAG融入外部知识来降低幻觉。
4.最后是成本较高的,使用另一个模型来检测幻觉,如果有幻觉则重新生成。

自研模型的话,通常是在垂直场景需要蒸馏一个小模型,或者微调一个模型。除去上述部分,还可以参考一下思路
1.SFT训练数据层面:通过合成指令微调,有助于缓解幻觉。
2.强化学习:在强规则的领域,可以通过强化学习来缓解忠实型幻觉。比如特定格式输出、特定内容提取等。
3.推理:在不同领域考虑不同的解码方式,多样性解码在专业领域诱发更多幻觉,贪心搜索在开放领域加剧幻觉 #为了减少AI幻觉,你注入过哪些设定?#
全部评论
太强了佬
点赞 回复 分享
发布于 02-08 20:04 浙江
Prompt工程真是玄学啊
点赞 回复 分享
发布于 02-06 10:59 四川
收藏了
点赞 回复 分享
发布于 02-06 10:59 上海
面试遇到这题我能答一半吧
点赞 回复 分享
发布于 02-06 10:59 上海

相关推荐

问题 1. 看一下你的 AI 基础。介绍一下 transformer 基本原理?解释一下注意力机制?解释一下什么是扩散模型?2. 讲一下你对 agent 和 Workflow 的理解3. 你知道 lovart 吗?你认为他是 agent 还是 Workflow?你怎么判断的?4. 目前这种产品二次编辑能力很差,让你来设计这个二次编辑功能你会怎么做?subject agent 的设计思维考察(意图、环境、function)5. 聊点业务上的,目前广告产品已经有很多工具能力,生成素材、投放等工具,目前我们有两个策略:A-all in one ,B 让做多个产品。你支持什么策略?为什么?6. 好在你的理解上,以广告素材生成为例,我们不只做工具,如何证明这个功能/产品的商业价值?工具生成的内容 reward 如何衡量?7. 好的,想象一个场景。我们希望打造一个产品,用户做广告不再是过去哪个先建广告组、做素材、定目标···而是交给 agent,用户只需要输入商品和基本信息,其他交给 agent 去做。那在这个过程中,main agent 发出指令,subject agent 执行。如果 subject agent 认为需要再做一个素材,这个过程应该如何流转?这个关系你会如何思考设计?(有点小难)8. 你未来的规划?你的职业方向?反问1. 针对最后一个问题(agent 之间的关系和流程),您是怎么思考的?反馈是一个发散性的问题,看大家对于 agent 的理解规划。主要再看 agent 的需求和环境变量的关系。面试官说如何去看待 main agent 和 subject agent 的专业程度和功能复杂度。2. 您提到的这个 all in one 的产品,是未来的发展目标吗?反馈聊到 agent 再整个商业界的定义,帮助我个人把对于产品的视角从「解决某个具体场景效果」到「解决整个数字商业广告的问题」再到「技术完成新的产业形态」3. 您希望找到什么样的人?
查看8道真题和解析
点赞 评论 收藏
分享
评论
6
31
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务