腾讯AI产品一面:如何缓解幻觉?

严重性定义
产品场景下幻觉的容忍度,接受多少成本来解决

评估和检测
●业务角度:进行人工评估,比如标100条Case,从体感上感知主要问题
●自动化评估:在垂直领域,构造数据集,利用LLM进行知识检索判断幻觉

幻觉分类
大致分为与真实世界信息不一致的事实性幻觉(包括编造事件、信息过时等)、与输入的上下文不一致的忠实型幻觉。需要不同的缓解措施

幻觉如何缓解?

调API的话
1.首先是Prompt调优。比如输入更详细的任务指令、调优的过程中不断根据输出的Bad Case加入限制。比如COT。
2.然后是上下文优化,这里指的可以是RAG的召回信息优化,也可以是特定场景的上下文处理优化,突出其重点部分更容易被大模型理解。
3.还可以基于Agent思想,将其问题拆分成更细粒度的任务,每个步骤都使用RAG融入外部知识来降低幻觉。
4.最后是成本较高的,使用另一个模型来检测幻觉,如果有幻觉则重新生成。

自研模型的话,通常是在垂直场景需要蒸馏一个小模型,或者微调一个模型。除去上述部分,还可以参考一下思路
1.SFT训练数据层面:通过合成指令微调,有助于缓解幻觉。
2.强化学习:在强规则的领域,可以通过强化学习来缓解忠实型幻觉。比如特定格式输出、特定内容提取等。
3.推理:在不同领域考虑不同的解码方式,多样性解码在专业领域诱发更多幻觉,贪心搜索在开放领域加剧幻觉 #为了减少AI幻觉,你注入过哪些设定?#
全部评论
太强了佬
点赞 回复 分享
发布于 02-08 20:04 浙江
Prompt工程真是玄学啊
点赞 回复 分享
发布于 02-06 10:59 四川
收藏了
点赞 回复 分享
发布于 02-06 10:59 上海
面试遇到这题我能答一半吧
点赞 回复 分享
发布于 02-06 10:59 上海

相关推荐

不愿透露姓名的神秘牛友
03-10 17:48
点赞 评论 收藏
分享
03-11 10:12
已编辑
东莞理工学院 Java
📍面试公司:小黑盒🕐面试时间:03/05💻面试岗位:golang后端开发❓面试问题:1. 描述一次完整的HTTP请求全过程(从浏览器输入网址到页面渲染)2. 访问企业官网域名时,解析到的IP是否直接是后台服务器IP,中间是否有其他逻辑3. 阐述HTTP1.0、HTTP1.1、HTTP2.0、HTTP3.0的区别与优化点4. 同一路由器下多台电脑访问同一服务器,服务器如何精准返回数据到请求的电脑5. 操作系统中进程和线程的区别6. 分别阐述进程间通信和线程间通信的方式、具体应用及相关命令/函数7. 执行Ctrl+C后程序退出,中间发生了什么;Ctrl+C是否一定能终止程序,何种情况无法终止8. 查看Linux系统端口占用情况的命令9. 简述Git中rebase和merge的区别10. 描述关系型数据库ACID事务特性,结合项目说明使用场景及未使用的隐患11. MySQL千万级大表使用offset分页遍历会出现什么问题,如何解决12. 建立MySQL联合索引需要注意哪些事项13. 如何判断MySQL查询语句命中的索引14. 设计学校、班级、学生表结构,并编写SQL查询每个班级学生的平均身高15. 如何看待Java和Go语言的区别,个人使用倾向性16. 描述Go语言GMP调度模型17. Go程序出现goroutine卡死不调度的排查思路18. Go语言中P的数量由什么控制19. Go程序中所有函数入参和返回值都用指针传递会导致什么问题20. 如何理解Go语言“通过通信来共享内存,而不是通过共享内存来通信”的设计理念,Go如何实现21. Go语言中channel的底层数据结构22. Go语言中空接口和非空接口的区别23. 项目中Redis Pipeline批量操作与MGET/MSET批量操作的区别24. 简述分布式事务TCC的思想,结合项目说明应用场景25. 风控机制中规则引擎和Apollo的具体功能26. Kafka消息生产和消费的顺序是否一定一致,如何保证消息顺序性27. 日常工作中如何保证代码上线不出问题28. 实习过程中遇到的最棘手的技术问题及解决过程29. C端业务开发中收获的产品思维与用户体验设计经验30. 与产品/运营沟通需求时,遇到不切实际的改动如何沟通处理31. 日常工作中如何看待和使用AI模型辅助开发🙌面试感想:问的东西有点难,不过还是有收获的,还是有些问题比较非常规的
发面经攒人品
点赞 评论 收藏
分享
评论
8
39
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务