严重性定义 产品场景下幻觉的容忍度，接受多少成本来解决评估和检测●业务角度：进行人工评估，比如标100条Case，从体感上感知主要问题●自动化评估：在垂直领域，构造数据集，利用LLM进行知识检索判断幻觉幻觉分类大致分为与真实世界信息不一致的事实性幻觉（包括编造事件、信息过时等）、与输入的上下文不一致的忠实型幻觉。需要不同的缓解措施幻觉如何缓解？调API的话1.首先是Prompt调优。比如输入更详细的任务指令、调优的过程中不断根据输出的Bad Case加入限制。比如COT。2.然后是上下文优化，这里指的可以是RAG的召回信息优化，也可以是特定场景的上下文处理优化，突出其重点部分更容易被大模型理解。3.还可以基于Agent思想，将其问题拆分成更细粒度的任务，每个步骤都使用RAG融入外部知识来降低幻觉。4.最后是成本较高的，使用另一个模型来检测幻觉，如果有幻觉则重新生成。自研模型的话，通常是在垂直场景需要蒸馏一个小模型，或者微调一个模型。除去上述部分，还可以参考一下思路1.SFT训练数据层面：通过合成指令微调，有助于缓解幻觉。2.强化学习：在强规则的领域，可以通过强化学习来缓解忠实型幻觉。比如特定格式输出、特定内容提取等。3.推理：在不同领域考虑不同的解码方式，多样性解码在专业领域诱发更多幻觉，贪心搜索在开放领域加剧幻觉

📍面试公司：虚拟盒子🕐面试时间：25年4月💻面试岗位：产品❓面试问题：对微信小程序的看法，有什么改进空间🙌面试感想：面试官不太专业的样子

1. 请挑一个你参与程度高、有一定难度的项目，详细说明一下。2. AI转卡片项目的评测标准具体有哪些？3. 内容质量符合预期率和功能采纳率这两个指标是怎么定义的？4. 能否介绍一下用户从原始PPT到最终满意PPT的整个环节，以及你们负责的是哪一部分？（可举最复杂的场景说明）5. 视觉评测中“页面留白是否过多”有没有定量衡量标准？怎么样算是留白过多？6. AI转卡片项目已上线，最终结果是否符合你的预期？如果复盘，哪一个点你觉得当时可以做得更好？7. 语义配图标功能的全流程中，每个环节都在做什么？核心解决的问题是什么？8. 语义配图标功能的入口是不是常驻入口？你提到的“触发时机”具体指什么？9. 你们对接的是算法同学，还是算法那边的产品同学？10. 如果过来实习，你的时间要求是什么？大概能实习多久？现在给offer的话多久能到岗？11. 你现在手里有其他的offer吗？

1.上段实习面向的用户群体是什么2.怎么从建筑转向AI产品的3.过往实习中最有成就感的经历是什么4.实习中遇到过协作上的困难吗，怎么解决的?收获是什么?5.未来职业规划是什么6.对元宝有什么了解7.所以实习的期待是什么8.讲讲运营小红书的过程

1.怎么理解大模型产品策划岗位2.你认为你的优势是什么3.介绍你做模型训练的经验。怎么评价这个结果?召回率，置信度?用什么云平台?4.介绍上一段实习的产品，scope有多大5.如果让你重新做这个项目，你会怎么做6.未来职业规划怎么考虑7.人生中最大的挑战是什么8.有没有崇拜的人9.你目前做过最有成就感的事情是什么

1-深挖简历（针对于业务指标间的关系和模型调优的动作）2-说出你了解到的AI Agent的产品3-对比你觉得市场最好的AI产品和最不好的AI产品4-平时会关注一些AI或Agent方向的资讯吗？关注的渠道是什么？5-反问

1.自我介绍2.考察对ai产品/大语言模型的认知。3.LLM和NLP有什么关系?3.4.你接触过一些大语言模型吗?5.问了上一段实习，介绍项目+需求+解决方法。6.为什么要做产品经理?7.为什么本科学这个专业、研究生学另一个专业?8.产品经理需要什么特质?你和产品经理的适配度有哪些?9.打开了coze，让我和它对话设计上个实习中的产品，模块有哪些?10.开放性问题:如果你要开发一个产品，开发团队都觉得实现不了，市面上也没有可以参考的产品。你该怎么做?

1自我介绍 2简历深挖(非常深)3为什么想来Coze4你之前用过Coze吗?5详细介绍一下你用Coze做项目的过程6详细介绍一下你搭建Agent的过程7你最常用的AI产品是什么?(我回答的是Cursor和豆包)8说一下豆包在交互上的优点和缺点9说一下你用过的其他AI产品在交互上的优点和缺点10反问

1、实习介绍2、比如用大模型进行文学创作，东南亚一些用户的偏好是什么？3、你是通过哪些渠道了解到的呢？4、东南亚的弱网环境和我们的AI产品有什么关系呢？5、实习项目一介绍6、这个项目的核心交付物是什么？你觉得最考验的核心点是什么？7、实习项目二介绍8、有没有prompt工程或者Agent搭建以及Tools调用的经验？介绍一下9、如果给国内市场的AI产品做设计的话，你最想设计的功能是什么？

1、实习介绍2、说一下ChatGPT、Gemini、Claude的使用体验？3、针对海外用户做小规模用户调研，目标是优化现在产品的一些功能，你会怎么做？4、有没有针对不同文化背景的用户做过不同的调研？5、如果要做原型设计，有一个多语言设置页，你会放哪三个核心的功能？6、这个功能上线前后你会怎么去验收？7、什么样的功能需要做A/B test？8、写一个跨语言的prompt，比如从英文到本地语言再到英文的双向校对，你怎么去写一个比较稳定的prompt？9、你在学习或工作中去用prompt时，有没有多轮优化过这个提示词呢？10、你觉得prompt调优时最重要的一点是什么？11、有没有跨部门协作的经验分享？12、和合作团队出现意见不一致的时候，怎么推进？13、（英文能力考察)如果让你用英文写产品更新公告，比如通知中心的功能更新，你会怎么写？14、面对用户的负向反馈，你会怎么处理和复盘？15、针对岗位的要求，你觉得自己在哪个点上比较不足？

（一）简历深挖1. 请你先做一下自我介绍。2. 你上一段实习现在是结束了吗？3. 为什么不继续做下去了？4. 先介绍一下你在上一段实习的工作内容吧。5. 你们这个产品的目标用户是谁？你们的产品形态是什么？7. 说一下你们支持的几个核心能力，以及背后对应的算法或者 workflow 是什么样的？8. 你们是怎么评估这个效果的？9. 你们怎么判断这个素材好不好？10. 如果线上数据里发现有的素材表现好，有的不好，你们是怎么指导后续迭代的？（二）场景题1. 假设你是 TikTok Shop 的产品/运营角色，一个新商家入驻，没有短视频素材，你会如何借助 AI 帮他批量生成带货短视频？2. 投放后发现一批视频完播率和平均观看时长都很高，但 GMV 成交很低，你觉得可能的原因有哪些？你会怎么验证这些猜想？（三）拓展能力1. 你自己日常有去做一些 AI 相关的创作吗？2. 有没有比较好的作品可以举例？3. 你在运营账号的时候，内容策划是怎么做的？你一般怎么决定发哪些内容？4. 为什么你能获得比较好的互动数据或粉丝增长？你的内容或定位为什么会比别人好？（四）反问1. 业务详细介绍？2. 你觉得我进入这个岗位最大的挑战是什么？3. 你觉得我这场面试有什么不足的地方吗？

1.简单自我介绍2.简单介绍一下之前某段实习里做的某个项目相关的产品(之前做的都是互联网战略战投&金融投研)3.xx产品(某ai应用)具体的技术实现框架是怎样的?4.讲一个你研究过的ai产品5.如何通过ai优化抖音推荐流?或抖音中哪些功能模块可通过ai实现创新?6.具体如何实现产品迭代(根据上一问答案追问)，功能优化与技术实现路径?7.反问环节

1.介绍过往的实习具体内容2.追问过往实习经历(具体内容记不清了)3.传统RPA和AIRPA的区别反问:1.是不是类似于Comet的Assistant功能2.确定了一下技术实现手段是不是:llm+tool use

1.过往实习经历深挖内容分发策略怎么做的实习期间AI相关业务(怎么用的、解决了什么问题、效果如何)如何说服业务方按照自己的流程来2.解释一下什么是产品经理3.对AI产品经理的认知4.为什么想做应用层而不是模型层的PM-感觉模型层需要更强的技术背景，需要更多的与数据打交道，比如像pre training/sft/rl环节5.对最喜欢的一个产品功能做拆解与分析讲了一下X内置的grok详问了一下 自己vibe coding出的英语语法学习工具做这个工具是出于什么目的用了哪些AI应用，以及它们的使用体验和优劣势期间遇到了什么困难，如何解决的怎么把它部署到云端的有商业化的打算吗

1、自我介绍2、对这个岗位的一些基础工作职责有了解吗？3、简历深挖，持续追问，如何使用AI工具做数据的清洗和分析？是公司接了API能力后你们做了小工具，还是直接用的Web界面？4、有参与（大模型）本地化部署吗？本地部署后对于处理数据的结果，和之前用Web API、以及人工处理的结果，这三者之间有没有什么差异？5、如果说我们自己也做本地化部署，也有类似于可以接入模型底层能力的条件，你能不能实现让它去进行一些数据处理？持续进行场景追问；6、简单描述一下AI提示词的项目工作？你在这个工作当中你主要担任的角色是什么？7、它是通过什么样子的技术实现的？能够引导性地去对商家提问，并且把商家回复出来的比较专业的、商家视角的话术转成用户视角的？8、多人会话的这种模板是怎么导入的？是一个形式，还是说模型让它有一个学习的过程？模型的提示词复杂吗？9、针对AI幻觉的问题怎么理解？怎么降低幻觉率？还是说你们的解决方案就是扩充知识点？10、能不能就是当这个模型的问题超过你的知识范畴之后，不要硬回答，直接回答不知道？是否可以通过这种手段让它这个影响缩小？11、针对多轮追问是否可以通过优化提示词来解决？12、如果我想把面向用户的客服AI，能够实现多轮交互最终定位到用户真实诉求的能力，可以通过prompt实现吗？13、职业规划是什么？base地怎么考虑？

问题 1.为什么专业第一保研保了本校？2.介绍你在商汤做的平台产品。你在中间负责了什么？3.在这个项目中觉得使用模型出现了什么困难？（回答方向：通用模型在业务应用中的 weakness 和解决方法。）4.你自己的项目做 AI 素材生成，这个链路是怎么搭建的？（回答方向：用户内容需求，模型效果评估，使用技术方法，如何执行（llm+多模态+html））5.你如何保证成功率？（回答方向：影响因素有文本，模型，效果，技术分别如何解决）6.你对语言模型和图像模型在应用的产品方向上感觉有什么不同吗？（回答方向：评估体系维度不同；角色不同。语言模型做决策多模模型重生产）7.反问：团队的产品是什么？素材在广告场景投放，业务指标是什么？生成素材采用的方案？看中候选人什么能力？什么时候有反馈？

1. 介绍你的创业项目。2. 你的 AIGC 内容生产产品是有大客吗？有单子吗？你们怎么确定你们产品优先级？3. 目前 AIGC 图文生产的 pipline 很成熟了，你的核心差异是什么？回答方向：模型或者现有的 是工具，用户要的不是工具，也不是一个内容模板，而是一批可投入投放的。我们的提供差异是··4. 好，你们怎么去选择你们的模板？怎么爬取？会看哪些字段？如何定义高质量？5. 你作为产品如何选择这个内容类型？怎么去判定这个是有效的？你了解那种内容是转化率高的？你有什么 insight 吗？你从爬取的内容中抽象出什么策略呢？你们内容生产的策略是什么呢？6. 你们最核心的是哪个节点？哪里 badcase 最高？你是怎么解决的？你们这个就是套模板吗？你作为产品的核心价值是什么？7. 你如何给你的研发下这个需求？产品的责任是什么？我们调试 prompt 和流转策略，核心其实是两套 prompt8. 你们的评估标准是什么？离线的和在线的内容？Badcase 、良品排版、字符、画面一致性、间距等。9. 你在蓝标的这个项目，你AI 选达人和平台选达人的区别是什么？优势是什么？10. 你们的效果怎么评估？11. 你是做产品是吗（这个项目中）你们的数据知识库来源于哪里？12. 你新增的知识库如何与原有数据做匹配对应？13. 你这个内容解析的 pipline 是怎么做的？具体一点？14. 你这块的这个核心价值是什么？是有了一个标签指导体系吗？15. 聊点别的，你觉得你在蓝标做达人的时候，你觉得 AI 是赋能达人还是取代达人？——你聊了 UGC，PGC 和 AIGC 在未来的关系。16. 你做 AI 达人产品你的优先级是什么？你觉得在哪有更高的需求？

问题 1. 你在商汤的工作是偏算法还是偏产品？这个平台的核心定位是什么？2. 你提到这个平台，我理解他是类似于一个 XX 的平台，那既然在有（大厂）产品的情况下，你怎么看待商汤的这个产品的价值和定位？DAU 如何？3. 第二段：你在这个公司的底层数据集是如何构建的？是爬取还是什么？4. 你提到的这个品牌调性，不同品牌有不同的内容需求，当你去提取这个标签的时候，会用什么样的内容？5. 产品的评估指标是什么？如何定义这个指标？6. 你在腾讯这个项目，是一个什么产品？7. 浏览器产品你的产品生态定位是什么？对 DAU 的贡献是什么？反问：1. 快手内的这个部门的架构，为什么负责？2. 主要服务形态是什么？for 内部还是外部？3. 面试要聊几轮，后面还有多少流程？

问题 1. 看一下你的 AI 基础。介绍一下 transformer 基本原理？解释一下注意力机制？解释一下什么是扩散模型？2. 讲一下你对 agent 和 Workflow 的理解3. 你知道 lovart 吗？你认为他是 agent 还是 Workflow？你怎么判断的？4. 目前这种产品二次编辑能力很差，让你来设计这个二次编辑功能你会怎么做？subject agent 的设计思维考察（意图、环境、function）5. 聊点业务上的，目前广告产品已经有很多工具能力，生成素材、投放等工具，目前我们有两个策略：A-all in one ，B 让做多个产品。你支持什么策略？为什么？6. 好在你的理解上，以广告素材生成为例，我们不只做工具，如何证明这个功能/产品的商业价值？工具生成的内容 reward 如何衡量？7. 好的，想象一个场景。我们希望打造一个产品，用户做广告不再是过去哪个先建广告组、做素材、定目标···而是交给 agent，用户只需要输入商品和基本信息，其他交给 agent 去做。那在这个过程中，main agent 发出指令，subject agent 执行。如果 subject agent 认为需要再做一个素材，这个过程应该如何流转？这个关系你会如何思考设计？（有点小难）8. 你未来的规划？你的职业方向？反问1. 针对最后一个问题（agent 之间的关系和流程），您是怎么思考的？反馈是一个发散性的问题，看大家对于 agent 的理解规划。主要再看 agent 的需求和环境变量的关系。面试官说如何去看待 main agent 和 subject agent 的专业程度和功能复杂度。2. 您提到的这个 all in one 的产品，是未来的发展目标吗？反馈聊到 agent 再整个商业界的定义，帮助我个人把对于产品的视角从「解决某个具体场景效果」到「解决整个数字商业广告的问题」再到「技术完成新的产业形态」3. 您希望找到什么样的人？