面试官问“为什么大模型会出现幻觉？”怎么回答

很多人被问到这个问题时，第一反应是：

“因为大模型本质上是概率模型。”

这句话不能说错，因为在别的题目场景下，这句话可以作为引用证明试用，但在这个问题下肯定远远不够。面试官往往会继续追问一句：

“概率模型怎么了？概率模型就一定会编吗？”

如果你答不上来，那这一题基本就丢分了。

1：模型从一开始就不是为了“说真话”

大模型的训练目标其实很简单：预测下一个最可能的Token。但关键在于，这个目标和“说真话”并不是一回事。

在训练过程中，模型从来没有被明确区分过“这句话是真的”还是“这句话是编的”。它学到的只是：在某种上下文下，什么词最有可能出现。因此，它掌握的是语言的统计规律，而不是对世界的真实建模。

这就带来一个很关键的后果：大多数情况下，“说得通”的内容确实也往往是“对的”，所以模型看起来像是在讲事实。但一旦“说得通”和“说得对”发生冲突，模型几乎一定会选择前者——因为它的目标函数就是这么定义的。

2：它不知道自己不知道

人类在面对不确定问题时，会有一种“元认知”：知道自己不确定，从而说“我不太清楚”。但大模型没有这个能力。

它的生成过程本质上是连续往下预测Token，并没有一个内部机制可以判断“这里应该停下来，我没把握”。于是结果就是——无论有没有相关知识，它都会给出一个看起来完整、甚至很自信的答案。

某种程度上，可以把它类比成考试时每道题都写满的学生：并不是每道题都会，而是不允许自己留空。

3：错误会在推理过程中不断放大

训练阶段和推理阶段其实是不一样的。训练时用的是“teacher forcing”，也就是每一步都喂给模型真实的上下文；但在实际生成时，模型只能依赖自己刚刚生成的内容。

这就会带来一个典型问题：一旦某一步出现了轻微偏差，这个偏差就会进入上下文，成为后续生成的基础。接下来模型在“错误的前提”上继续生成，偏差会像滚雪球一样越来越大。

所以你会发现一个很常见的现象：

回答越长，越容易在后半段出现幻觉。因为前面的小偏差，已经被不断放大了。

4：模型其实是在“压缩世界知识”

从规模上看，这个问题更直观。一个几十B参数的模型，参数量大约是百GB级别，但它训练的数据可能是几十TB的文本。

本质上，这是一个极端的压缩过程：用有限参数去“记住”海量知识。

结果就是，模型不可能存储所有细节，它只能保留统计模式和高频结构。当你问到一些低频、细节性很强的问题，比如某篇论文的具体实验数值，模型往往没有精确记忆，只能基于已有模式补一个“看起来合理”的答案。

而这种“合理补全”，就是幻觉的重要来源之一。

5：即使模型“知道”，也不一定能“取出来”

还有一个经常被忽略的问题：有些知识其实已经在模型参数里，但在推理时没有被正确调出来。

原因在于Transformer的注意力机制，本质上是一种模糊检索，而不是精确查找。它通过相似度来决定关注什么信息，这种机制在很多情况下有效，但并不稳定。

当问题表达方式和训练数据差异较大，或者上下文很长时，注意力可能会对错位置，甚至完全没对准关键信息。于是就出现一种情况：模型“本来知道答案”，但因为没取对，还是生成了错误内容。

6：也是很多人忽略的：对齐训练的副作用

经过RLHF或其他对齐训练之后，模型会变得更乐于多说点啥。这当然是好事，但它也改变了模型的行为倾向。

简单来说，模型会更倾向于：

• 给出完整回答
• 避免说“我不知道”

于是，在“不确定”和“不回答”之间，它往往会选择给一个听起来合理的答案。哪怕这个答案并不真实。

可以理解为，对齐训练在一定程度上强化了这样一种偏好：

“不给答案是不好的。”

虽然现在很多方法在抑制这种行为，但它依然是幻觉的重要来源之一。

总结：幻觉是“系统性问题”，不是单点原因

把这些因素放在一起看，其实就很清楚了。大模型产生幻觉，并不是某一个设计缺陷，而是多种机制叠加的结果：

• 训练目标本身不追求真实性
• 模型缺乏“不确定性意识”
• 推理过程中误差会累积放大
• 参数压缩导致细节信息丢失
• 注意力检索不稳定
• 对齐训练强化“必须给答案”的倾向

面试时可以这样收尾

如果是在面试中，可以用一段更结构化的话总结：

大模型产生幻觉的根本原因在于它的训练目标是next token prediction，而不是factual generation，因此没有显式的真实性约束。在此基础上，推理阶段的误差累积、参数压缩带来的信息损失、注意力检索的不精确，以及对齐训练带来的“倾向于给答案”的行为，共同放大了幻觉问题。