识度词典

AI幻觉是什么?为什么它讲错了还那么像真的

AI幻觉指的是模型在不知道答案时,按最像样的说法编出一个。讲清它是什么、什么场合最容易出现、企业能怎么减少。

有个做工程的老板,让 AI 帮他查一个招投标的规定,AI 答得又快又顺,连条款号都给了。他去翻原文——那份文件里根本没有这一条。这就是 AI幻觉:它不知道答案的时候,不会说「我不知道」,而是按最像样的说法编一个出来,语气比真话还笃定。

先把定义说清:AI幻觉指的是模型在缺少依据的情况下,仍然生成内容详实、格式规范、看起来可信的回答,包括编事实、编来源、编数字。企业里真正要防的不是它答不上来,是它答得太像真的。

它为什么会编?

理解这一点,防起来就有方向了:大模型本质上是按概率往下接话,不是先去查资料再回答。它的目标是「说得像」,不是「说得对」。所以有依据的时候它写得准,没依据的时候它照写不误——这两种情况,对使用者来说看起来一模一样。最容易中招的是四类内容:模型训练时没见过的,各方口径本来就不一致的,时间敏感的(政策、价格、标准),以及只存在于你公司内部的。拿这四类去问,答案要格外当心。

AI幻觉一般出在哪三种地方?

  • 编事实。把不存在的规定、案例、结论说得有模有样。这类最容易被当成真的转给客户。
  • 编来源。给出条款号、文件名、文献出处,看着能查,实际查不到。判断办法很土但有效:只信能在原文里点出来的引用。
  • 编数字。数值看着合理,口径和时间却对不上——比如把几年前的占比当成现在的说。

我们的判断:按后果排序,别按概率排序

防幻觉的资源是有限的,先防哪一类,不该看它多大可能出错,要看错了之后谁承担后果。我们的判断是这样一个顺序:对外承诺最要先防(报价、交期、合规口径,错了直接是钱和信誉);其次是法务与资质类(条款、资格、审批要求);再次是数字与口径(报表、指标、统计);内部草稿相对最安全(头脑风暴、初稿、翻译),错了改一下就好。同一句话,放在对外邮件里和放在内部笔记里,处理规格应该完全不同。

企业能做的四件事

不复杂,但要真的做:第一,先给资料再提问。把相关文件交给它,要求只在文件范围内回答,找不到就说找不到。第二,要出处。凡是结论,让它标出依据在哪一段;标不出的,按没有处理。第三,定复核人。哪一类输出必须由谁看过才能出门,提前写清楚,别等出事再补。第四,高风险问法先禁。涉及金额、承诺、法务的问题,直接规定不由 AI 单独回答。

AI幻觉最危险的地方不是它答错了,是它答错的时候,看上去和答对没有区别。

常见问题

AI幻觉是什么意思?

指 AI 在缺少依据时生成看似可信的内容,包括编事实、编来源、编数字。它不是说错一个字,而是整段答案都建立在虚构的依据上。

哪些情况下最容易出现?

四类:训练数据里没有的、各方口径不一致的、时间敏感的(政策、价格、标准)、只存在于你公司内部的。越具体、越私有的问题,越要先给资料。

怎么避免 AI 幻觉?

做不到完全避免,但可以压到可接受:先给资料限定范围、要求标出处、关键结论回到原文做事实核查、高风险问题交人工复核。这四条比换模型更管用。

网上那些「幻觉率排名」可信吗?

看看可以,别当依据。不同榜单的测试题、口径、时间都不同,横向比没有意义,也不能代表你自己业务里的表现。要判断准不准,拿自己的真实问题测一轮更实在——可以用识度的《AI 落地三问自查》把「怎么算有效、谁兜底」先定下来:打开自查清单。

如果您正准备把 AI 用在对外沟通或数据环节,又不确定哪些地方必须留人复核,欢迎预约一次适配沟通:我们按您的真实流程,把该设的检查点先划出来。

相关阅读:AI出错怎么办?上线前先定好三件事|AI智能体是什么?|识度的自检工具

预约一次适配沟通
← 返回识度词典