AI幻觉和人类幻觉原理:两套出错机制,别用同一套办法修

安全与风控

把AI幻觉和人类幻觉的出错原理分开讲,给一套判断某次出错属于哪一类、该从哪一层去修的对照标准和动作。

搜「AI幻觉和人类幻觉原理」的人,多半是碰上了一次说不清责任的错:模型给了个看着挺像的答案,或者同事记错了一件事,两边都被叫「幻觉」。这俩其实不是一回事。这篇把两套出错机制拆开,给一份对照标准和排查顺序,看完能判断眼前这次错该往哪修,也能知道自己什么时候不该拿「人类也会犯错」给模型开脱。

搜这个词的人,多半是刚碰上一次说不清责任的错:模型给了一段看着挺顺的答案,或者同事把某件事记串了,两件事都被叫做「幻觉」,可处理起来完全不是一个路子。如果分不清是哪一类,接下来做的事基本会白费——给同事反复追问,或者干脆换个更贵的模型,结果都没变。

这篇把两套出错机制拆开讲,给一份能直接拿去用的判断标准和排查顺序。看完至少能回答两个问题:眼前这次错该往哪一层修,以及什么时候不该拿「人也会记错」给模型开脱。

先分清:一个在补概率,一个在补记忆

AI那边,模型每一步只是在猜下一个最可能的词,能约束它的只有训练分布和当前的上下文。它没有一个默认的「我不确定」出口,所以当上下文里缺东西时,它不会停下来,而是顺着语言的惯性把句子补完,补出来的东西读起来特别通顺。

人这边不一样。人出错多发生在知觉和记忆环节:大脑拿已有经验去填缺失的那块,填完自己还挺信。比如开会时谁提了一嘴「这个功能之前测过」,两轮之后就成了确定的事实。同样是编,一个是在生成层面填空,一个是在感知层面补全,落到表现上都像「编得很顺」,这是两者最容易被混为一谈的地方。

判断口径很简单:换个问法就变答案的,更像AI侧;隔天再问还是同一套说法的,更像人侧的记忆固化。

三条判断线,用来定位该修哪一层

  • 看来源:答案里有没有具体到能核对的东西,比如链接、字段名、章节号。AI幻觉常表现为结构对、内容假,人能核对到的细节反而可能是对的
  • 看稳定性:同一个问题隔几个小时问三次,AI幻觉的答案会漂,人记错的那件事往往稳定复现
  • 看纠正成本:给AI补一段上下文或换成检索,往往当场就好;人的记忆偏差再问一遍没用,得把原始材料摊在桌上对
  • 三条里中两条以上偏AI侧,就先别去改流程、改人;反过来也别急着换模型
观察项偏AI侧的表现偏人侧的表现
换个问法重问答案跟着变,细节对不上说法基本固定,越问越肯定
核对具体字段结构模板对,填充内容是假的大致框架记错,个别细节反而准
补材料后贴上原文通常立刻改善补多少材料都还得本人重新想
错误扩散同一份错误会原样进到每个下游文档只在当事人的判断里,写下来才扩散

定位完再动手:三个层次,顺序别乱

层次顺序错了,最容易出现的症状是:一上来就换更贵的模型,问题照旧。因为输入里那个含糊的问法根本没变,换谁都得靠猜。先修输入,再修出口,最后才轮到换模型或加检索。

  1. 修输入把「给谁看、要多长、不能出现什么」写进开头,把可核对的材料整段贴进上下文,别让模型自己去回忆。改完拿同一个问题连问三次,看答案还漂不漂。
  2. 修出口要求关键结论后面标出处,给不出出处就说明不知道。这一条得写进提示词,不是事后追问——事后追问时模型会继续编一个出处给你。
  3. 最后才换模型加检索前两步都做完还错,再考虑换模型或接检索。换完用同一批问题回归一遍,不然你不知道是改善了还是换了个错法。
  4. 硬信息不走模型涉及价格、法规条文、模型版本这类硬信息,正确做法是根本不指望模型记,一律到站内对应页面核对当时的数字。

什么情况下这套顺序不适用:如果错的本身就是你要的结论方向,比如让它做取舍判断,那没法靠贴材料修,只能换成人工复核。别把所有错都塞进同一个修补流程里。

两种常见误判,别踩

第一种,拿「人也会记错」给模型开脱。人的幻觉有责任主体,说错了能追到人、能改流程;模型的错会原样复制到每一份下游文档里,量级完全不一样。这话听着宽容,实际是把风险摊平了。

第二种反过来,把人的判断失误也归成AI幻觉。团队里有人凭印象报了个数,这不是生成机制的问题,是流程里缺了二次核对。用「幻觉」这个词去描述它,会让真正的修补动作被跳过。

能落地的做法是在出错记录里加一列「是否可复现」。能稳定复现的,多半是流程或材料的问题,进流程清单;不能复现、换个问法就变的,先去查上下文和检索配置,别急着怪模型能力。

下一步手上的错分完类,再去核对具体数字和各家模型的实际情况,站内价格与模型资料库能直接对照当时的记录,比自己凭印象判断靠谱。

常见问题

AI幻觉和人类幻觉,哪个更难发现?

AI的更难。人记错通常会被旁人当场纠正,AI的输出是一整段通顺文字,错的那一句混在九句对的里面,读的人容易顺着往下信。所以核对要盯具体字段,不要通读判断「感觉对不对」。

模型说「我不确定」就说明没幻觉吗?

不一定。模型的不确定表述也可能是学来的句式,不等于它真的做了校验。靠谱的做法是要求给可核对出处,拿出处去原始页面验一遍,而不是看它语气犹不犹豫。

团队里怎么快速区分是人错了还是模型错了?

让当事人和模型各自把依据写出来,对原始材料。依据缺失或对不上的那一方就是问题源。这一步比争论「谁更可信」有用,也顺手留下了一次可复用的核对记录。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。