大模型幻觉与人类认知偏差有哪些:搞混这两件事,改法就全拧了

模型与算力

把大模型的幻觉和人类认知偏差分开看,给出判断一条错误回答属于哪一类的对照标准,以及各自该在提示、检索、校验、流程哪个环节动手。

看到模型一本正经地编了个不存在的条款,很多人的第一反应是「模型又在幻觉」。但同一个错误,可能是模型编的,也可能是你自己被首因效应和确认偏误带过去了。这两件事混在一起,改法就会完全反向:一个要补检索和校验,一个要改你的提问和复核方式。这篇给一套能落地的判断顺序。

看到模型把一条不存在的条款讲得头头是道,很多人的第一反应是「又幻觉了」。但同一个错误,未必都是模型编出来的。有可能是它按语言惯性补了个像样的答案,也有可能是你读第一遍觉得顺、就没再追问。这两种情况混在一起谈,改法会正好相反:一个得去补检索和校验,一个得去改你提问和复核的动作。

这篇只干一件事:给一套能落地的判断顺序,让你拿到一条可疑回答时,先判断错在哪一侧,再决定往哪个环节使劲。判断标准会写清什么情况下不适用,别硬套。

先把两个词按「是谁出的错」分开

幻觉这个词的主体是模型。表现是输出和事实不符、和给定材料对不上,或者和它自己前文打架,而语气照样笃定。认知偏差的主体是你。表现是读到一段顺耳的回答就停止追问,或者只去找支持自己判断的那几条。前者是生成环节的问题,后者是审读环节的问题。

有个简单口诀可以先用:把同一段回答原封不动交给第二个人看。对方也觉得没毛病,错多半在模型;对方一眼挑出问题,那问题出在你这边的审读方式上。这个办法不完美,但比一上来就换模型靠谱。

  • 把回答复制给同事或另一个模型,只看它挑不挑得出事实错误,先不谈风格
  • 自己记录一下:读这段回答时,你是先找证据还是先找赞同
  • 如果第一反应是「这说得对」,先强制问一句「哪里可能不对」,再决定要不要采用
  • 主观偏好、创意写作、没有客观答案的建议,这套分类基本用不上,别硬套

模型这一侧的幻觉,按「错在哪一层」分四类

把模型幻觉当成一个笼统的词,改起来就很容易抓瞎。实际用下来,按错在哪一层拆开,处置动作差别很大。第一类是闭卷编造:问到训练里没有或者已经过时的内容,它不一定会说不知道,而是按语言惯性补一个像样的答案。这类问题加再多「请准确回答」的指令也压不住。

第二类是不忠于材料。你把文档贴进去了,它仍然改写、拼接、加码,答案读起来通顺,但和原文对不上。第三类是前后不一致,同一轮对话里两次给不同数字,或者自己推翻上一段结论,这类在多轮长对话里尤其常见。第四类最容易被当成真的:引用编号、链接、页码、函数名看起来规整,实际根本不存在。

幻觉类型典型表现优先动手的地方
闭卷编造问冷门或过时内容,答得完整但没有依据补检索、要求标注出处,别指望提示词根治
不忠于材料给了原文仍改写拼接,和原文对不上提示里限定只引用给定材料,答案逐条回溯
前后不一致同一轮对话两次数字不同,或自相矛盾拆成单轮问答,关键结论单独留存比对
格式性幻觉引用编号、链接、页码、函数名看着规整但不存在对这类字段做机械校验,不要靠人眼扫

这张表不是让你背分类,而是让你在出问题时能说清楚「错在哪一层」。说不清这一层,就容易在提示词上反复折腾,实际该补的是检索或者校验环节。

人这一侧的偏差,最容易在哪几个动作上冒出来

先说一个我自己踩过的:让两个模型答同一个问题,第一个答完我先入为主觉得有道理,第二个说得更准,我反而去找理由驳它。这就是锚定,先看到的那个答案把后面判断都带偏了。要破这个,顺序得反过来,先看可能被忽略的反面证据,再回头读第一个答案。

还有个常见动作是只搜支持自己结论的追问方式。你问「是不是这样」,模型就顺着你说;你问「这样有什么问题」,它才开始挑刺。同一件事,两种问法拿到的答案质量差很远。另外就是把流畅当正确:长句、术语多、结构工整的回答,被默认为更可信,可这三样和事实准确没有必然关系。

  • 先看反面证据,再读第一个答案,避免被锚定
  • 追问时用「有什么问题」「反方证据有哪些」,少用「是不是这样」
  • 把流畅度和可信度分开打分,格式好看不加分
  • 已经按某个答案改了代码或文档,别因为沉没成本就不肯回头核对
  • 给自己定个规矩:关键结论至少换一个问法重问一次,两次一致才采用

一条可疑回答,按这个顺序过一遍

下面这套顺序,是我建议的默认排查路径。它的好处是不用先争论「这算不算幻觉」,而是用动作把问题逼出来。四步走完,基本能定下该往哪边改。

  1. 先看有没有给材料给了原文还对不上,是忠实度问题,往提示和回溯查;没给材料就让它答,属于闭卷作答风险,先去补检索
  2. 换个问法重问一次换成「反方证据有哪些」「哪里可能不对」这类问法,两次答案打架说明这个知识点不稳,别急着采用
  3. 让第二个人或第二个模型复述只让它复述结论,不看你原来的措辞。复述走样,说明原答案里有你没注意到的跳跃
  4. 关键事实单独拎出来核对金额、条款、接口名这类字段,去站内资料页对一遍,别在对话里就地确认,模型会顺着你确认

这四步里,第三步最容易被跳过。大家习惯在同一个对话里追问「你确定吗」,模型往往会顺着你说确定,这等于没校验。换个主体复述,才看得出信息有没有在传递中变形。

提示这边能做的,比换模型便宜得多

如果判断下来是模型侧的问题,先别急着换模型。提示开头交代清楚「依据什么答、找不到就说不确定」,比事后追问有效得多。再进一步,要求逐条给出处,并且明确只许引用你给的材料,能压掉相当一部分不忠于材料的输出。这是性价比最高的动作。

另一个好用的做法是把长问题拆成两段:先只让它列事实,你核完,再让它下结论。混在一起问,事实和推断搅在一块,你很难分清哪句是查来的、哪句是推出来的。不过要注意,任务本身是发散创意或者开放式建议时,强制要出处反而会逼它编出处,这时候就别加这条约束。

流程这边该补的四个动作

提示能压住一部分,但压不住全部。真正决定出错代价的,是流程里有没有兜底。关键结论设一道人工复核,尤其是涉及金额、合规条款、对外发布的文案,这道关口省不得。不是不信任模型,是这类错误的代价不对称,错了很难收回。

再就是把校验做成固定环节,而不是想起来才做。同一批题在多个模型上跑一遍,答案分歧大的挑出来单独看,分歧本身就是信号。同时留存提问与回答记录,出错时能回看是哪个环节放进去的错,不然只能靠回忆。对高频问题维护一份标准答案库,让模型照着答而不是自由发挥,也能明显降错。

  • 关键结论设人工复核,金额、条款、对外文案优先
  • 同一批题多模型跑一遍,挑出分歧大的单独看
  • 留存提问与回答记录,出错能回溯到环节
  • 高频问题建标准答案库,减少自由发挥空间

什么时候别在这上面继续投入

有些情况继续追下去是浪费。问题本身没有唯一答案,比如「哪个模型更好用」,不同人给不同结论很正常,分歧不等于幻觉。还有一类错误其实来自你的输入:材料版本旧、表格贴错列、参数填错格,先回去查输入,别在模型身上找原因。

最后一种要认:已经确认是模型能力边界,比如长文档中段信息丢失,改提示救不回来。这时候该换处理方式,切块、分段喂、换任务拆解,而不是继续往提示里加更多指令。往里加指令只会让提示越来越长,效果不一定变好。

一句话收个尾:判断一条错误属于谁,比争论它叫什么更有用。分类是为了选动作,不是为了贴标签。

下一步如果你手上正好有一条拿不准的错误回答,先去站内模型资料页核对该模型的已知限制和适用场景,再对照中转站检测页确认服务状态,两边都排除掉,再决定是改提示还是改流程。

常见问题

模型答错一次,算幻觉还是算知识截止?

先看错误内容在不在它的训练范围里。问到某个明确发生过但你怀疑它没学到的事,先按知识截止处理,去站内查模型资料页确认覆盖范围;问的是常识、给定材料里的内容还答错,才按幻觉排查。

让模型自己检查一遍能减少幻觉吗?

能压掉一部分前后矛盾和格式性编造,但对闭卷编造作用有限,因为它检查时用的还是同一套知识。更稳的做法是换模型复述、或者把核对动作交给人或检索工具。

多人协作时怎么避免互相强化偏差?

把「谁先看」这件事打散:让两个人各自独立审同一段回答,写下问题再对照,而不是一个人看完说结论、另一个跟着点头。分歧清单比统一意见更有用。

有没有办法提前看出这段回答不能信?

有几条信号:数字和出处给得特别齐却经不起抽查、同一段里反复强调确定性、回答绕开你问的具体限制条件。出现这些就单独拎出关键句去核,别整段照单全收。

小团队没有专职审核,怎么用低成本顶上?

固定三条动作就够:涉及对外发布的结论必须两人过目;关键事实一定回到原始材料核对;每次出错记一行原因,按月看哪类错重复出现,再从提示或流程上补。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。