搜「ai幻觉」「大模型幻觉注意事项」的人,多半已经被坑过一次:模型给了个看着很稳的答案,拿去用才发现数字、法条、引用全是编的。也有人反过来,一句实话也不敢信,把能用的能力浪费掉了。这篇不聊玄学,只讲怎么从回答的样子判断风险高低,以及在提问、复核、兜底三个环节具体该做哪几步。
搜这个词的人,基本都吃过一次亏。模型给了个特别稳的答案,口吻笃定、结构整齐,你拿去用,回头才发现数字是凑的、引用根本不存在、条例编号对不上。也有另一种人,被坑过一次之后什么都不信了,本来能省下的活儿全自己干,等于把工具废了。
这篇不讨论模型为什么会产生幻觉,那玩意儿你也改不了。只说三件能动手的事:怎么从回答的样子判断哪块最危险,提问时怎么把风险压下去,以及流程上怎么兜住——让它错了也不至于把事搞砸。
先分清:哪些是幻觉,哪些只是你不满意
判断标准就一句:说得像真的,但事实上不成立。答得浅、语气生硬、风格不合你口味,这些都不算幻觉。把「不好用」和「说假话」混在一起,会让你在错误的地方使劲——比如反复调提示词去改语气,真正该查的数字反而没人管。
| 类型 | 长什么样 | 怎么复核 |
|---|---|---|
| 编事实 | 人名、数字、条例条款号、机构名称 | 去原始文件或权威来源逐个对,没法对上的直接删 |
| 编来源 | 链接、论文标题、书名、页码 | 点开或检索,找不到就一律视为不存在 |
| 编过程 | 步骤看着合理,中间跳了一步或因果接反 | 自己按步骤走一遍,看卡在哪一步 |
还有一种要单独拎出来:知识截止导致的硬答。它不知道某件事,但被问到了,就顺着编。这跟主动编造在成因上不一样,缓解手段也不一样——喂材料、说明时间范围能解决大部分;真编造的那部分只能靠校验。
看到这几处,先别急着用
有些回答天生就带着风险信号。你不用逐字读完,扫一眼就能筛掉一批。最典型的是细节突然变密:精确到小数点的数字、带卷号页码的出处、看着特别规整的编号体系。人写东西反而不会这么齐。这种地方抽查一下,命中率很高。
- 前后对不上:同一段里两次提到的口径不一致,或者跟你刚给它的材料自相矛盾
- 什么条件都成立:不给前提、不留例外的说法,在真实业务问题里几乎不存在
- 你手头没有材料能核对:这部分按不可信用处理,先放着,别让它进下游
- 把格式当成了准确性:写成表格、列成要点,只会让编造显得更整齐,不会让内容变准
说白了,越是那种「读起来特别顺、你完全挑不出毛病」的段落,越值得停下来对一眼。真正基于材料的回答,通常会带点笨拙——它会引用你给的原话,会在边界上说「这里材料里没写」。
提问这一步能压掉一半幻觉
- 把边界写进指令明确写清必须出现什么、绝不能出现什么、没有就说没有。这比反复叮嘱「不要编造」有效得多,后者模型只会换个说法继续编。
- 先给材料再提问让它基于你贴的段落回答,并要求对照原文。没有任何材料的开放问答,风险最高,能避就避。
- 允许它说不知道要求把不确定的地方单独标出来。客服问答、内部知识检索这类场景,这一条收益最明显。
- 验证方式同一段材料换个问法再问一次,看两次在事实层面是否一致。不一致的先别信。
还有个常见误判:以为把输出格式规定死,内容就会跟着变准。不会。格式约束管的是形状,事实得靠材料和校验。我见过有人把「请用 JSON 输出」写进提示词,然后默认内容可靠了,结果字段名对了,字段值全是凑的。
复核怎么做才不被工作量拖死
全查不现实,不查又不敢用。折中办法是按用途分级:对外发布、进合同、进报表的内容,核心事实必须全查;内部草稿、自己看的分析,抽查就够。这个分级要提前定好,别等出事了再吵该谁查。
查什么也有讲究。只查「会被人抓」的字段:金额、日期、法规编号、专有名词、对外承诺。其余先放过。你不可能把一篇三千字的稿子逐句核实,但把这三五类字段挑出来对一遍,成本可控,收益也最大。
- 交叉验证:换一个模型或换一份资料重问同一件事,两边对不上就人工查
- 留痕:核对过的内容做个标记,改稿时只重查改动的那几段
- 记录误判:哪类问题反复出错,记下来,回头改提示词而不是每次现场救火
具体到某个模型在事实性上的表现,站内有过整理,但那些数字会变,别记结论,去 /rankings 核对当时的数字更靠谱。
兜底:让它错了也不至于出事
前面两步都是降概率,兜底才是保命。核心思路是别让模型的输出直接变成动作。在应用里加一层输出校验:要求返回固定字段,字段缺失、格式不对、关键项为空,直接拦掉,不进下游流程。这层校验不聪明,但管用。
高风险动作一律改成「生成草稿+人工确认」。发消息、改配置、下单、提交表单,这类事让模型准备好、人点确认,多一步点击,少一堆事故。面向用户的回答,加来源提示和反馈入口,把用户报的错捞回来,拿去做提示词迭代。
接了知识库还是编,问题常在哪
很多人第一反应是模型不行,其实多数问题出在检索。先查检索有没有真的命中:检索为空的时候,模型很容易自由发挥。做法是把「没检索到」透传成一句明确提示,而不是让它自己圆场。
再查引用对不对。要求回答带上原文片段,肉眼对一遍,比看它复述结论可靠得多。材料本身有冲突或者过期,模型会挑一个说得顺的用——这是数据问题,不是模型问题,改提示词没用。
判断标准很朴素:同一个问题问三次,答案在事实层面稳不稳定。不稳定就先别接进正式流程,哪怕它读起来很漂亮。
出问题时的排查顺序
出问题别一上来就换模型、加预算。按顺序走,多数情况在前两步就能定位。
- 查材料有没有喂进去看检索结果、上下文拼接、是否超长被截断。这一步能捞出一大半问题。
- 查材料里到底有没有这条信息材料本身没写,模型只能编。补材料比调提示词有用。
- 查指令是不是逼它必须回答「必须给出答案」这类要求会直接催生编造,改成允许说不知道再试一次。
- 最后才怀疑模型同一个问题换模型对照,只有它错才归到模型。到这一步再考虑换,成本才花得值。
这套顺序的价值在于省时间。我见过团队为了一个数字对不上,折腾了半天模型选型,最后发现是检索那一步把文档切碎了,关键段落根本没进上下文。先看管道,再看模型。
下一步想对照各家中转在实际使用中的稳定性表现,去站内导航页看当时的检测记录和价格追踪,别凭一次体验下结论。→常见问题
幻觉能彻底消除吗?
不能。模型本质是预测下一个词,它没有「知道自己不知道」的可靠开关。能做到的是把概率压下去、把出错后的影响兜住:喂准材料、允许说不知道、关键字段人工核、高风险动作加确认。把这四件事做到位,日常业务基本够用。
换更强的模型是不是就不用管了?
不是。强模型在难题上表现更好,但编事实、编引用这类问题依然存在,而且因为写得更像真的,反而更难被发现。换模型可以降低频率,复核和兜底的流程该留还得留。
接了知识库为什么还会编?
最常见的是检索没命中,模型拿不到材料就自己发挥。其次是材料里本来没有这条信息,或者几份材料互相矛盾。先确认检索结果和引用片段能不能对上,再去怀疑模型。
怎么快速判断一条回答值不值得信?
看三处:有没有你没法核实的精确细节,前后说法是否一致,以及它敢不敢说「不知道」。三处都过关的,抽查核心字段即可;有一处踩线的,按不可信处理,先拿原始材料对一遍。
内部用的场景也要这么严吗?
按后果分级。内部草稿、头脑风暴不用卡太死,抽查就行;会进报表、进合同、对外发布或触发实际动作的,必须核关键字段并留人工确认这一步。一刀切全查会拖垮效率,一刀切全信迟早出事。