AI幻觉和人类幻觉避坑,先分清是哪一边在编

安全与风控

把AI幻觉和人类幻觉避坑拆成可执行的判断与排查:先分清编造还是记错,再决定是改提示、加核对还是换人复核。

搜「AI幻觉和人类幻觉避坑」的人,多半刚被模型给过一段听着很顺、一查全是错的答案,或者团队里有人把模型的输出当成事实转了出去。这篇不讲模型原理,只给一套能照着走的判断顺序:先定性这是编造还是记错,再决定查什么、改什么、谁来签字。

搜「AI幻觉和人类幻觉避坑」的人,多半刚被模型给过一段听着很顺、一查全是错的答案,或者团队里有人把模型的输出当成事实转了出去。这篇不讲模型原理,只给一套能照着走的判断顺序:先定性这是编造还是记错,再决定查什么、改什么、谁来签字。

说白了,这两件事长得很像,处理办法却完全相反。编造得靠核对和加限定,记错得靠追问和纠正本人。你要是没分清就动手,常常是提示词改了八遍、模型也换了两家,问题还出在同一个地方。下面按「先定性、再排序、补人工、贴清单」的顺序讲。

先分清是编造还是记错,处理办法完全不同

模型编造出来的东西有个很明显的壳:格式规整、术语齐全、细节具体得像真事,可你一查出处就查不到。更省事的判断法是把同一个问题换个问法再问一遍,看它第二次是不是换了一套说法。两次都信誓旦旦、细节却对不上,基本可以按编造处理。

人记错是另一回事。结论往往大致对,漂移的是时间、数字、人名这类细节。你追问一句「这个数从哪来的」,对方翻一下记录能自己改回来,那就不用上核对流程,提醒他下回带出处就行。反过来,人要是被模型喂了一段带壳的内容再去转述,他就成了二道贩子,这时候追他本人也没用,得回去查模型那一层。

两类混在一起怎么办?看这段内容最终被谁用。对外发布、投给客户、进合同的,一律按编造处理,宁可多核一遍。内部讨论、草稿、给自己看的思路整理,按记错处理就行,抓大放小。这个口径不适用于已经发出去要追责的文稿,那种只能倒回去逐个事实复盘。

卡住的时候按这个顺序查,别一上来就换模型

很多人一出错第一反应是「这模型不行,换一个」。换完发现新模型也犯类似的错,时间全花在换来换去上。实际排查应该从输入往输出走,先看自己有没有把话说清楚,再看错在哪一句,最后才轮到换工具。

  1. 回到原始输入翻出你当时发的那段提示,看有没有交代清楚给谁看、要多长、哪些不能出现。这三件事缺一件,模型就只能自己猜,猜错的比例自然高。
  2. 定位出错的那一句别整段打回重写。标出具体是事实错了、数字错了还是引用错了,只改这一处。整段重写会把原本对的部分也搅乱,下一轮更难查。
  3. 换问法重问同一件事同一个事实换一种提法再问一次,把两次答案不一致的地方圈出来,那就是高风险区,后面人工核对优先盯这几处。
  4. 最后才换模型或换渠道前面三步都做了还出错,再考虑换。判断不同渠道的稳定性可以到 /tools/quality-check 对照当时的检测记录,别凭一次体验下结论。

人这一侧的漏,多半出在转述环节

模型说对了,人复述一遍再发出去,中间那层转述最容易把限定条件丢掉。原话里带着「在某种条件下」「以某个前提为准」,转述时被压缩成一句干脆的结论,读者拿到的就是另一个意思了。这事儿麻烦在人自己意识不到,因为他确实觉得「我照着说的」。

我建议对外文稿留一道人工签字,签字的人必须自己核过关键数字和专有名词,不能只看「读起来顺不顺」。签字不是走形式,是让一个人对这段内容负实际责任,出了问题找得到人。一家 5 人小团队也照样能做,指定一个人固定签,比人人都签、最后没人签要管用。

另外团队里最好有一份禁发清单,写清哪些内容不进模型、哪些输出不直接对外。比如客户名单、未公开的报价、内部人事信息,这类东西连试都别试。清单不用长,一页纸够了,关键是新人也看得懂、照着能做。

一份能贴到墙上的核对清单

下面这张表按内容类型分,每一类写清核什么、怎么核、核不过怎么办。贴在工位旁边,发稿前扫一眼,比记一堆原则实用。

内容类型核什么怎么核核不过怎么办
数字类金额、比例、期限逐个回原始文件对照,不认任何复述对不上就删掉数字,改成定性描述
引用类书名、条文、链接必须能当场打开出处打不开的直接删,不留悬空引用
承诺类效果、时限、责任人工逐句改写,模型原文不用拿不准就交给负责人定稿
身份类人名、机构名、产品名逐字核对拼写拼不准就查官方页面再写

这张表也有不适用的时候。纯创意写作、头脑风暴、给自己看的草稿,不用逐条走,走完反而把思路卡死了。它的用途是对外内容和有事实风险的内容,别拿它去管每一句话。

还有一条值得记住:模型给的答案越顺、越像成稿,越要多看一眼出处。那种磕磕巴巴、自己承认不确定的回答,反倒常常是它老实的时候。

分不清是编造还是记错,就不要急着改提示或换模型,先把出错的那一句圈出来。
下一步想知道不同渠道在事实类问题上的稳定表现,可以到站内的可信度检测页看当时的记录,再决定你手上这条链路要不要调整。

常见问题

模型说得特别笃定,是不是就更可信?

不是。语气和准确率没有关系,编造出来的内容往往比真话更整齐。判断只看能不能找到出处,找不到就按待核实处理,别因为句子顺就放过。

两次问同一个问题答案不一样,说明什么?

说明这块知识模型本身不稳定,属于高风险区。做法是把两次答案的差异点列出来,逐个回原始资料核对,差异点就是你要重点盯的地方。

用外挂知识库能彻底解决吗?

能降低编造比例,但不能清零。检索到的片段本身可能是旧的或错的,模型仍可能把不相关的内容拼上去。知识库只解决来源问题,核对这一步还得人做。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。