校对一份AI写的报告、收到同事口头转述的数据、或者审核一段来路不明的文案时,最难的往往不是发现有问题,而是搞清楚问题出在哪一方:是模型在猜,还是人记混了。这两类错误的成因不同,补救办法也完全相反——按人的思路去改机器输出,越改越乱。这篇给一套对照判断标准和落地处置顺序,顺带说明哪些情况下这套判断不适用。
校对一份AI写的报告、收到同事口头转述的数据、或者审核一段来路不明的文案时,最难的往往不是发现有问题,而是搞清楚问题出在哪一方:是模型在猜,还是人记混了。这两类错误的成因不同,补救办法也完全相反——按人的思路去改机器输出,越改越乱,因为机器错的不是某一句话,而是整个生成机制。
这篇把两边的出错机制放在一起对照,给一套能直接拿去用的判断顺序和处置动作,顺带说清楚哪些情况下这套判断不适用。你不需要记住什么理论,只需要在拿到一段内容时知道先看什么、后看什么、找谁负责。
两套完全不同的「出错机制」
AI幻觉的底层是概率续写:模型按上下文和训练分布挑最像的下一个词,过程中没有事实核对环节。所以它错得「很顺」,语句通顺、格式工整、该有编号的地方有编号,这恰恰是最危险的信号——形式上的完整会让人误以为内容经过校验。人类幻觉则多是记忆重构、注意力漏看、转述中信息损耗,错得往往「不顺」,会有前后矛盾、细节对不上、说话人自己也不确定。
- 概率续写
- 按上下文挑最像的下一个词,而不是先查事实再写
- 记忆重构
- 人回忆时把碎片重新拼起来,拼的过程中会补进没发生过的东西
- 信息损耗
- 每转述一手,细节就掉一层,数字和条件最先走样
- 稳定性测试
- 同一问题换问法再问一遍,看关键事实会不会漂移
一个实用的分辨口子:追问细节出处。机器编的内容一旦被要求给具体来源,容易换一套说法继续编,因为它是在续写「像出处的东西」;人记错的内容被追问,常出现停顿、自我修正或「我记不清了」。前者越问越顺,后者越问越虚,这个反差比内容本身更能说明问题。
拿到一段内容,按这个顺序判
判断要按固定顺序走,不要一上来就逐句抠字。先分层,再找可验证点,最后做稳定性测试,每一步都留下记录。顺序错了容易把一个流程问题误判成模型问题,追责追到错的人身上。
- 第一步:看格式外衣编号、日期栏、引文标注齐全但内容经不起查,优先怀疑机器生成;格式杂乱、口语夹叙、有明显个人表达习惯的,先按人误处理。这一步只定方向,不下结论。
- 第二步:抓可验证点拆出三到五个能独立核对的硬事实,比如人名、机构、条文、数值区间,逐个去原始出处对。不要只在同一来源里互相比对,那等于用一份可能错的材料验证它自己。
- 第三步:做稳定性测试同一问题隔一段时间换个问法再问一遍,回答关键事实漂移的,基本可判定为模型在猜;两次回答高度一致但都查不到出处的,更可能是背下来的常见错误说法。
- 第四步:归因分类把错误分成「源头输入错」「生成时编造」「转述时损耗」三类,分别记下证据。不同类别的责任人和修法不一样,别混在一起追责。
| 观察到的现象 | 更可能是哪一方 | 下一步动作 |
|---|---|---|
| 格式完整但内容查不到出处 | 模型生成时编造 | 要求给可核对来源,给不出就标为待核 |
| 前后矛盾、细节对不上、说话人犹豫 | 人记忆或转述出错 | 回到原始表单或第一手材料重核 |
| 换问法后关键事实漂移 | 模型在猜 | 补约束条件,限制回答范围 |
| 两次回答一致但都无出处 | 输入资料本身有问题 | 先查资料源头,再谈模型表现 |
| 数字对但单位、口径不对 | 流程或转述损耗 | 统一口径,指定唯一信息源头 |
这张表只是把判断方向摆出来,不是结论。真正定性的永远是原始出处的核对结果,表格只帮你决定先查哪里、找谁问。拿不准的时候,多花十分钟查源头,比在转述链条上反复讨论有效。
按类型处置:改流程,而不是逐句改字
发现是机器编的,逐字修改意义不大——你改完这一句,下一段它照样编。正确的做法是补约束:限定回答范围、要求给出可核对出处、无法确认时必须明确说不知道,再把对外发布类的高风险输出接到人工复核环节。发现是人转述错的,重点是把口头信息改成书面留痕,指定一个信息源头,重要数字以原始表单为准。
- 机器编造类:先补提示约束和「不确定要说出来」的规则,再考虑人工复核,不要只改单句
- 人类转述类:口头信息书面留痕,指定唯一源头,二手转述不进入决策材料
- 团队层面:同一类任务固定用同一套核对清单,写清谁核、核到哪一层,事后才能复盘是模型问题还是流程问题
- 成本控制:只有对外发布、涉及钱和合规、会被拿去做决策的内容走全流程,其余抽样即可
- 记录留存:每轮核对留下核对点和结论,同类内容下次直接套用
成本这块要现实一点。不是所有输出都值得全套核对,把力气花在会被别人当依据的内容上。至于值不值得多花这一步,可以到 站内 /tools/speed-test 这类工具页面先摸清自己常用模型的实际表现,再决定核对的密度;具体数字以页面当时展示为准。
把判断沉淀成可查的口径
单次判断做完就完了,真正省事的是把口径沉淀下来。团队里最容易出的岔子不是没人核,而是每个人核的标准不一样:有人只看格式,有人只对数字,有人觉得「看着像真的」就放过。统一口径比多做几次核对更管用。
术语先对齐:模型侧的造词容易和日常说法混淆,遇到不认识的概念到站内词典类页面确认,别凭印象理解。核对数据类结论时,以站内明确标注了来源与检测方式的页面为准,避免拿二手转述当依据。具体数值请到 站内 /rankings 核对当时的数字,别拿截图或聊天记录当准。
- 遇到不认识的术语,先查站内词典类页面,不凭印象猜
- 数据类结论以标注了来源和检测方式的页面为准
- 每轮核对后记录核对点、结论和责任人
- 同类内容下次直接套用上次的清单,不重新发明标准
- 口径变更时同步通知团队,避免新旧标准混用
机器错得顺,人错得虚;看顺不顺只能定方向,查出出处才能定性质。下一步想对照各家模型在事实类问题上的实际表现,可以到价格与模型资料库看看收录口径;把这份判断标准配着实际数据用,比空对空讨论靠谱。→
常见问题
AI幻觉和人类幻觉是不是一回事,只是主体不同?
不是。AI幻觉是统计续写的副产品,没有意图也不存在「记错」;人类幻觉多和记忆、注意、转述有关,本人通常有真实的相信感。成因不同导致补救相反:前者要改提示和流程约束,后者要改信息留痕和复核机制。
怎么快速判断一段内容是不是AI编的?
抓三到五个能独立核对的硬事实去原始出处验证,再隔段时间换个问法复问同一问题,看关键事实是否漂移。语句过于工整、来源标注齐全却查不到、复问后细节变化大,这三条同时出现时基本可以判定。反过来,如果内容本身来自可靠原始材料,只是格式乱,不该按AI幻觉处理。
发现幻觉内容之后,先改内容还是先改流程?
先改流程。逐句修正只能救这一次,同类错误下次照样出现;把来源约束、复核环节、留痕要求定下来,才能把重复错误压下去。只有当内容已经对外发布并且造成影响时,才需要先处理内容、同步补救,再回头补流程。