稿子里的错数字,到底是模型编的,还是人传错的?这两件事混在一起查,往往改了半天没改到点上。这篇给一套判断顺序:先看错误能不能被复现、来源是谁、在哪一步进入材料,再决定是换提示、补资料还是追人的环节。也写清哪些情况下这套判断不适用。
稿子里冒出个错数字,第一反应往往是「模型又编了」。但实际排查下来,相当一部分错不是模型编的,是人自己在复制、转述、汇总那几步里弄丢或弄错了。这两件事混在一起查,常见的结果是提示词改了一轮又一轮,错还在,因为根子根本不在生成环节。
这篇给一套先后顺序:先确认这个错能不能稳定复现,再看它是在哪一步进入材料的,最后才决定是换提示、补资料,还是回头追人的操作环节。也写清哪些场景下这套判断压根不适用,别硬套。
先分清两套出错机制,别用一套办法修
AI幻觉有个很典型的特征:输出读起来顺、格式也规矩,但你要它指认这句话出自哪份原始材料,它指不出来,或者指的那份材料里压根没这句。人类犯错是另一回事,通常是漏看一行、抄错一位、把两个来源记混了,往回倒基本都能落到一个具体动作上。
有个特别省事的判断口诀:能指出「这句话对应哪份原始材料」的,多半是人错;指不出来、内容又像模像样的,先按模型编的处理。麻烦的地方在于两者会叠加,人把模型编的内容当真抄进定稿,这时候追责和处理要分开做,不能只罚人不修流程,也不能只改提示不管人。
| 观察到的现象 | 更可能是哪类错 | 先动哪里 |
|---|---|---|
| 语句通顺但引用的材料查无此文 | 模型幻觉 | 补检索资料、要求给出来源原文 |
| 同一段话在两个版本里数字不一致 | 人的转述或汇总 | 回看复制粘贴和汇总那一步 |
| 错得特别具体,精确到小数点、文献名齐全 | 优先怀疑幻觉 | 逐项回一手来源核对 |
| 整段意思对,但人名、机构名写串了 | 人的记忆偏差 | 建立专有名词核对表 |
排查顺序:先验可否复现,再看来源链
第一步不是翻材料,是固定输入重跑。同一个问题原样再问一遍,再换个问法问一遍,看错误是不是稳定出现。稳定复现的,问题多半在生成环节或你给的资料本身;时有时无的,更像是采样波动或者上下文被截断,处理方式完全不同。
第二步才回到原始材料比对。重点不是「这句对不对」,而是标出这个错是在哪一步进入的:生成时就错了,还是复制、转述、汇总的时候被引入的。这一步做细了,后面才知道该修哪。
- 固定输入重跑原样问一次,换问法再问一次,记录两次输出差异。差异大说明不稳定,先别下结论。
- 回到一手来源比对把可疑句子逐条对着原始材料看,标出「生成时就有」还是「后续环节引入」。
- 查过度具体的迹象精确到小数点的数字、编出来的文献名、看着很权威的引用,这类优先查,它们最容易是编的。
- 定位责任环节确认是模型问题就补资料、加约束;确认是人传错的,就去看那一步的操作规范。
实际用下来,第三步最容易被跳过。大家看到一段带具体数字和出处的文字,下意识觉得「这么详细应该不会是编的」,恰恰相反,幻觉最喜欢披着这种外衣。
交付前的复核清单
复核不需要多复杂,关键是每一类内容都有明确的过关条件,而不是「看着差不多」。数字、日期、人名、机构名、法条编号这几类,逐项回到一手来源核对,不接受「模型说是这样」这种理由。
- 数字、日期、编号类:逐项对照一手来源,对不上就标红退回
- 引用类内容:标题、作者、链接三样都对得上才算过,缺一样就删掉或改写
- 专有名词:机构名、人名单独列一张表统一核对,防止前后写串
- 结论段:让没参与写作的同事只看结论,问一句「这个说法你在哪见过」,答不上来的退回
- 涉及政策的表述:回到发布机构原文,不看二手转述
第五条的坑特别多。二手转述经常把适用范围、生效条件这些限定语省掉,你对着转述核对觉得没错,实际早就跑偏了。这类内容花的时间最多,但也最值得花。
这套判断什么时候不好使
先说清楚不适用的场景,免得生搬硬套。涉及专业判断而非事实真伪的时候,比如两个方案哪个更好,本来就没有唯一正确答案,这时候只能靠评审、靠对比论证,核对这一步帮不上忙。
还有一种情况:原始材料本身就是错的或者过期的。你对着它核对,内容「对得上来源」,但不代表内容正确,得再往上追一层,看这份材料本身可不可信。至于模型输出属于开放式创作、压根不存在事实核对这回事的场景,就改用标识和审核流程处理,别拿这张表硬套。
核对能解决「有没有这回事」,解决不了「这事好不好」,先分清自己在查哪一种。
常见问题
AI编的内容和人抄错的内容,处理方式差别在哪?
人抄错改流程,模型编改输入。人错多半是环节缺复核或交接没留痕,补检查点就行;模型编要补资料、限定回答范围、要求给出处。搞反了就会一直返工。
怎么快速判断一段内容是不是模型编的?
挑里面最具体的那几处去查:精确数字、专有名词、引用出处。能在一手材料里找到就暂时放过,找不到就先当可疑处理,不要因为整段读起来通顺就放行。
复核做到什么程度算够?
按后果定。对外发布、涉及金额或合规结论的必须逐项核到一手来源;内部草稿和头脑风暴阶段只做抽检即可,全都核一遍成本扛不住。