模型一本正经地说错话,你往往是照做之后才发现。分不清它到底是编了、串了、还是被自己的上下文带偏,就没法决定该复核哪一部分。这篇按表现把幻觉分成四类,每类配一套识别信号和验证动作,顺带说明哪些场景下这套判断不成立。
模型一本正经地说错话,你往往是照做之后才发现——按它给的字段名去调接口,报错;照它说的条款去做,根本不存在。麻烦的是,这些错看起来都差不多,都是「说得挺像那么回事」。但如果分不清它到底是凭空编了、把两个真东西串了、还是被你自己的问法带偏了,你就不知道该复核哪一部分,只能整段重来。
这篇按表现把幻觉拆成四类,每类给一套识别信号和验证动作。注意这套分类是用来判断「该不该信、该核哪里」的,不是用来给模型定罪的;有些不适用的情况我在后面单独说。
先分清四种:编造、混淆、过度顺承、上下文漂移
- 编造型
- 冒出不存在的书名、条款、接口名、人名,句式自信但细节经不起查,多出现在冷门事实与长尾专业问题上。
- 混淆型
- 把两个真实存在的东西拼在一起,比如把 A 工具的字段写成 B 工具的,单看每一半都像真的。
- 过度顺承型
- 你给的预设它全盘接受,顺着你的猜测往下编,常见于「是不是因为……所以……」这种带答案的问法。
- 上下文漂移型
- 长对话或长文档里前后矛盾,同一件事两个说法,多发生在材料超出它能稳定覆盖的范围时。
四类里最容易被放过的是混淆型,因为它每一半都真。你觉得「这词我见过」,就放下了戒心,可拼起来的那句话是错的。判断它的办法不是看词熟不熟,而是看两个词有没有被放到同一个句子里。编造型相反,越具体的越可疑:编号、条款号、版本名、链接,说得越细,越要先当嫌疑对象。
每类的识别信号与三步验证顺序
验证别一股脑整段重写,那样你只是在读第二遍,不叫验证。按顺序来:先定位可疑句,再验证,最后才决定采不采信。顺序颠倒最常见的结果是,你读完一遍觉得「好像没问题」,其实可疑的那句被你顺过去了。
- 第一步 定位可疑句只挑含具体数字、编号、条款号、版本名、链接、命令的句子。这些是最容易编、也最容易核的。别整段重读。
- 第二步 交叉一条独立线索换个问法重问一次;或者直接问它「这个知识点你知不知道」,允许它说不知道;或者要求它指出出处在哪一段。三种方式能对上,可信度上一个台阶。
- 第三步 落到可核对载体数字、价格去站内页面核对当时的口径,术语去术语库查有没有这个词。核不出来的,按不可信处理,不要靠印象放行。
- 允许弃权比逼它回答更容易暴露编造,问的时候就明确说「不知道就说不知道」
- 同一问题换个问法再问一次,答案关键点不一致的段落按不可信处理
- 要求它指出出处所在段落,指不出来的基本可以放下
- 把结论和你已经核过的部分一起写回上下文,减少后面被带偏
三步里最容易省掉的是第一步。很多人一上来就整段重读,读完觉得通顺就采信了——通顺恰恰是幻觉最擅长的伪装。定位可疑句这个动作本身很便宜,一分钟能圈出三五句,但它决定了你后面核什么。
哪些场景下这套分类不管用
这套分类有个前提:存在一个可以核对的事实基准。没有这个前提,分类只能帮你标风险等级,判不了真假。下面几种情况要单独对待,别硬套。
- 开放式写作、头脑风暴、起名这类本来就没有唯一正确答案的任务,谈不上幻觉,你只需要判断好不好用
- 你自己也没法核实结论的场景,分类只能标出风险等级,不能判定真假,这类内容不要直接进入对外交付
- 带实时性的信息,比如价格、库存、政策、版本号,模型记忆天然过期,一律以站内页面当时的数字为准
- 主观口径类问题,两边说的都算对,只是定义不同,属于分歧不属于幻觉
第二类最容易被忽略:你没法核,并不代表它错,也不代表它对,而是这条信息不该由你来拍板。处理办法不是纠结它真不真,而是把它拿去给能核的人,或者换个有出处的地方查。带实时性的那些,更简单——模型说的数字只当线索,不当依据。
一张对照表:特征、常见触发、处理动作
| 类型 | 特征 | 常见触发 | 处理动作 |
|---|---|---|---|
| 编造型 | 具体到诡异的细节 | 冷门事实、长尾专业问题 | 要求给出处,逐条核 |
| 混淆型 | 两个真东西拼接 | 名称相近的工具、模型、字段 | 拆开分别确认,别整句采信 |
| 过度顺承型 | 完全顺着你的话 | 问句里已带结论 | 去掉预设重问一遍 |
| 上下文漂移型 | 同段落前后不一 | 长对话、长文档、多轮修改 | 压缩上下文,固定关键结论再继续 |
表格里最容易执行的判断是第二列:特征比定义好认。「具体到诡异的细节」你一眼能感觉出来,「两个真东西拼接」你一看就知道这词和那词不该在同一个句子里。先把特征记住,触发场景和处理动作用的时候再回来查也行。
把复核做成习惯:五条日常动作
- 单独拎出可疑句凡涉及数字、链接、条款、命令的句子,一律单独核一遍,别整体通读就放行。核完在脑子里打个勾。
- 给弃权的出口要出处时明确说「不知道就说不知道」。允许它说不知道,比逼它必须回答,更容易看出哪句是硬编的。
- 中途固定结论长任务做到一半,把已经确认的部分写进上下文,明确写「以下已确认」。这一步能明显减少后面的前后不一。
- 换个问法再问一次同一问题用不同问法问两次,关键点对不上的段落,按不可信处理,不要取平均。
- 列自己的高危清单把经常被编造的领域记下来,比如法规、接口字段、产品规格。遇到这类问题先停一下再采信。
这五条不是让你对模型处处设防,而是把复核成本压到最低:只核该核的句子,只记住该记的高危领域。做久了你会发现,真正需要停下来核的场景其实就那么几类。
下一步把你手头最常问模型的那几类问题列出来,对照站内的模型资料库和术语库,看看哪些术语和字段名是可以直接查证的;查得到的先核,查不到的标风险。→常见问题
四种类型里哪种最危险?
编造型和混淆型危害最大,因为它们长得最像真话,具体数字和专有名词会让人下意识跳过复核。过度顺承型你自己往往有感觉,上下文漂移型在长对话里比较容易发现。判断风险别只看类型,还要看你打算拿这个答案去干什么,对外交付的一律先核。
怎么快速判断一句话是不是编的?
看颗粒度。越是给出精确编号、日期、条款号、接口字段名的句子,越值得花十秒去核。反过来,泛泛而谈的段落即使不准确,通常也不会让你踩坑。核的时候不要问同一个模型「你确定吗」,它会顺着你说确定,要去独立的可核对页面比。
这四种分类能覆盖所有情况吗?
覆盖不了。它是一套帮你快速定位可疑点的分类,不是完整理论。有些错误其实是你的提问本身有问题,有些是任务本身没有标准答案,还有些是模型能力边界之外的合理拒答。分类的作用是让你知道该去哪儿复核,不是给每个错误贴标签。