问一句答得挺顺,回头一查人名是凑的、数字是编的、链接点开是 404——这不是模型坏了,多半是你没分清它犯的是哪一种毛病。这篇不讲概念,讲怎么看出它错在哪一类、该改提示还是该补资料、什么情况下改完也没用。
问一句答得挺顺,回头一查人名是凑的、数字是编的、链接点开是 404——这不是模型坏了,多半是你没分清它犯的是哪一种毛病。同一个「幻觉」标签底下,其实躺着三种完全不同的失败,改法也完全不同:有的改提示就行,有的必须补资料,有的你换再贵的模型也没用。
这篇不讲概念,讲怎么看出它错在哪一类。先给你一根判断的线,再按三类症状分别说怎么查、怎么改,最后给一份上线前的核对顺序,以及哪些任务压根不该交给模型。看完你至少能对着一个具体错误回答:这属于哪一类,下一步该动哪一格。
幻觉难发现,是因为它答得太像真的
模型输出有一个反直觉的地方:流畅度和正确性之间没有绑定关系。一句话写得越顺、术语用得越自然,人越容易放松核对。真正危险的往往不是那些一眼看着别扭的回答,而是那种结构完整、语气笃定、还带了两条引用来源的——你扫一遍觉得没毛病,就直接粘进文档了。
所以第一步不是想办法让模型不幻觉,而是先承认自己大概率会漏看。把「谁来核对、核对哪几个点」当成流程的一部分固定下来,比反复调提示词有效得多。下面三种场景,你大概率至少中过一种。
- 自己懂行的领域,一眼就能看出它在胡说,因为你知道那块知识长什么样
- 不懂行的领域,只能靠外部资料逐个核对,成本高,往往就跳过了
- 批量产出的时候,比如一次生成几十条摘要,根本没有人工逐条看的环节
有个便宜又管用的动作:拿同一批问题隔几天再问一遍,或者换个问法再问一遍。前后答案不一致的地方就是高风险区,值得优先拿去核对。模型很笃定地两次说同一个错答案,这种情况反而少见;更多时候它自己也在飘。
症状一:细节是编的,骨架是对的
这类最好认也最难防。框架、分类、思路都合理,甚至顺序都对,但具体的人名、编号、条款号、引用出处是拼出来的。它看起来像一份合格的资料,实际上一半的填充物是假的。麻烦在于骨架对,人读的时候就容易顺着信下去。
判断方法不是把整段读完——读顺了反而查不出。挑那些能一对一核实的最小单元去查:一个编号、一个条款号、一条引用链接、一个人名配一个职位。抽三五个点,错了就说明这一段整体不可信,别只改那一个点。
改法方向是把回答约束成「先说不知道,再说大致方向」。要求它标注出处,没有出处的部分一律降级为推测,并且要在措辞上区分开。这不是加一句客气的叮嘱就完事,得把它做成输出里必须填的字段。
- 最小核实单元
- 能一对一查证的单个事实点,比如一个编号、一条链接、一个人名加一个身份
- 降级为推测
- 让模型把没把握的部分明确标成推测,而不是混在肯定句里
- 出处字段
- 输出里单独一栏写依据来源,空着就说明这段没依据
症状二:长材料里串行、漏段、张冠李戴
把一整份长文档塞进去让它总结,出来看着挺全,细看发现把 A 文档的结论安到了 B 文档头上,或者前文说过的事后文直接忘了。多轮对话里更明显:第三轮还在纠正它,第五轮它又绕回去了。这类错误不是知识问题,是它在长上下文里对不上号。
判断方法很简单:把长材料切成段落,逐段单独提问,看它是不是只在整篇塞进去的时候才出错。如果单段问都对、合起来问就乱,那就基本可以确定是上下文串了,而不是模型不懂这块内容。
改法上别指望一次塞满整个上下文。先分段抽取要点,再由要点汇总成总稿,中间那一步的要点清单你还能顺手核一遍。关键字段用结构化输出固定下来,比如要求它按固定字段返回,字段空了或格式不对就是没提取到,比读一段散文好判断。
- 切段单独问把长材料按小节拆开,每段单独提问,记录哪些段单独问就答错,哪些段合起来才错。
- 分段抽要点让模型逐段输出结构化要点,字段固定,空字段和格式错位的直接标出来。
- 由要点汇总只拿要点清单去生成总稿,不再把原文整份塞回去,减少串行机会。
- 回查原文总稿里每个关键结论回指到哪一段,指不回去的就是可疑内容。
症状三:答得没错,但答的不是你要的
问流程它讲原理,问限制它讲优点,看着都对,用不上。新手容易把这类归到幻觉里,其实是需求没交代清楚。这个改模型没用,改提问方式才有用。你换个更贵的模型,它照样会给你一段正确的废话。
改法是在开头就把四件事写清楚:给谁看、要多长、必须包含什么、绝对不能出现什么。一次只提一个明确任务,别在一句话里塞三个诉求。想要清单就先要清单,想要逐条展开就第二步再说。
| 你看到的错误 | 更可能是哪类 | 先动哪里 |
|---|---|---|
| 人名、编号、引用来源对不上 | 编事实 | 加出处字段,要求不确定就明说 |
| 长文档总结张冠李戴 | 串上下文 | 改分段抽取再汇总 |
| 回答正确但用不上 | 答非所问 | 重写提问,交代受众和边界 |
| 同一问题两次答案不一样 | 三类都有可能 | 先固定提问,再逐类排查 |
补资料能压住一部分,压不住全部
检索增强是治「不知道却硬答」的正经办法,但它治不了另外两种情况:检索到的内容本身是错的,以及检索对了但模型理解偏了。把所有幻觉都指望靠补资料解决,最后会发现有些错误纹丝不动。
做检索的时候先看召回结果对不对,再谈回答质量。召回错了,你调提示词是白费力气。一个落地动作是把检索命中的原文片段一并展示给使用者,让人能一眼看到答案是从哪句话推出来的,而不是只看到一个结论。
- 召回为空或明显不相关,先修检索,别动提示词
- 召回对了但回答偏了,问题在理解或措辞,改提示或加结构化约束
- 召回对、回答也对、但引用了错的片段,检查引用拼接那一步
- 资料库本身过时或有错,检索越准错得越一致,得先清洗资料
不换模型的情况下,这几件事立刻能做
把「不确定就说不确定」从一句叮嘱变成一个必须遵守的输出字段。比如让它返回一个把握程度字段,填「高/中/低」,低的那部分你在流程里就该拦下来。光在提示里写一句「请勿编造」,实际用下来基本没什么约束力。
要求先列依据再给结论。顺序反了,模型会先定结论再补理由,补出来的理由往往就是编的。同一件事分两步问:先要清单,再让它逐条展开。一步到位的长答案最容易掺水,因为它在同一段生成里没有回头检查的机会。
这些改法都不是绝对的。任务本身简单、答案唯一的时候,加一堆约束反而拖慢速度。判断标准是:这个输出会不会被人直接使用、错了代价大不大。代价小就别过度设计。
上线前按这个顺序过一遍,别跳步
核对要有顺序,因为后一步的错误会把前一步的问题盖住。先查召回,再看单段理解,然后看多段汇总,最后看最终措辞。哪一步掉分就在哪一步改,别一步跳到最终输出上反复调。
- 第一步查召回给定几个已知问题,看检索回来的片段是否包含正确答案,不包含就先修检索。
- 第二步查单段理解只喂一段正确材料,问一个该材料能回答的问题,看它是否理解准确。
- 第三步查多段汇总喂多段材料,看汇总时有没有串行、漏段、张冠李戴。
- 第四步查最终措辞看输出里有没有把推测写成肯定句、有没有凭空补细节。
自己准备一份小测题,题目得包含三类:明知答案的、资料里根本没有的、材料之间相互矛盾的。第一类看它会不会答错,第二类看它会不会硬编,第三类看它会不会假装没矛盾。每次改动都记录对比结果,凭印象判断改好了没有,十次有八次是错觉。
什么情况下这些办法都不太管用
有些任务本身就不该交给模型。要求它在完全没有资料的情况下给出精确数字、精确日期、精确条款,失败是必然的,不是提示词没写好。这类需求要么接实时数据源,要么人工查。
输出要直接进对外文案、合同、财报的,人工复核这一环不能省。幻觉率再低,落到具体一份文件上就是全有或全无。对时效性要求极高的问答,靠模型记忆必然过时,得老老实实接数据源,别指望提示词能补上这个缺口。
判断一个幻觉改法有没有用,不看它让回答变漂亮了多少,看它有没有让错误变得更容易被发现。下一步想先摸清手上的模型和通道在真实提问下表现如何,可以到站内的模型资料库和可信度检测页面核对当时的记录,再决定是改提示、补资料还是换路子。→
常见问题
幻觉和知识截止是同一件事吗
不是。知识截止是它压根没学过那段时间的事,幻觉是它明明没把握却编了一个像样的答案。两者表现相似,处理方式不同:前者要接新数据,后者要收紧输出约束。站内另有文章专门对照这两者,这里不展开。
加了检索是不是就不会胡说了
会明显减少「凭空编」这一类,但检索到的资料本身有错、切分切坏了、召回没命中,都会让答案继续出错。检索做完还要看命中片段,别只验收最终那句回答。
换个更大的模型能不能直接解决
能改善一部分,尤其是细节编造,但不会归零。任务描述含糊、资料本身矛盾、要求超出资料范围,这些换什么模型都一样。先定位症状再决定要不要换。
怎么判断一次回答该不该信
看三处:有没有给出可核对的来源、关键数字和名称是否具体到能查、前后几轮说法是否一致。三处都过不了的回答,直接当草稿用,别当结论。