模型答得很顺,一查是假的;问它最近的事,它像没听说过。这两种情况常被当成一个问题,处理方式却完全不同。这篇给一套能照着走的判断顺序:先分清是记错了还是压根没学过,再决定改提示、加检索还是换模型,以及什么情况下这套判断不成立。
模型答得挺顺,你一查发现是假的。另一种情况是问它最近发生的事,它像没听说过,或者硬着头皮编。这两种常被当成一个问题,但处理方式差得远。一种是它学过、记岔了;另一种是它压根没学过,只能靠猜。
这篇给一套能照着走的判断顺序:先分清是记错了还是没学过,再决定是改提示、加检索还是换模型。也会说清楚这套判断在哪些场景下不成立,省得你按一套流程套到底。
先把两种失灵分开看,别急着上方案
幻觉是模型有相关知识却生成错内容。典型表现是细节编造、张冠李戴、格式很正式但事实不对。它不是在不知道自己不知道,而是很自信地给了个错误答案。知识截止是训练数据的时间边界,超出范围的内容模型没有依据,只能猜或者干脆说不知道。外观上两者很像,都是一个错答案,但一个要约束生成,一个要外部补料。
搞反了会怎样?你拿一个知识截止的问题去调提示词,让它「认真点、别编」,它还是不知道;你拿一个幻觉问题去接检索,资料送进去了它照样能编出材料里没有的话。所以判断起点就一句话:这事在训练语料里可能出现过吗。可能出现过,倾向幻觉;明显是之后才发生或者极小众的,倾向截止。
判断顺序:四个问题走一遍
- 换个问法再问一次同一事实,换个措辞、换个顺序再问。两次答案不一致,基本可以判定是幻觉。答案稳定但稳定地错,也别急着下结论,往下走。
- 把问题降难度只问大方向,不问具体数字。比如不问是哪一年哪条政策,只问有没有这类政策。答对方向但细节错,还是幻觉;连方向都答不上,可能是截止或压根没学。
- 问它的时间边界直接问它知道到什么时间为止,再挑一个落在这个范围内的近期事件问细节,看它是否自述范围外还在编。超出范围还给出细节,就是截止加幻觉叠加。
- 把原始出处贴进去让它只依据给定材料回答,不许用自己知识。答案变准了,说明缺的是资料不是能力,方向就是检索补料。四步走完还分不清,别靠感觉定性,去 /tools/speed-test 跑一轮能力检测,看当时的实测结果。
这个顺序的重点是:前两步便宜,几句话就能筛掉大部分幻觉;后两步才开始动资料和工具。别一上来就接检索,那是最贵的一步。
对症下药:约束生成还是补资料
偏幻觉的问题,核心是约束生成。提示里要求给依据、不确定要说不确定、限制只能引用给定材料。必要时换一个更擅长遵循指令的模型。这类改动成本低,先试再谈别的。偏知识截止的问题,核心是补资料,接检索或知识库,把最新内容在提问时一起送进去,而不是指望模型自己想起来。
| 判断结果 | 主要手段 | 验证方式 |
|---|---|---|
| 细节编造、答案不稳定 | 收紧提示、限定引用来源、换指令遵循更好的模型 | 同样问题连问几次,看是否还出现自相矛盾 |
| 超出时间范围、方向都对不上 | 接检索或知识库,把资料随问题一起送入 | 贴材料和不贴材料各问一次,对比答案准确度 |
| 两类叠加 | 先补资料再约束生成 | 补料后仍编造,才回到提示层调整 |
| 风格格式不对、知识没问题 | 微调或换模型 | 同格式任务批量跑一遍看稳定性 |
顺序有个坑:两类都有的场景,得先补资料再约束生成。反过来做,模型会拿旧知识覆盖你刚给的新材料,提示写得再严也没用。还有一点,微调不解决知识截止,它擅长改风格和格式,往模型里灌新事实的效果通常不如检索。
什么情况下这套判断不适用
实时性极强的场景,比如价格、库存、赛程,任何离线模型都不可靠,直接查源头接口,不用纠结是幻觉还是截止。涉及专业资质的领域,医疗、法律、财务结论不能靠模型自查,需要人工复核流程,判断标准要加一道人工关卡。
- 实时数据类:直接对接源头接口,模型只做解释不做取值
- 专业资质类:模型输出只作草稿,结论由持证人员复核
- 长文档多轮对话:上下文被截断会表现成记错,先查上下文管理再判模型
- 私有化离线部署:知识更新靠定期重建知识库,判断标准换成更新周期是否够短
还有一种容易误判:模型在长对话里记不住前面说过的内容,看起来像幻觉,其实是上下文超了被截断。这时候去调提示词没用,得改对话结构或者压缩历史。先确认问题出在模型还是出在对话管理,再动手。
下一步拿你手上最近一次翻车的问答,按上面四步走一遍,确认类型后再去选方案。中转站可信度和模型资料到 /sites 核对,别在不确定来源的接口上做判断实验。→常见问题
模型说不知道,是知识截止还是能力不行?
多半是截止。让它先复述自己知道的时间范围,再问超出范围的具体事件,如果它明确表示没有相关信息,属于正常的边界表现,不算故障。真正的能力问题通常是给了资料也读不懂、归纳不出来。
加了知识库还是编,怎么办?
先看检索有没有召回正确片段,很多所谓幻觉其实是没检索到。再看提示是否要求只依据材料作答。两件都做了还编,就换更听话的模型,或者把答案格式限制成引用原文加出处。
同一个问题每次答案都不一样,正常吗?
生成有随机性,措辞不同正常。但关键事实反复变化就不正常,说明模型对这个点没有稳定依据。把温度调低能减少波动,治标;补资料才是治本。