模型答得斩钉截铁,结果一查全是编的——这种事几乎每个用 AI 的人都遇到过。但幻觉不是一个原因造成的:有的是它压根没这个知识,有的是你给的资料没被用好,有的是问法太松让它自由发挥。这篇按「先定位、再选招、最后验收」的顺序,给一套能直接照做的缓解思路,也说明哪些场合这些招不管用。
模型答得斩钉截铁,你一查全是编的——这种事几乎每个用 AI 的人都遇到过。但幻觉不是一个原因造成的:有的是它压根没这个知识,有的是你给的资料没被用好,有的是你问法太松让它自由发挥。所以别急着换模型,先定位再选招,最后验收。
这篇按「先定位、再选招、最后验收」的顺序走一遍,给一套能直接照做的缓解思路,同时把每种方法的边界讲清楚——哪些场合这些招根本不管用,硬上只是浪费时间和成本。
先分清:幻觉到底出在哪一环
一次错误回答,拆开看就三段:模型内部知识、你给的上下文、生成时的约束。错在哪一段,决定你该用哪招。最常见的偷懒做法是不管三七二十一先换模型,结果换完还是错,因为问题根本不在模型身上。
| 症状 | 大概率出问题的环节 | 下一步先查什么 |
|---|---|---|
| 问它不知道的事,它照样编得完整 | 模型内部知识缺失 | 是不是该先喂资料,而不是硬问 |
| 资料明明在上下文里,它却答别的 | 检索或上下文组织错配 | 片段切分、排序、有没有标出处 |
| 格式和事实都对,数字细节错 | 生成约束太松 | 有没有固定输出结构和校验点 |
| 同一问题两次答案不一样 | 采样自由度偏高 | 温度、采样类参数是否调过 |
有个简单的自测法:把同一个问题分别用「不带资料」和「带资料」各问一遍。两边都错,说明知识或约束有问题;只有不带资料时错,说明资料这条路本身是有效的,问题在检索或拼接;两边都对但细节飘,基本就是参数和格式约束的事。
- 纯创意写作、头脑风暴、起名这类任务,本来就不追求事实准确,硬加事实约束反而束手束脚,不用治
- 涉及金额、法务、对外发布的场景,幻觉代价高,哪怕概率低也值得上完整流程
- 内部草稿、思路梳理这类场景,错了改一下就行,全套校验可能比错误本身还贵
提示词层面:把「随便答」改成「按规矩答」
提示词是最便宜的一招,改几个字就能试。核心思路不是让模型更聪明,而是把「自由发挥」的空间收窄,同时给它一条体面的退路——允许它说不知道。很多幻觉其实是被逼出来的:你没给退路,它只能硬编。
- 给兜底话术在提示里写明:资料里没有或你不确定时,直接答「我无法确认」并说明缺什么。改完拿几个已知的冷门问题测,看它是老实说不知道,还是继续编。
- 先列依据再下结论要求它先把支撑结论的原文片段列出来,再给结论。如果列出的依据和上下文对不上,你一眼就能看出来,比事后逐句核对快得多。
- 框住答案范围明确告诉它只能基于给定材料回答,不许引入外部常识补充。适用场景是事实问答类任务;开放讨论类任务别这么写,会把有用的联想也一起掐掉。
- 固定输出结构让它按固定字段或固定几列输出,比如「结论 / 依据 / 不确定项」。结构固定了,肉眼扫一遍或写个小脚本比对都容易。
什么时候这招不适用:如果模型是真的没这个知识,提示词再严也只会让它更干脆地说「不知道」,答案还是拿不到。这时候要去解决资料问题,不是继续雕琢提示词。
喂资料这条路的正确姿势
喂资料(常说的 RAG 思路)是治幻觉最常用的一招,但很多人做了检索之后发现幻觉没少多少,于是得出「检索没用」的结论。多数情况不是没用,是资料没被用好。检索问题被当成了模型问题。
- 出处可溯
- 检索到的每个片段带来源标识,答案里要能指到具体是哪一段支撑的
- 切分粒度
- 切太碎丢上下文,切太长混进无关内容,通常要按文档结构而不是固定字数切
- 覆盖判断
- 资料里没有的问题,宁可返回「资料里没有」,也别让它用常识补
切分粒度是新手最容易踩的坑。一个办法是先观察失败样本:如果错答是因为上下文被切断,就往大调;如果错答是因为材料里掺了无关段落,就往小调。别一次改好几个变量,不然不知道是哪一步起的作用。选型上的取舍可以对照站内的 /rag-retrieval 与 /embeddings 页面看当时的说明,别把检索层的毛病归到模型头上。
| 现象 | 先怀疑哪一层 | 可做的动作 |
|---|---|---|
| 答案里提到的内容资料里根本没有 | 检索没召回对片段 | 换切分方式或检索策略再测 |
| 答案引用的片段和问题不相关 | 召回排序有问题 | 检查查询改写和排序逻辑 |
| 资料里有正确内容,答案仍写错 | 拼接或生成环节丢信息 | 把关键片段位置提前,减少干扰 |
换个模型或调低自由度,什么时候有用
温度这类采样参数调低,确实能减少发挥,让输出更稳。但它治的是「本来会、但答飘了」的情况;如果知识里根本没有,调多低都编不出来,只会让它更机械地编。所以先分清是稳定性问题还是知识缺失问题。
- 事实性要求高的任务,较新或较大的模型通常更稳,但一定按自己的任务实测,别只看榜单
- 选型参考可以到站内的 /benchmarks 与 /crowd-radar 交叉看,注意那里的数字是动态的,去核对当时的情况
- 需要多步核对、反复推演的任务,推理型模型更合适;简单抽取类任务用它反而慢且贵,判断依据见 /models
- 同一任务换模型前后各跑一遍自己的回归题,用结果说话,别凭感觉
什么时候不该急着换模型:如果你的失败样本里,多数是「资料没用上」或「问法太松」,换模型只是把同类错误换个说法,成本却上去了。先把提示和检索理顺,再考虑换。
验收环节:怎么确认幻觉真的少了
改完之后怎么知道有没有变好?凭印象是不行的,改完感觉不错、上线又翻车的情况太常见。要有一组固定的问题当标尺,改前改后各跑一遍,对比结果。
- 攒一组回归题从真实业务里挑十几到几十个问题,覆盖你关心的场景,包括几个已知难答的。固定下来,别每次都换。
- 设机器可查的校验点编号、金额、日期、专有名词这类能自动比对的字段,写个脚本逐个查,比人眼快也稳。
- 前后对比改提示、改检索、换模型,每次只动一个变量,跑同一组题,记录通过率而不是感觉。
- 存档错例出错的样本留下来,作为下一轮调整提示词或补充资料的输入,别测完就扔。
这轮跑完再决定下一步;站内的 /tools/quality-check 与 /tools/quality-monitor 可以用来搭建常态检查,把一次性验收变成持续监控。注意回归题的答案要人工确认过,不然拿错的标尺去量,越量越偏。
兜底设计:让错误不至于造成损失
前面几招都是在降低幻觉概率,但没有哪一招能保证为零。所以还得有一层兜底:把 AI 产出定位成草稿,关键结论由人复核,明确谁签字谁负责。这不是不信任模型,是给流程留余地。
- 涉及事实、金额、法务的内容不进自动流程,必须有人过一遍
- 交付物里对不确定的结论标注提示,留出人工核对的位置
- 面向客户的场景加一层拦截,宁可慢一点也别把编的内容直接发出去
- 明确复核责任到人,谁签字谁负责,避免「AI 说的」变成挡箭牌
这套兜底在什么情况下可以简化:内部低风险、错了容易发现也容易改的场景,可以只保留抽查;但一旦是对外发布或涉及钱,就别省这一步。
这些方法的边界与不适用场景
最后把话说清楚:上面这些招不是万能的,有些场合用了也白用,提前认出来能省不少力气。
| 场景 | 缓解手段能起多大作用 | 更实际的做法 |
|---|---|---|
| 知识本身不存在或事件极新 | 基本无效 | 换数据源或人工补充资料 |
| 需要严密逻辑推演的任务 | 只能降低概率 | 关键步骤人工验算或加校验工具 |
| 成本敏感的批量任务 | 看损失大小决定 | 低风险部分跳过全套校验 |
判断标准其实很简单:先问错误一旦发生,损失有多大;再问这个错误出现的频率有多高。损失小、频率低,就别上全套流程;损失大或频率高,才值得投入检索、校验和人工复核的组合。
缓解幻觉不是找一个万能开关,而是按错误的来源和代价,选一组成本合适的组合拳。下一步先定位你手上的幻觉属于哪一类,再挑对应的一两招小步试,改前改后跑同一组题对比。想横向看不同模型和工具在事实性上的实际表现,可以到 /rankings 与 /tools/speed-test 核对当时的数字,再定你的组合方案。→
常见问题
加了 RAG 是不是就不会幻觉了?
不是。RAG 只是把资料放进上下文,模型仍可能忽略资料、挑错片段或自己补内容。真正起作用的是「检索质量 + 明确要求它只依据资料回答 + 答案里带出处」这三件一起做,缺一件效果都会打折。
调低温度能解决幻觉吗?
只能解决一部分。温度低会让输出更稳定、更少自由发挥,但如果模型本身没有这个知识,它照样会给出一个看起来很确定的错答案,只是错得更一致。知识缺失类的幻觉要靠检索或换模型。
怎么快速判断是模型不行还是我问得不行?
把同一个问题换个明确问法再问一遍,并附上你认为应该用到的材料。如果给了材料它能答对,问题在提示或检索;如果给了材料还是错,问题在模型或资料本身。这一步花两分钟,能省掉大量瞎调参数的时间。
有没有必要每次都人工核对?
看错的代价。内部草稿、头脑风暴可以不核;对外发布、涉及金额、合同、医疗法律建议的内容必须核。可以按损失大小分档,只在高风险环节设人工复核岗,而不是全流程都卡。
换更大的模型是不是最省事?
对知识型问答通常有帮助,但不是万能。大模型在细节数字、冷门名词上一样会错,而且成本更高。更务实的顺序是先改提示和资料,再考虑换模型,并用自己的真实问题做前后对比。