搜「大模型幻觉」进来的人,十个里有八个把两类问题混着问:模型编了个不存在的论文编号,和模型压根没听过上个月的发布会,看着都像说错话。前者是幻觉,后者是知识截止,处理方式完全不同。这篇给一套能照着走的判断顺序,帮你先定位是哪一类,再决定是换提示、加资料还是换模型。
搜「大模型幻觉」进来的人,问的往往不是同一件事。有人抱怨模型编了个根本不存在的论文编号,有人吐槽它压根没听过上个月的发布会。这俩看着都像说错话,其实是两码事:一个是编,一个是不知道。
编和不知道,修法完全不同。你把知识截止的问题当幻觉治,加多少「请给出处」都没用;反过来把幻觉当知识更新问题治,接上联网照样一本正经胡说。所以第一步不是急着改提示,是先分清手上这次属于哪一类。
先把这两件事拆开:一个是编,一个是不知道
幻觉说的是模型给出了没有依据的内容,甚至前后自相矛盾,但语气特别笃定。它的问题不在「没信息」,而在「信息拼错了还很有信心」。知识截止是另一回事:模型训练数据只覆盖到某个时间点,之后发生的事它真的没有,这部分不是错,是空。
分清楚这点很要紧。幻觉要靠检索、交叉校验、要求标不确定来兜;知识截止得靠联网、挂知识库,或者干脆把资料贴进上下文让它照着答。用错工具,白费劲。
| 表现 | 更像哪一类 | 典型信号 |
|---|---|---|
| 编出一个查不到的编号、链接、人名 | 幻觉 | 语气很稳,追问出处就开始圆 |
| 问新版本、新政策,答得含糊或按老规则说 | 知识截止 | 换个问法它还是那套旧信息 |
| 同一问题前后两次答案打架 | 幻觉 | 细节漂移,越问越不一致 |
| 问一个明确发生在训练期之后的事,它说不知道 | 知识截止,且算诚实 | 它自己承认边界,反而好办 |
怎么判断手上这次是哪种:三步排查顺序
- 先看问题属性问的是稳定事实(数学公式、协议规范、历史事件)还是近期动态(新版本、新价格、新政策)?稳定事实答错,偏向幻觉;近期动态答错或答旧,先怀疑知识截止。
- 换个问法复测让它给出处、给日期,再补一句「不确定就直说」。如果它开始改口、编来源、前后不一致,更像幻觉;如果它始终困在旧信息里,那就是数据没覆盖。
- 拿同一问题问另一家换一家模型或本地模型跑一遍。两边错得一模一样,多半是数据都没覆盖到,属于知识截止;错得各不一样、各编各的,更像幻觉。
这三步不需要工具,手动就能走完,五分钟内基本能定性。别跳过第二步直接下结论,很多人就栽在这——看到模型说错就认定是幻觉,其实人家只是没学过。
对应做法:别用一种手段治两种病
定性之后分开处理。偏幻觉的,核心是加校验:要求它标注哪些是不确定的、给出可核对的来源,答案落地前再过一道人工或脚本比对。别指望一句「请准确」就管用。
偏知识截止的,核心是补信息:走联网检索、挂知识库,或者把关键资料直接贴进上下文让它照着答。资料在手,它就不用靠记忆硬撑。
- 两类都能用的动作:把「不知道就说不知道」写进提示开头,比事后一句句纠错省事得多
- 幻觉场景加一步交叉核对,重点核编号、数字、引用这类看起来精确其实最容易编的东西
- 知识截止场景优先补原始资料,而不是反复追问让它猜
- 同一任务固定用同一家模型复测,混着换会把新问题混进旧问题里
判断模型知识边界时,去哪儿看当时的数字
判断一个模型「该不该知道」这件事,靠记忆不靠谱,模型自己说的也不算数。模型版本、参数、发布信息这些到 /models 翻,别凭印象记版本号,记错了整个判断都偏。
各家官方计费和规格口径到 /official-api 核对当时的数字。要横向看评测和排名去 /benchmarks,但注意分清榜单测的是能力还是时效——能力高不代表它知道最近的事。
分不清是记错还是没学过,后面所有排查都是在错误的路上加速。下一步把手上这个模型的知识边界和规格对一遍,再决定是补资料还是换路子。→
常见问题
模型说错了一个真实存在的公司名,算幻觉还是知识截止?
看错在哪一层。公司真实存在但业务描述张冠李戴,通常是幻觉;公司本身是近期才出现的、模型完全没提过,才更接近知识截止。拿不准就让它给出处和日期,再看换个问法是否稳定。
知识截止是不是换个新模型就解决了?
不一定。新模型的训练数据也有截止点,只是往后挪了。真正需要时效的场景,靠联网检索或挂知识库更稳。换模型解决的是能力问题,不是时效问题。
给模型贴了资料它还是编,怎么办?
先确认资料是否真的进了上下文、有没有被截断。再要求它只在资料范围内回答、超出就明说没有。仍然编的话,问题多半在提示约束太松,而不是模型不行。