很多人挑模型时先翻参数表,觉得参数越大越不容易瞎编。实际用下来会发现,大模型一样会把不存在的东西说得有板有眼。这篇把幻觉的定义边界、影响它的几个真实变量、以及拿到两个模型后怎么自己比一遍讲清楚,顺带说清哪些场景下这套比法不适用。
挑模型的时候先翻参数表,是很多人的习惯动作。参数大听起来就聪明,聪明就该少瞎编。实际用下来不是这个逻辑:同一个问题,参数大的模型编得理直气壮,参数小的反而老实说不知道,这种事一点不稀奇。所以把「幻觉」和「参数」绑在一起看,方向就偏了。
这篇想说的是两件事。一是幻觉到底指什么,很多争论其实是两边对「编」的定义不一样;二是拿到两个模型之后,怎么用一套自己的题比一遍,比翻参数表靠谱得多。最后会讲清哪些场景这套比法压根不适用,别拿错尺子量。
先对齐口径:幻觉指什么,不指什么
幻觉的判定标准只有一条:说得像真的,但可核实为假。注意后半句,得能核实。答得不好、语气生硬、你觉得它没理解你的意思,这些是质量问题,不是幻觉。把两者混在一起谈,容易得出「这个模型老幻觉」的错误结论,其实它只是答得笨。
还有一个特别容易被误伤的:模型说「这个我不确定」。这不算幻觉,反而是好信号。真正麻烦的是它不知道却编一个像模像样的答案给你,你照着用了才发现是假的。所以看一个模型,拒答率和编造率要分开记,这两件事的应对方式完全不同——前者可以靠提示词引导,后者只能靠资料和校验兜。
- 编造不存在的东西:人名、文献标题、产品型号、机构名称,看起来完全合理但查无此物
- 拼接错误:两个都真实存在的事实被凑到一起,因果关系或归属搞反了
- 数字和日期自作主张:没给数据也敢报一个数,单位、口径、年份随手填
- 读错你给的材料:资料里明明写着 A,它总结成 B,这类最隐蔽因为你有原文可对
- 把模糊问题答成确定结论:你问得含糊,它不反问,直接挑一个解释往下编
为什么参数大小撑不起这个对比
参数规模影响的是整体能力和知识容量,它不直接决定编不编。同一家出的几个尺寸,幻觉表现并不总是跟着尺寸同向走,小模型在冷门领域反而更爱说「不知道」,因为它底气不足。大模型见得多了,敢下结论,也就更容易在长尾事实上编得顺溜。
真正拉开差距的是另外几件事。训练数据里这类问题多不多,有没有联网或检索能力,提示里给没给可依据的材料,解码参数放得多松。这四件事里,后三件你自己就能控制。所以对比两个模型时,参数只能当背景信息放在那儿,拿它当主判据,冷门领域和长尾事实上十有八九判断失误。
| 影响幻觉的因素 | 能不能自己控制 | 对比时该怎么处理 |
|---|---|---|
| 训练数据覆盖度 | 不能 | 用业务真题去测,别猜 |
| 是否联网/检索 | 能 | 两个模型要么都开要么都关 |
| 提示里给的资料 | 能 | 同一份参考资料喂给两边 |
| 解码参数(温度等) | 能 | 固定成同一组值再比 |
| 参数规模 | 不能 | 只作背景,不作结论依据 |
拿到两个模型,怎么自己比一遍
别用通用题库的结论套自己的业务,那玩意儿跟你实际问的东西差得远。自己出题,十到二十道就够,其中至少三分之一要是冷门事实或者需要引用来源的题。全是「今天天气怎么样」这种,比不出东西。
- 定题从你业务里真实会问的问题里挑,覆盖常见问题和偏门问题,偏门题占比不低于三分之一
- 固定条件同一段提示词、同一组解码参数、同一份参考资料,两个模型各跑一遍。一个开联网一个不开,这组数据就废了
- 记三件事答对没有、编没编、编了以后你指出错误它能不能改过来。第三项比第一项更能说明实际可用度
- 看稳定性同一个问题隔一天再问一遍,口径飘来飘去的,说明它对这块知识本来就没底,别只看单次结果
跑完一轮,你会发现有的模型一次答对率高但纠错费劲,有的第一次答错你点一下就能改对。后者在真实工作流里往往更好用,因为你有机会兜住。这个差别,参数表上看不出来。
这套比法什么时候不适用
创意写作、起名、头脑风暴这类任务,本来就不要求事实准确,你拿幻觉率去打分没有意义,反而会把敢想的模型筛掉。这类场景该看的是输出质量和风格契合度,不是事实核查。
还有一种情况:模型带联网检索。这时候结果好坏很大程度取决于检索到的页面质量,你比的是检索链路,不是模型本身。真要评模型,把联网关掉单独测一轮,或者固定检索源再比。
如果你的场景是固定领域问答,直接用自己领域的测试题,别拿通用评测的结论往自己身上套。领域不同,数据覆盖不同,结论经常反过来。
上线前的自查清单
- 专门测一遍它会不会明说「不确定」:设计几个无解问题,看它是老实说不知道还是硬编
- 对数字、日期、法规条款这类高风险输出,加一道人工或规则校验,别指望模型自己把关
- 把参考资料放进上下文,看有据可依时幻觉是否明显下降;下降不明显,说明问题出在提示结构或模型能力上,不在资料
- 记录每次纠错的轮次,超过两轮还改不过来的问题类型,单独列出来考虑换方案
这份清单不是让你追求零幻觉,那做不到。目的是把「哪些类型的错误一定会发生、发生后怎么兜」搞清楚。心里有数,用起来才不慌。
下一步想横向看各家模型的实际表现和用户反馈,别只盯参数表;站内的模型资料和导航页把价格、能力、接入方式放在一起对照,比自己翻官网快。→常见问题
大模型幻觉问题指什么,和答错题是一回事吗
不完全是一回事。答错题可能是理解偏差或口径不同,幻觉强调的是模型生成了看似合理、实际不存在或与事实相反的内容,并且往往语气很自信。判断时看两点:内容能否被核实为假,以及模型有没有表现出「我拿不准」。
参数越大的模型幻觉越少吗
不能这么推。参数规模主要影响综合能力和知识覆盖,幻觉率还取决于训练数据分布、有没有检索、提示里给没给依据、解码参数松紧。同一个问题换个大模型来答,可能答得更流畅,但该编的地方照样编。
不联网的模型是不是幻觉更多
看问题类型。问常识和稳定知识,不联网也没问题;问近期事件、具体数据、某份文件里的条款,不联网就只能靠记忆,编的概率明显上升。这类问题要么给它资料,要么开检索,别指望模型自己记得。