搜「大模型幻觉问题对比」的人,多半是想在几个模型之间挑一个少编瞎话的。可真动手比的时候容易跑偏:拿同一句话问一遍,谁答得顺眼就选谁。这篇不比较具体模型,只讲对比这件事怎么做才站得住脚——比什么、怎么问、什么情况下这套比法不适用。
搜「大模型幻觉问题对比」的人,多半是想在几个模型里挑一个少编瞎话的。可真动手比的时候容易跑偏:拿同一句话问一遍,谁答得顺眼就选谁。这篇不比较具体模型,只讲对比这件事怎么做才站得住脚——比什么、怎么问、什么情况下这套比法不适用。
先说个常见误判。有人拿着三个模型问同一个「某某政策是哪年出台的」,两个答对了,一个答错,就断定前两个靠谱。换个问题再问,答对的那两个里有一个开始编文件编号。一次问答根本测不出幻觉,测的是运气。下面按四件事拆:比哪一类编、问题怎么固定、参数为什么排不到第一、以及什么时候别用这套办法。
先搞清楚你要比的是哪一种编
幻觉不是一个笼统的分数。编事实(把不存在的事说成真的)、编来源(给一个看着像模像样的链接或文献名)、编功能(说自己支持某个其实没有的接口),是三件不同的事。对比前先想清楚:你这次怕的是哪一种?怕引用出错,就专门测来源类;怕接口描述骗人,就翻文档对着问。笼统问一句「会不会胡说」,得到的答案也一样笼统。
还有个坑:同一段回答里真假混着。开头几句套话读着特别顺,错的地方往往藏在具体名词、数字、链接里。所以核对别通读,直接跳到名词和数字上盯。哪个模型把假链接写得最像真的,哪个就最危险,因为它最容易被你直接复制走。
- 编事实:把不存在的事件、人物、规定说成真的,核对方式是拿你已知答案的问题去对
- 编来源:给出链接、文献名、文件编号,这类最坑,因为长得可信,得逐个点开或查证
- 编功能:声称支持某参数、某接口、某格式,拿官方文档对一遍就能验
- 拒答:直接说不知道或拒绝回答,这不算幻觉,但用起来一样难受,单独记一栏
拿同一套问题去问,别临场改口
临场想问题是大忌。你问第一个模型时想到什么问什么,问第二个时换了措辞,结果没有可比性。提前写死一组题,至少三类:几个你百分百知道答案的(测它敢不敢在你眼皮底下编)、几个故意问不存在的(测它会不会顺着你编)、几个踩在你知识边界外的(测它知不知道自己不知道)。
记录只记三件事:有没有编、编在哪一句、换个问法还编不编。第三点最容易被忽略。同一个问题换个说法再问一次,如果答案前后打架,那本身就是信号——一个稳定答错的模型,你至少知道它错在哪;一个飘忽不定的,你根本没法预判。
- 写死题面把问题原文抄进一张表,每个模型问的是同一句话,标点都不改。改一个字就算另一道题。
- 一次只问一个别把三个问题塞进一段话里,模型会挑好答的答,你分不清它漏了哪个。一问一答,逐条记。
- 同题问两遍隔开上下文再问一次同样的题,对比两次答案。两次一致不代表对,但两次打架一定有问题。
- 换问法再问把肯定句改成疑问句、把「是不是」改成「为什么」,看它会不会顺着你的预设编下去。
| 题型 | 想测什么 | 判读方式 |
|---|---|---|
| 已知答案题 | 敢不敢在你眼皮底下编 | 答错即记,别替它找理由 |
| 不存在的事 | 会不会顺着预设编 | 说「没有这回事」算过关,编出细节算失分 |
| 知识边界外 | 知不知道自己不知道 | 含糊其辞和硬答要分开看 |
| 同题换问法 | 答案稳不稳 | 两次结论打架就是黄灯 |
参数大不等于少胡说,这事儿得掰开
参数规模影响的是模型肚子里能装下多少东西,不是「知不知道自己不知道」。后一件事更多跟训练数据干不干净、对齐怎么做有关。所以你会看到小模型在自己熟悉的领域答得很稳,大模型在冷门细节上一本正经地编。拿参数大小当幻觉高低的代理指标,等于拿体重判断一个人记性好坏。
更麻烦的是另一层:模型答得越顺、语气越笃定,人越容易放弃核对。实际用下来,这点比错本身更坑——错得明显你还会查,错得流畅你直接就用了。所以对比时别只看「答对没」,还要看「错的时候像不像对的」。这一条没法靠看名字后面的数字判断,只能自己动手问。
那看什么?看它在你这类任务上的出错类型。你是拿它做客服问答,就重点测它对产品细节的编造;你是拿它做资料整理,就重点测来源真假。具体到某个模型在你场景里的表现,站内模型资料库有基础参数和定位,可以先去 /models 对一遍再决定测哪几个,别光按名气排。
这套比法什么时候不灵
有三种情况,上面那套事实核对的办法会使不上劲,硬套反而得出错误结论。
- 没有标准答案的任务
- 写文案、出创意这类,别用「对不对」打分,换成看它有没有瞎编引用、假数据、不存在的客户案例
- 已经接了知识库或检索的场景
- 纯模型裸答的幻觉表现参考价值有限,该比的是接上你的资料之后还错多少,测法要换成喂文档再问
- 样本太小就下结论
- 只跑过一两次就定生死,换天再问可能反过来。每类题至少问够几轮,看趋势不看单次
还有一种不适用:你测的模型版本跟你实际要调用的不是同一个。中转站挂的名字和背后真正跑的模型可能对不上,这种时候你测的是一层壳,不是模型。想确认这一点,站内的中转站可信度检测和 /tools/speed-test 可以配合着看,先确认你问到的确实是那个模型,再谈幻觉对比。
下一步把你打算对比的模型先到站内资料库对一遍参数和定位,再按上面的题型清单自己跑一轮;价格和调用成本到 /price-watch 核对当时的数字,别凭印象排先后。→常见问题
参数越大的模型幻觉越少吗?
不能这么推。参数大一般意味着知识面更宽、表达更顺,但「知不知道自己不知道」靠的是训练和对齐,跟参数不是一条线。有些小模型在窄任务上反而更老实,因为它不敢乱接。真要判断,拿你手上的任务去问,看它错在哪一类,比看名字后面的数字有用。
自己测几个问题就够了吗?
够做初筛,不够做结论。五到十个问题能帮你看清它爱编哪一类,但样本太小,换个问法结果可能变。真想定下来,把问题集固定住,隔一段时间重问一遍,看的是稳定度而不是单次表现。
幻觉多的模型是不是就不能用?
看你拿它干什么。做创意发散、改文字、整理格式,编一点也不致命;做数据核对、引用来源、对外答复,一次编错就够麻烦。判断标准应该跟着任务走,而不是给模型贴一个「幻觉多」的标签就完事。