大模型'幻觉'问题指对比,参数大小真不是第一顺位

入门与上手

讲清怎么对比大模型的幻觉表现:不看参数看什么、怎么设计小测试、哪些结论不能照搬,给一份能照着做的判断清单。

搜「大模型幻觉问题对比」的人,多半是想在几个模型之间挑一个少编瞎话的。可真动手比的时候容易跑偏:拿同一句话问一遍,谁答得顺眼就选谁。这篇不比较具体模型,只讲对比这件事怎么做才站得住脚——比什么、怎么问、什么情况下这套比法不适用。

搜「大模型幻觉问题对比」的人,多半是想在几个模型里挑一个少编瞎话的。可真动手比的时候容易跑偏:拿同一句话问一遍,谁答得顺眼就选谁。这篇不比较具体模型,只讲对比这件事怎么做才站得住脚——比什么、怎么问、什么情况下这套比法不适用。

先说个常见误判。有人拿着三个模型问同一个「某某政策是哪年出台的」,两个答对了,一个答错,就断定前两个靠谱。换个问题再问,答对的那两个里有一个开始编文件编号。一次问答根本测不出幻觉,测的是运气。下面按四件事拆:比哪一类编、问题怎么固定、参数为什么排不到第一、以及什么时候别用这套办法。

先搞清楚你要比的是哪一种编

幻觉不是一个笼统的分数。编事实(把不存在的事说成真的)、编来源(给一个看着像模像样的链接或文献名)、编功能(说自己支持某个其实没有的接口),是三件不同的事。对比前先想清楚:你这次怕的是哪一种?怕引用出错,就专门测来源类;怕接口描述骗人,就翻文档对着问。笼统问一句「会不会胡说」,得到的答案也一样笼统。

还有个坑:同一段回答里真假混着。开头几句套话读着特别顺,错的地方往往藏在具体名词、数字、链接里。所以核对别通读,直接跳到名词和数字上盯。哪个模型把假链接写得最像真的,哪个就最危险,因为它最容易被你直接复制走。

  • 编事实:把不存在的事件、人物、规定说成真的,核对方式是拿你已知答案的问题去对
  • 编来源:给出链接、文献名、文件编号,这类最坑,因为长得可信,得逐个点开或查证
  • 编功能:声称支持某参数、某接口、某格式,拿官方文档对一遍就能验
  • 拒答:直接说不知道或拒绝回答,这不算幻觉,但用起来一样难受,单独记一栏

拿同一套问题去问,别临场改口

临场想问题是大忌。你问第一个模型时想到什么问什么,问第二个时换了措辞,结果没有可比性。提前写死一组题,至少三类:几个你百分百知道答案的(测它敢不敢在你眼皮底下编)、几个故意问不存在的(测它会不会顺着你编)、几个踩在你知识边界外的(测它知不知道自己不知道)。

记录只记三件事:有没有编、编在哪一句、换个问法还编不编。第三点最容易被忽略。同一个问题换个说法再问一次,如果答案前后打架,那本身就是信号——一个稳定答错的模型,你至少知道它错在哪;一个飘忽不定的,你根本没法预判。

  1. 写死题面把问题原文抄进一张表,每个模型问的是同一句话,标点都不改。改一个字就算另一道题。
  2. 一次只问一个别把三个问题塞进一段话里,模型会挑好答的答,你分不清它漏了哪个。一问一答,逐条记。
  3. 同题问两遍隔开上下文再问一次同样的题,对比两次答案。两次一致不代表对,但两次打架一定有问题。
  4. 换问法再问把肯定句改成疑问句、把「是不是」改成「为什么」,看它会不会顺着你的预设编下去。
题型想测什么判读方式
已知答案题敢不敢在你眼皮底下编答错即记,别替它找理由
不存在的事会不会顺着预设编说「没有这回事」算过关,编出细节算失分
知识边界外知不知道自己不知道含糊其辞和硬答要分开看
同题换问法答案稳不稳两次结论打架就是黄灯

参数大不等于少胡说,这事儿得掰开

参数规模影响的是模型肚子里能装下多少东西,不是「知不知道自己不知道」。后一件事更多跟训练数据干不干净、对齐怎么做有关。所以你会看到小模型在自己熟悉的领域答得很稳,大模型在冷门细节上一本正经地编。拿参数大小当幻觉高低的代理指标,等于拿体重判断一个人记性好坏。

更麻烦的是另一层:模型答得越顺、语气越笃定,人越容易放弃核对。实际用下来,这点比错本身更坑——错得明显你还会查,错得流畅你直接就用了。所以对比时别只看「答对没」,还要看「错的时候像不像对的」。这一条没法靠看名字后面的数字判断,只能自己动手问。

那看什么?看它在你这类任务上的出错类型。你是拿它做客服问答,就重点测它对产品细节的编造;你是拿它做资料整理,就重点测来源真假。具体到某个模型在你场景里的表现,站内模型资料库有基础参数和定位,可以先去 /models 对一遍再决定测哪几个,别光按名气排。

这套比法什么时候不灵

有三种情况,上面那套事实核对的办法会使不上劲,硬套反而得出错误结论。

没有标准答案的任务
写文案、出创意这类,别用「对不对」打分,换成看它有没有瞎编引用、假数据、不存在的客户案例
已经接了知识库或检索的场景
纯模型裸答的幻觉表现参考价值有限,该比的是接上你的资料之后还错多少,测法要换成喂文档再问
样本太小就下结论
只跑过一两次就定生死,换天再问可能反过来。每类题至少问够几轮,看趋势不看单次

还有一种不适用:你测的模型版本跟你实际要调用的不是同一个。中转站挂的名字和背后真正跑的模型可能对不上,这种时候你测的是一层壳,不是模型。想确认这一点,站内的中转站可信度检测和 /tools/speed-test 可以配合着看,先确认你问到的确实是那个模型,再谈幻觉对比。

下一步把你打算对比的模型先到站内资料库对一遍参数和定位,再按上面的题型清单自己跑一轮;价格和调用成本到 /price-watch 核对当时的数字,别凭印象排先后。

常见问题

参数越大的模型幻觉越少吗?

不能这么推。参数大一般意味着知识面更宽、表达更顺,但「知不知道自己不知道」靠的是训练和对齐,跟参数不是一条线。有些小模型在窄任务上反而更老实,因为它不敢乱接。真要判断,拿你手上的任务去问,看它错在哪一类,比看名字后面的数字有用。

自己测几个问题就够了吗?

够做初筛,不够做结论。五到十个问题能帮你看清它爱编哪一类,但样本太小,换个问法结果可能变。真想定下来,把问题集固定住,隔一段时间重问一遍,看的是稳定度而不是单次表现。

幻觉多的模型是不是就不能用?

看你拿它干什么。做创意发散、改文字、整理格式,编一点也不致命;做数据核对、引用来源、对外答复,一次编错就够麻烦。判断标准应该跟着任务走,而不是给模型贴一个「幻觉多」的标签就完事。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。