很多人拿到一段模型输出,觉得「说错了」就说是幻觉,觉得「答得不准」也说是幻觉,结果改了半天提示词也没解决问题。其实幻觉说的是内容有没有依据、有没有编造,精确性说的是输出和标准答案或既定事实的贴合程度,两者看的是不同的东西。这篇帮你把两个概念拆开,给一套先分类再动手的排查顺序,顺带说清什么情况下这套分法不适用。
很多人拿到一段模型输出,看到「说错了」就说是幻觉,看到「答得不准」也套上幻觉这个词,改了半天提示词、换了几个模型,问题还在原地。问题通常不在模型,而在分类没做对:你把两类完全不同的问题记成了一笔账。
幻觉管的是内容有没有依据、有没有凭空编出不存在的事实、引用、接口或字段;精确性管的是输出和你手里那份标准答案、既定事实或业务口径贴不贴得上。两者看的角度不一样,混着评估就等于用一个错误率同时描述两种毛病,后面的优化动作自然全打偏。
幻觉和精确性到底各指什么
幻觉的核心问题是「这句话能核对到出处吗」。它可以是引用了一篇不存在的文档、编了一个没上线的接口名、把两个真实人物的事迹拼到一起。精确性的核心问题是「贴不贴你那份参照」,模型没编任何东西,只是漏了一个限定条件、把口径写宽了,也照样算精确性不达标。
- 幻觉
- 能不能在给定的资料或事实里找到依据,找不到就是编的
- 精确性
- 和你确定的参照物比,差多少、漏了多少、宽了多少
- 两者的交叉
- 格式完全正确、看起来很专业,但引用了不存在的东西,这类最容易被误判
为什么大家总把这两个词混着用
口语里的「准确」既指没编也指没错,一句话盖住了两个维度,讨论时双方理解其实不一样。更常见的情况是一个错误同时踩两条线:模型既编了一个不存在的东西,又和你给的参考答案不一致,于是被笼统记成「幻觉」,修的时候也不知道该往哪个方向使劲。
- 该补检索、加硬约束的场景,被当成精确性去调措辞,改半天没效果
- 该对齐业务口径的场景,被当成幻觉去加知识库,越加越乱
- 记录不可复用,换个人评估同一个问题,结论和上次对不上
- 同一模型不同时间的数据没法比,因为维度和口径都变了
- 复盘时说不清到底是模型的问题还是参照物本身就有问题
还有一个容易忽略的点:参照物本身可能是错的。拿一份过期口径去算精确性,得出的结论只会是噪声。所以分类之前,先确认你手里的参照物是不是当前有效的那一份。
一套先分类再动手的排查顺序
下面这套顺序不复杂,关键是坚持先分层再动手,别一上来就改提示词。每一批输出都按同样的方式标注,攒够一批再回来看分布,比逐条拍脑袋有用得多。
- 先分层,别合成一个错误率把每个错误标成「无依据」或「有依据但不符」两类,分开计数。合成一个错误率会让你看不出主要矛盾在哪,分开之后哪类占多数一眼就清楚。
- 固定参照物并写清来源精确性类问题必须写明跟谁比:官方文档、内部口径、还是上一版输出。参照物不固定,同一个问题换个人就没法复现,也没法比较两批输出的变化。
- 控制变量,一次只动一个因素同一批输入换着测,只换提示词或只换模型,一次动两处得出的结论没法用。验证某条改动是否有效,就固定其他条件重跑同一批输入。
- 记录复现率,再定处置方式同一个问题多跑几次,稳定出错和偶发出错要分开处理:稳定出错改设计,偶发出错先补校验和兜底,别一上来就推翻整个方案。
- 回到站内现成口径对齐到 /tools/speed-test 和 /rankings 核对当时的测试口径和记录方式,能对齐就别自己另起一套指标,否则后面横向比较会很难。
| 现象 | 归类 | 先动哪里 |
|---|---|---|
| 引用了一段查无出处的说明 | 幻觉 | 补资料约束或加检索,并加引用校验 |
| 格式规范但字段名根本不存在 | 幻觉 | 收紧接口和字段的来源,别让模型自己编 |
| 漏了「仅限特定场景」这个限定 | 精确性 | 把参照口径写进提示词或校验规则 |
| 和上一版输出不一致,两版都说得通 | 精确性 | 先确认参照物到底该是哪一版 |
| 同一问题十次里错两次,位置不定 | 先看复现率 | 补兜底和抽检,再判断是不是设计问题 |
什么情况下这套分法不适用
这套分法默认你手里有一个可以核对的事实基础或参照口径。一旦这个前提不成立,硬套反而会得出误导性的结论。以下几种情况要换评估方式,别硬算精确性。
- 纯创作类任务没有唯一正确答案,精确性这个维度几乎不成立,只该看有没有违反你给的硬约束
- 开放式推理题的标准答案本身有争议,拿它算精确性只会得到噪声,改成人工抽检加结论记录更实际
- 数据随时间变动的事实类问题,今天准明天不准,必须标注核对时间,否则会把过期误判成幻觉
- 多轮对话里单轮看着没问题,但上下文已经跑偏,要回到会话层面看,别抠某一句话
能核对到出处的错,先谈精确性;核不出出处的错,先当幻觉处理——顺序反了,力气就白花。
最后提醒一句:无论用哪套口径记录,都建议给每条结果打上三个标签——时间、参照物、复现次数。少了任何一个,过一阵回头看这批数据都很难再用。想去对照现成的评估口径和数据,到 /ai-dict/category/basics 和 /ai-dict/category/tech 查相关术语,比凭印象下结论稳。
下一步想看看同一批输入在不同模型上的实际表现和记录方式,到 /rankings 和 /tools/speed-test 核对当时的数字,再决定你那批输出该按哪套口径记录。→常见问题
幻觉和精确性能不能用一个指标衡量?
不建议合成一个数。幻觉是「有没有依据」的定性判断,精确性是「差多少」的程度判断,两者单位都不一样,合起来算出来的值说不清含义。分开记两类占比,再看趋势,比一个混合分数更能指导你下一步改哪里。
我发现模型答得不准,是不是提示词没写好?
不一定,得先分清是哪一类。如果它编了不存在的内容,通常是约束不够或缺少可核对来源,优先补检索和格式约束;如果它只是和你的口径有偏差,问题多半在参照物或上下文,改提示词收益有限。先分类再决定改哪儿。
评估时要不要固定同一批测试题?
要。固定题面、固定参照物、固定判分口径,才谈得上跨时间比较。换了一批题再去说这个模型变差了,结论站不住。题面本身有变动时,建议保留旧题一起跑,用重叠部分对齐。