ai幻觉和精确性有什么区别

安全与风控

讲清幻觉和精确性分别衡量什么、什么时候会互相误判,给一套分开评估模型输出的判断顺序和记录方法。

很多人拿到一段模型输出,觉得「说错了」就说是幻觉,觉得「答得不准」也说是幻觉,结果改了半天提示词也没解决问题。其实幻觉说的是内容有没有依据、有没有编造,精确性说的是输出和标准答案或既定事实的贴合程度,两者看的是不同的东西。这篇帮你把两个概念拆开,给一套先分类再动手的排查顺序,顺带说清什么情况下这套分法不适用。

很多人拿到一段模型输出,看到「说错了」就说是幻觉,看到「答得不准」也套上幻觉这个词,改了半天提示词、换了几个模型,问题还在原地。问题通常不在模型,而在分类没做对:你把两类完全不同的问题记成了一笔账。

幻觉管的是内容有没有依据、有没有凭空编出不存在的事实、引用、接口或字段;精确性管的是输出和你手里那份标准答案、既定事实或业务口径贴不贴得上。两者看的角度不一样,混着评估就等于用一个错误率同时描述两种毛病,后面的优化动作自然全打偏。

幻觉和精确性到底各指什么

幻觉的核心问题是「这句话能核对到出处吗」。它可以是引用了一篇不存在的文档、编了一个没上线的接口名、把两个真实人物的事迹拼到一起。精确性的核心问题是「贴不贴你那份参照」,模型没编任何东西,只是漏了一个限定条件、把口径写宽了,也照样算精确性不达标。

幻觉
能不能在给定的资料或事实里找到依据,找不到就是编的
精确性
和你确定的参照物比,差多少、漏了多少、宽了多少
两者的交叉
格式完全正确、看起来很专业,但引用了不存在的东西,这类最容易被误判

为什么大家总把这两个词混着用

口语里的「准确」既指没编也指没错,一句话盖住了两个维度,讨论时双方理解其实不一样。更常见的情况是一个错误同时踩两条线:模型既编了一个不存在的东西,又和你给的参考答案不一致,于是被笼统记成「幻觉」,修的时候也不知道该往哪个方向使劲。

  • 该补检索、加硬约束的场景,被当成精确性去调措辞,改半天没效果
  • 该对齐业务口径的场景,被当成幻觉去加知识库,越加越乱
  • 记录不可复用,换个人评估同一个问题,结论和上次对不上
  • 同一模型不同时间的数据没法比,因为维度和口径都变了
  • 复盘时说不清到底是模型的问题还是参照物本身就有问题

还有一个容易忽略的点:参照物本身可能是错的。拿一份过期口径去算精确性,得出的结论只会是噪声。所以分类之前,先确认你手里的参照物是不是当前有效的那一份。

一套先分类再动手的排查顺序

下面这套顺序不复杂,关键是坚持先分层再动手,别一上来就改提示词。每一批输出都按同样的方式标注,攒够一批再回来看分布,比逐条拍脑袋有用得多。

  1. 先分层,别合成一个错误率把每个错误标成「无依据」或「有依据但不符」两类,分开计数。合成一个错误率会让你看不出主要矛盾在哪,分开之后哪类占多数一眼就清楚。
  2. 固定参照物并写清来源精确性类问题必须写明跟谁比:官方文档、内部口径、还是上一版输出。参照物不固定,同一个问题换个人就没法复现,也没法比较两批输出的变化。
  3. 控制变量,一次只动一个因素同一批输入换着测,只换提示词或只换模型,一次动两处得出的结论没法用。验证某条改动是否有效,就固定其他条件重跑同一批输入。
  4. 记录复现率,再定处置方式同一个问题多跑几次,稳定出错和偶发出错要分开处理:稳定出错改设计,偶发出错先补校验和兜底,别一上来就推翻整个方案。
  5. 回到站内现成口径对齐到 /tools/speed-test 和 /rankings 核对当时的测试口径和记录方式,能对齐就别自己另起一套指标,否则后面横向比较会很难。
现象归类先动哪里
引用了一段查无出处的说明幻觉补资料约束或加检索,并加引用校验
格式规范但字段名根本不存在幻觉收紧接口和字段的来源,别让模型自己编
漏了「仅限特定场景」这个限定精确性把参照口径写进提示词或校验规则
和上一版输出不一致,两版都说得通精确性先确认参照物到底该是哪一版
同一问题十次里错两次,位置不定先看复现率补兜底和抽检,再判断是不是设计问题

什么情况下这套分法不适用

这套分法默认你手里有一个可以核对的事实基础或参照口径。一旦这个前提不成立,硬套反而会得出误导性的结论。以下几种情况要换评估方式,别硬算精确性。

  • 纯创作类任务没有唯一正确答案,精确性这个维度几乎不成立,只该看有没有违反你给的硬约束
  • 开放式推理题的标准答案本身有争议,拿它算精确性只会得到噪声,改成人工抽检加结论记录更实际
  • 数据随时间变动的事实类问题,今天准明天不准,必须标注核对时间,否则会把过期误判成幻觉
  • 多轮对话里单轮看着没问题,但上下文已经跑偏,要回到会话层面看,别抠某一句话
能核对到出处的错,先谈精确性;核不出出处的错,先当幻觉处理——顺序反了,力气就白花。

最后提醒一句:无论用哪套口径记录,都建议给每条结果打上三个标签——时间、参照物、复现次数。少了任何一个,过一阵回头看这批数据都很难再用。想去对照现成的评估口径和数据,到 /ai-dict/category/basics 和 /ai-dict/category/tech 查相关术语,比凭印象下结论稳。

下一步想看看同一批输入在不同模型上的实际表现和记录方式,到 /rankings 和 /tools/speed-test 核对当时的数字,再决定你那批输出该按哪套口径记录。

常见问题

幻觉和精确性能不能用一个指标衡量?

不建议合成一个数。幻觉是「有没有依据」的定性判断,精确性是「差多少」的程度判断,两者单位都不一样,合起来算出来的值说不清含义。分开记两类占比,再看趋势,比一个混合分数更能指导你下一步改哪里。

我发现模型答得不准,是不是提示词没写好?

不一定,得先分清是哪一类。如果它编了不存在的内容,通常是约束不够或缺少可核对来源,优先补检索和格式约束;如果它只是和你的口径有偏差,问题多半在参照物或上下文,改提示词收益有限。先分类再决定改哪儿。

评估时要不要固定同一批测试题?

要。固定题面、固定参照物、固定判分口径,才谈得上跨时间比较。换了一批题再去说这个模型变差了,结论站不住。题面本身有变动时,建议保留旧题一起跑,用重叠部分对齐。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。