大模型幻觉问题属于什么风险

模型与算力

给风控与产品人员的一套判定方法:把大模型幻觉拆成合规风险与技术风险两类,讲清各自的触发场景、责任归属和落地动作。

做风控或产品的时候,常被问一句「模型说错了话,这算什么风险」。答案取决于错在哪一层:错在对外披露的口径,还是错在检索没召回、参数没对齐。这篇不讨论幻觉怎么产生,只给一套分类框架和排查顺序,让你在评审会上能把风险说清楚、把动作派下去。

做风控或产品的时候,常被问一句「模型说错了话,这算什么风险」。这个问题没法直接回答,因为「说错」可能发生在完全不同的两层上。答案取决于错在哪一层:错在对外披露的口径,还是错在检索没召回、参数没对齐。同一句错话,放在两个层级里定级和处置动作完全不同。

这篇不讨论幻觉的成因,也不比较各家模型谁更稳。只给一套分类框架和排查顺序,让你在评审会上能把风险说清楚、把动作派下去。先定级,再定位,最后分责任,顺序反了就会开会扯皮。

先把「幻觉风险」拆成两层:合规层与技术层

很多人把幻觉当成一个单一风险,其实是两个维度的叠加。合规层看的是输出对外产生了什么后果,责任主体是使用方而不是模型方;技术层看的是输出偏离事实的机制,责任方是数据、工程或模型选型。判断前先问一句:这句话发给谁、被谁拿去做什么决定。这个问题答不上来,后面所有定级都是空谈。

合规层
看输出对外产生了什么后果,涉及信息披露、消费者告知、专业建议、内容安全,责任在使用的公司和产品
技术层
看输出偏离事实的机制,涉及检索召回、上下文污染、知识过时、解码发散,责任在数据与工程链路
交叉情形
同一句话可能两层都沾,比如内部工具答错后被员工转述给客户,这时按后果定级、按机制定位

术语口径可以先到 /ai-dict/category/safety 对照,分类框架到 /safety 看。把词对齐之后再讨论定级,能省掉一半的会。

什么情况下按合规风险处理

判断标准只有一条:输出是否直接或间接对外,且对方会据此做决定。满足这条的场景,不建议只靠提示词兜底,必须要有内容审核链路和人工复核节点。只在提示词里加一句「不要编造」,出事时既没有留痕也说不清责任。

  • 面向公众的产品把模型输出直接展示给终端用户,且内容涉及价格、资质、医疗法律建议、投资信息这一类
  • 输出被写进合同、公告、客服话术模板等对外材料,事后需要追溯到具体来源和生成时间
  • 涉及个人信息或未公开数据被模型补全、串号、拼接出不存在的事实
  • 模型输出了对某个主体的负面评价或事实断言,而该断言无法从输入材料中找到依据
  • 模型代替人给出了确定性结论,但用户看不出这是生成内容而非核实过的信息

这类场景需要的是可追溯和可复核,而不是把模型换掉。边界不清楚时,可以先到 /ai-nav/category/ai-legal 看同类工具是怎么处理留痕与审核这一段的。

什么情况下按技术风险处理,且不该甩给合规

把技术问题归到合规,最直接的后果是拖慢迭代,而且修不好。典型特征是:输出没有对外披露义务,错的机制清楚,改完能复现原来的错误样本。这类问题该由工程和数据来收口。

现象真实层级该找谁
内部知识库问答答错,只在团队内用技术层·数据治理负责知识库内容和更新的人
声称能读图实际不能产品层·能力描述产品经理改功能说明
召回了过期文档导致答非所问技术层·检索链路改提示词不解决,找工程
对能力边界描述不准产品层·交互设计产品定义拒答与提示文案
虚构了输入材料里没有的引用出处技术层+合规层先查检索,再看是否对外

处理顺序建议先量后改:把召回率、引用命中率和拒答率量出来,再决定要不要上升到合规评审。质量监控的口径可以参考 /tools/quality-monitor。

评审现场能直接用的分流清单

  1. 三问定级问输出给了谁、被用来做什么决定、错了会不会产生对外可追责的后果。三问都答「否」,先按技术风险处理。
  2. 三查定位查检索有没有召回正确材料、查上下文有没有被无关内容污染、查模型的知识截止时间是否覆盖该问题。分别对应数据、工程、模型选型三个责任方。
  3. 处置动作分档按严重度分四档:加引用与出处、加拒答策略、加人工复核、降级为只做建议不做结论。每档都要写成可验收的条件,不能只写「加强审核」。
  4. 上线后持续抽检抽检规则和评分口径可参考 /tools/quality-check,避免自评自话。抽检结果要能回到具体的错误样本,而不是只给一个比率。

责任怎么分:谁改提示词,谁改数据,谁签字

定级之后的下一步是派活。如果分工不清,会上很容易变成互相举证。建议按下面三层来分,每一层都要有可验证的交付物。

角色负责什么交付物
产品定义什么样的错不可接受写成可测的验收条件
工程检索、上下文、解码参数修复能复现原错误样本的验证记录
风控判定是否要人工复核、留痕、披露口径复核节点与留痕方案
数据/内容知识库内容与更新时效更新机制与过期内容清单
  • 签字前先统一术语,到 /ai-dict/category/basics 把 Token、上下文、温度这类词对齐,避免会上鸡同鸭讲
  • 每个错误样本都要能指到具体责任层,指不到就说明定位还没做完
  • 复核节点要写清触发条件,比如涉及金额、资质、健康类断言时强制转人工
  • 对外披露口径要单独确认,这一项不能由工程或数据来定

如果定级结果是要换供应商或加一层中转,选型时先看中转站的可信度检测和价格追踪,具体数字到 /sites 和 /price-watch 核对当时的情况,别在评审会上凭印象拍。

下一步把上面这套框架套到你手上那个正在评审的需求上,先定级再定位。术语和评分口径都可以在站内查到当时的版本,先去 /safety 看分类框架再回会议室。

常见问题

大模型幻觉问题到底属于算法风险还是合规风险?

取决于输出有没有对外产生后果。只在内部使用、错了不影响对外承诺的,按技术风险处理,改检索和上下文;会被写进对外材料、影响用户决策的,按合规风险处理,要加审核和留痕。同一句话在两个场景下的定级可以完全不同,所以先看用途再看机制。

产品上线前必须做哪些幻觉相关的检查?

至少做三件:一是准备一批已知正确答案的问题集,测模型在真实业务问法下的错误率;二是确认每条对外输出有没有来源标注或拒答兜底;三是定义出错后的回滚动作,比如能不能一键切回人工。检查清单可以到 /tools/quality-check 对照,别只跑一遍演示就上线。

能不能靠换一个更强的模型把幻觉风险消掉?

不能。换模型能降低一部分事实性错误,但检索没召回、文档过期、上下文串号这些环节换模型照样出错。正确顺序是先定位错误来自哪一层,再决定是换模型、调检索还是加人工复核。模型能力对比可以到 /models 和 /benchmarks 看当时的数字,但别把它当成风险处置方案。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。