做合规或风控的同事常被问一句「大模型胡说八道,这算哪类风险」,答不准就会在两个部门之间来回踢皮球。这篇不讲幻觉怎么产生,只给归属判断的切入角度:先分清它落在模型算法风险、内容安全风险还是业务操作风险,再用一张对照表和一套排查顺序把结论落到书面口径上。
做合规或风控的同事经常被业务方问一句「大模型胡说八道,这算哪类风险」,答不准就容易在两个部门之间来回踢皮球。这篇不讲幻觉怎么产生,只给归属判断的切入角度:先分清它落在模型算法风险、内容安全风险还是业务操作风险,再用对照表和排查顺序把结论落到书面口径上。
要提醒一句,风险归属不是给模型贴标签,而是给这一次具体输出贴标签。同一句幻觉,出现在客服答复、投研报告、内部代码注释里,归属可能完全不一样。判断要看使用场景和下游动作,而不是看模型本身好不好。下面按「为什么归类—三种常见归属—对照表—落地清单」四步走。
先弄清为什么要归类:分类错了,后面的动作全歪
风险类型直接决定三件事:责任部门是谁、留痕要求多严、整改动作往哪个方向做。归到算法风险,往往要模型侧交能力边界和评测材料;归到内容安全,就走内容审核那套口径;归到业务风险,落点通常在用人流程和使用方。归类一旦错了,整改就会打空。
- 责任部门:算法风险归模型或研发侧,内容安全归内容审核侧,业务操作风险归使用方或业务负责人
- 留痕要求:越靠近对外发布和决策链,留痕要求越高,需要能复盘这一次输出是怎么被采信的
- 整改方向:模型侧加校验与拒答,内容侧加审核与拦截,业务侧加复核与双人确认
- 升级触发:进入对外发布或进入自动决策的,一般需要升级处理,纯内部辅助的可先记录观察
三种常见归属:模型算法风险、内容安全风险、业务操作风险
多数人纠结的其实是「只能选一个吗」。实务上更稳的写法是主线加副线,比如主线内容安全、副线模型算法,分别对应不同部门的动作。下面把三种归属的判断标准拆开,方便对照自己的场景。
- 模型算法风险
- 关注模型能力边界与不可复现性,典型表现是同类问题不同时段答案不一致、给不出依据来源,适合模型自研或深度定制场景
- 内容安全风险
- 关注输出了不该输出的内容,幻觉只是诱因之一,适合对外发布、面向公众或涉及敏感话题的场景
- 业务操作风险
- 关注输出被当成事实用于决策,比如据此做报价、做审批、写进合同,落点是用人流程而不是模型
如果场景同时满足多个条件,比如既对外发布又进入决策链,不要只写一个归属,按主线加副线记录,并在结论里写清每条线各自的动作。这样后续审计或复盘时,不会出现「当初到底按哪套流程走的」这种扯皮。
一张对照表:按场景落归属,别凭感觉
下面这张表给的是判断顺序,不是行业监管的最终口径。具体行业要求可以到站内的安全与合规术语对照页核对,涉及具体数字和条款的地方以站内页面当时的版本为准。
| 场景特征 | 主线归属 | 需要配套的动作 |
|---|---|---|
| 有对外发布或公众可见 | 内容安全风险 | 走内容审核与发布前拦截,模型算法作为支撑记录 |
| 有人工复核且复核留痕 | 业务操作风险 | 重点查复核制度是否被执行,而不是只查模型 |
| 无人工复核但进入决策链 | 业务操作与模型算法双计 | 属于优先整改类,先停自动采信再谈其他 |
| 纯内部辅助、不进决策链 | 内部工具风险 | 重点是别让它被当成权威来源,加使用提示 |
表里最容易踩的坑是第三种:没有人工复核却已经进了决策链。这种情况单归一类都不合适,写报告时按双计处理,并把「先停止自动采信」作为第一动作。具体到你们所在行业是否有更细的分类要求,到站内的合规资料库核对当时的表述。
落地动作清单:从发现到写结论的排查顺序
发现一次幻觉输出后,别急着下结论,按下面四步走,既能落归属,也能直接形成可复查的记录。
- 第一步 定性记录幻觉出现的具体输出、出现场景、是否进入对外发布或决策环节。验证方式:把原始输出和上下文一起存档,不能只留一句转述
- 第二步 定责按对照表确认主线归属,明确责任部门与是否需要升级。验证方式:让责任部门在记录上确认一次,避免事后不认
- 第三步 定措按归属给出对应动作,模型侧加校验、内容侧加审核、业务侧加复核与留痕。验证方式:每个动作要有完成人和完成标准
- 第四步 留痕把判断依据、归属结论、整改动作写成可复查的记录。验证方式:下次同类问题能直接套用这份记录,不用重新讨论一遍
还有一条经验:没有外部依据支撑的归属结论不要写死,改成「待评估加复核条件」更稳。比如行业口径还没明确时,先写清触发复核的条件和责任人,比硬下一个结论更经得起追问。想看看同类工具和资料怎么组织,可以到站内的工具目录里翻一翻。
下一步把你们最近一次幻觉输出的场景套进上面的对照表走一遍,如果涉及行业细分口径,到站内对应页面核对当时的表述,再回来定稿归属结论。→常见问题
大模型幻觉问题属于哪种风险类型?
没有唯一答案,取决于使用场景。常见的三种归属是模型算法风险、内容安全风险和业务操作风险,实际项目往往需要主线加副线一起写。判断的关键不是幻觉本身,而是它的输出有没有对外发布、有没有进入决策链、有没有人工复核留痕。
幻觉是不是一定算模型算法风险?
不一定。模型算法风险更关注模型自身的能力边界和不可复现性,适合自研或深度定制模型。如果幻觉输出直接对外发布,主要矛盾在内容安全;如果被拿去支撑决策,主要矛盾在业务操作流程。把一切都归到算法风险,容易让使用侧的复核责任被忽略。
归类之后具体要做什么?
按归属给动作:模型算法主线加输出校验和来源标注,内容安全主线加审核节点,业务操作主线加人工复核和留痕要求。同时把定性依据、归属结论和整改动作写成可复查记录。涉及具体行业口径时,到站内安全与合规术语对照页核对当时的要求。