做合规或安全评审时,常被问一句:模型编造内容,这算哪门子风险。有人归到内容安全,有人归到数据准确,还有人写进模型算法风险。归错类,后面的评估表、缓解措施和责任划分全跟着偏。这篇给一套判断口径和对照表,把幻觉的归属讲清楚,也说明什么情况下不能这么归。
先搞清:归属为什么会影响你的评审结论
很多人查「大模型幻觉问题属于下列哪种风险」,是想找一个标准答案。但落到实际评审里,归属不是填空题,而是决定后面整条链路怎么走。同一句编造,你把它归成内容质量缺陷、归成数据安全事件、归成合规风险,用的表单、签字的人、整改的验收方式全都不同。归错类,整改项就会和检查表对不上号,评审会当场卡住。
更麻烦的是,幻觉本身不带标签,标签是你按场景贴上去的。同样一句「这个药对某类人群可能有效」,出现在客服问答里可能只是答非所问,出现在医疗建议里就是高风险输出。所以判断归属时,先看这句话会被谁看到、会被拿去做什么决策,再看它错在哪。
| 出现场景 | 通常归到哪类 | 处置强度 | 谁更该签字 |
|---|---|---|---|
| 客服问答、营销文案 | 内容质量与准确性 | 中,主要是抽检和话术修正 | 业务负责人 |
| 财报摘要、对外披露 | 合规与信息披露 | 高,要求可追溯、可回滚 | 合规或法务 |
| 医疗、法律、金融建议 | 专业领域高风险输出 | 最高,倾向强兜底和人工复核 | 风控或专业审核岗 |
| 内部知识库检索 | 数据与知识治理 | 中低,重点是知识源维护 | 知识库负责人 |
注意这张表只是常见口径,不是标准。什么情况下不适用?当你的产品已经有明确的内部风险分类办法,或者备案、安全测评时监管给了特定口径,那就以那个口径为准,别自己另起一套。归类的目标是能自圆其说,不是找一个最漂亮的说法。
- 看受众:这句话是给内部人看还是给外部用户看,外部触达通常升级
- 看用途:是被当参考还是被当依据,被当依据的处置更重
- 看可逆性:发出去能不能撤回、能不能更正,不可逆的要提前兜底
- 看频次:偶发还是批量,批量出现要按系统性问题处理
- 看现有口径:先翻站内已有的分类说明和测评口径,别和既有体系打架
- 先定场景,再定风险拿到一个幻觉案例,先写清它出现在哪个功能、面向谁、被用来做什么决策。这三项不定,归属就会来回摇摆。
- 对照现有口径翻一遍内部风险分类表和站内测评口径,看这个场景本来归在哪一类。可以到 站内测评与合规口径相关页面 核对措辞,别自己造术语。
- 确认签字人归属定完,立刻确认这类风险由谁签字、走哪张表。签错人,后面整改验收会被打回。
- 写一句话理由用一句话说明为什么归这一类、什么情况下会改归。这句话是评审时最好用的挡箭牌,也是口径能自圆其说的证据。
三个常见归类口径,各自的适用边界
同一个幻觉现象,放进不同的表格里,后面要做的动作完全不一样。归到算法风险,就得写技术缓解方案;归到内容风险,就得写复核流程;归到合规风险,就得写对外披露和留痕。所以先别急着下结论,先看这次评估想解决什么问题,再选口径。
| 归类口径 | 看幻觉是什么 | 适合的场景 | 不适用的情况 |
|---|---|---|---|
| 模型算法风险 | 模型固有能力缺陷 | 技术侧评估、缓解措施归口、迭代排期 | 要给业务上线签字、要对外解释输出内容 |
| 内容与业务应用风险 | 输出质量问题 | 业务上线评审、人工复核机制设计 | 纯技术选型对比、不涉及对外输出 |
| 数据与合规风险 | 错误信息传播与披露 | 面向外部用户、受监管或强披露场景 | 内部试验阶段、输出不对外、无留存要求 |
- 先问这次评估的产出物是什么:技术报告、上线评审单,还是合规说明;产出物决定口径。
- 再问输出的受众是谁:只给内部研发看,和给外部用户或监管方看,侧重点不一样。
- 再看有没有人工兜底环节:有复核机制时,归内容风险更贴近实际运行状态。
- 最后看有没有对抗因素:如果错误输出是由人故意引导或提示注入触发的,单归算法风险会漏掉这部分。
- 确定主口径按产出物选一个主口径,不要一句话里同时挂三个风险类别,否则后续责任归属会含糊。
- 标注次口径把不占主导但确实存在的风险写成附加说明,比如主归内容风险,附注「也涉及模型侧能力边界」。
- 留对抗性备注如果排查时发现输入里有人为引导、构造提示或注入痕迹,在结论里单独写一条,别让它被算法风险吞掉。
- 核对站内口径拿不准用哪种归类,到 指南中心(/guides) 看同类评测是怎么分的,保持前后一致。
这三个口径不是互斥的,但主次必须清楚。一份评估报告里如果三个都写成同等权重,评审人反而不知道该按哪条流程走。务实做法是选一个主口径定流程,其余两个作为补充说明写在旁边。
怎么按你的场景选定归属:四步判断顺序
很多人卡在这一步:知道幻觉有好几种风险,但落到自己项目上就不知道该选哪个。与其纠结定义,不如按顺序走四步,每一步只问一个问题,问完就往下走,最后自然收敛到一个归口,而不是靠感觉拍一个。四步的顺序不能换,因为后一步依赖前一步的答案。
- 第一步:这个输出会不会对外披露先问输出给谁看。只在小圈子内部流转、用于自己调试或草稿阶段,暂时按内部质量问题记录即可;一旦会给到客户、公开渠道、合作方或写进正式交付物,就先按内容与合规口径归口,因为对外内容出错牵涉的是声誉和合规,不是单纯的模型准不准。验证方式:看这次输出的下游有没有外部读者,名单里只要有一个外部方,就走对外档。
- 第二步:错了会造成什么后果再看最坏情况。涉及资金划转、健康建议、法律判断、合同条款解读这类一旦出错就要担责或赔钱的场景,直接按最高档归口,不要因为概率低就降级。反过来,只是起个草稿名、生成一段占位文案、做内部头脑风暴,可以按较低档处理。这里的关键是看后果的量级,而不是看幻觉出现的频率。
- 第三步:错在哪一环定位错误来源,不同来源对应不同风险类别。模型本身知识过时或编造,归到模型能力风险;检索到的资料本身就是错的或过期的,归到数据与检索风险;提示词没说清约束、没给参考材料,导致模型自由发挥,归到输入与流程风险。做这个判断时最好把出错的问答原文和当时用的提示词一起留档,否则事后很难复盘到底错在哪一环。
- 第四步:写进评估表并注明不适用情形把前三步的结论落成一行记录:归口类别、判断依据、以及什么条件下这个归口不成立。比如按合规档归口,但要注明「仅内部试用、不对外发布时可按内部质量档处理」。不要只写一句「属于模型风险」就完事,那样等于没判断。这一步做扎实,后面换场景时可以直接复用这套结论。
| 判断维度 | 往高档归口的情况 | 可往低档归口的情况 |
|---|---|---|
| 输出去向 | 会给客户、公开渠道、正式交付物 | 仅内部调试、草稿、头脑风暴 |
| 错误后果 | 涉及资金、健康、法律判断,要担责或赔钱 | 仅影响排版、占位内容、内部参考 |
| 错误来源 | 模型自身知识、检索资料、提示词任一环都算 | 仅限于人为误改的二次加工环节 |
评审现场能直接用的动作清单
评审会最怕的不是发现幻觉,而是每个人对「这算哪类风险」各说各话,讨论半小时没落到动作上。下面这套做法只做一件事:把幻觉表现先归类登记,每一类当场挂上缓解动作和验证动作,再给一条复核触发线,最后留一栏写清不适用的情况,方便下一位评审人接手时不用重新推一遍。
| 幻觉表现 | 缓解动作(事前) | 验证动作(事后) | 本归属不适用的情况 |
|---|---|---|---|
| 事实性编造:编出不存在的事件、人物、机构关系 | 把该问题限定在可检索范围内提问,要求模型只基于给定材料作答 | 用两个独立来源交叉核对关键事实,核不到就当没有 | 纯创意写作、头脑风暴场景,不要求事实为真 |
| 引用不存在的来源:标题看着像真的,链接或出处对不上 | 要求输出可点开的原始出处,不许只给来源名称 | 逐条点开出处,确认标题、作者、结论对得上 | 讨论内部未公开材料,本来就没有外部来源可查 |
| 时间与数字错位:把旧数据当当前值,把区间写成点值 | 提问时明确要口径,例如「以哪份材料为准、哪一时点」 | 回到站内数据页核对当时的数字,不看模型复述 | 做历史回顾或趋势示意,口径已声明为示意 |
| 指令性错误:没按要求格式输出,漏掉约束条件 | 把格式、字段、长度拆成清单逐条写进提示词 | 拿一条标准样例做对拍,字段缺一个就算不通过 | 探索性对话,本就没给硬性格式要求 |
- 归类只选一类:一条输出如果同时像编造又像错位,按「最可能影响下游动作」的那类登记,别并列写两三个。
- 缓解动作必须能在提问前执行,写完自己问一句「下次谁来都能照做吗」。
- 验证动作必须能给出通过或不通过的判断,写「再检查一下」这种不算。
- 不适用栏一定要填,空着等于告诉下一个人这类判断永远成立,反而误导。
- 开场先分四类把待评审的输出逐条贴到对照表第一列,四类中挑最贴近的一类填入。分不清就先标「待定」,不要硬塞。
- 当场补两个动作每行当场写缓解和验证,写不出来的先空着,散会后由提问方补齐再回传,避免会上空谈。
- 过复核触发线逐行判断是否踩到对外发布、涉及金额、结论性判断这三条线,踩到就转人工复核并记录谁复核。
- 填不适用栏由最熟悉该场景的人填,写清什么条件下这条归属不成立,下一位评审人先看这一栏再决定要不要重走流程。
这套清单的价值在于可交接。你不在场时,下一位评审人只要看对照表四列加一栏不适用说明,就能判断这条输出该不该重新归类、该不该再走一次复核。想把复核记录和站内已有的工具、指南串起来用,可以到 指南中心(/guides) 找对应流程模板,再到 工具目录(/tools) 挑一个顺手的记录工具,别每次从零建表。至于当前各类模型在这几类表现上的实际差异,去看 模型资料库(/models) 里当时的记录,本文不写死任何数字。
常见问题
幻觉到底算模型算法风险还是内容风险?
看它在哪里出现、错给谁看。只在内部草稿里出错,按模型算法风险归口做技术评估就够了;一旦输出对客户、监管或公众可见,就同时成立内容与业务应用风险,两套措施都要上。实务里多数场景是双归口,硬要二选一反而会让整改项缺一块。
不同厂商的分类体系不一样,评审时怎么对齐?
不要试图把所有体系合并,先确认你所在行业或备案口径用的是哪一套,再把内部评估表映射过去。表里保留原始判断依据和场景描述,映射关系写清楚。如果监管口径有两套并存,按更严的那套准备材料,另一套只做补充说明。
把幻觉归成算法风险,是不是意味着业务方不用负责?
不是。归到算法风险只是说明技术侧要出缓解方案,业务侧仍要担输出审核与使用边界的责任。评审时建议分开写:技术侧承担能力与监测,业务侧承担场景准入与人工复核。两边责任都写实,出问题时才不至于互相推。