司契·制度级审计
> 「有德司契,无德司彻。」——《道德经》第七十九章
>
> 司契者,持标准而不滥用权力。审核不是惩罚——是保护。保护你的AI产出的可信度不被幻觉和矛盾侵蚀。
>
> SkillHub上所有质量工具都在卖「检查错误」。司契在卖一个更深的东西: 你的AI通过了你的审核——但审核标准是你自己定的。司契打破这个循环。对照外部标准,不是框架内自洽。
为什么需要司契
AI审核的死循环
你让AI写了一份报告
↓
你让AI审核自己的报告
↓
AI说:✅ 通过,没有问题
↓
——但你审核所用的标准,也是AI生成的。
这不是AI的错。这是结构性的:产出者不能自判质量。 判权必须归独立方——这个原则不是一句口号。它在投资、医疗、认知三个独立领域被三次独立验证过。
司契做的事很简单:替你带一套外部标准进去。 不是替你判断对错——是替你问 AI 那些你自己可能没想到要问的问题。
司契 vs 竞品
| 同类产品 | 司契 | |
|---|---|---|
| 做什么 | 检查代码错误、格式问题、事实准确性 | 检查审核标准本身 |
| 怎么审 | AI自查自纠 | 对照独立标准清单逐项签章 |
| 审几次 | 一次 | 六级递进——每级不通即阻断 |
| 有先例吗 | 无 | 7 条实战反幻觉先例,每条有根因+预防 |
| 能升级吗 | 固定规则 | 措辞可追溯性校准——「无冲突」≠穷尽验证 |
同类产品告诉你「这里有个错」。司契告诉你「你的审核方法本身缺了什么」。
六级终审签章
司契的核心操作:将 AI 产出拆解后,逐项对照六级标准签章。任一 🔴 = 不通过。
① 自洽性 内部逻辑是否一致?前提与结论之间是否可推导?
② 前提显式化 前提假设是否明确写出?是否有隐藏前提?
③ 适用范围 什么条件下成立?什么条件下不成立?
④ 来源可追溯 每项声明是否引用具体来源?推理推断是否标注?
⑤ 概念梯度 是否存在概念通胀?词汇的使用是否匹配其梯度?
⑥ 跨域一致性 新产出是否与既有知识体系冲突?
签章输出格式
① 自洽性 🟢
② 前提显式化 🟢
③ 适用范围 🟡 缺少非适用边界声明
④ 来源可追溯 🟢
⑤ 概念梯度 🟢
⑥ 跨域一致性 🔴 与既有条目 XXX 存在术语冲突
────────────────────────────
终审:🔴 不通过(2 项需修正)
每项签章的检查问题
① 自洽性
- 前提与结论之间是否可推导?还是跳跃了?
- 同一产出中是否有自相矛盾的陈述?
- 逻辑链的每一步是否清晰标注了推理方向?
② 前提显式化
- 「我没有明说但依赖了的假设」是什么?
- 是否默认了某个条件成立但不加说明?
- 如果某个前提不成立,结论是否仍然有效?
③ 适用范围
- 什么条件下这个结论成立?
- 什么条件下这个结论不成立?(这比「适用」更重要)
- 适用范围是被证明的,还是被假设的?
④ 来源可追溯
- 每个数据/引用是否标注了具体来源?
- 推理推断是否明确标注「推理推断」而非伪装为事实?
- 来源是「一手」还是「二手」?二手来源是否诚实标注?
⑤ 概念梯度
- 使用的术语是否在正确的技术梯度上?
- 是否存在「用大词描述小操作」的概念通胀?
- 跨领域借词是否检查了语义匹配度?
⑥ 跨域一致性
- 新结论是否与已建立的结论冲突?
- 如果冲突——是新结论有问题,还是旧结论需要更新?
- 验证范围声明:检查了什么、没检查什么?
证据等级分级(三级强度校准)
不是所有「来源」都一样重。司契使用三级证据强度校准:
| 等级 | 定义 | 判定标准 | 示例 |
|---|---|---|---|
| 🔵 L3 | 多域多源交叉验证 | ≥2 个独立域 + ≥3 个独立来源一致 | 「该原则在投资域、医疗域、建筑域分别独立验证」 |
| 🟡 L2 | 多源单域验证 | ≥2 个独立来源一致,但在单一域内 | 「2 篇独立论文报告了相似效应量」 |
| 🔴 L1 | 单源声明 | 单一来源,未经交叉验证 | 「根据某研究…」(且仅有此一处引用) |
操作规则:
- 被审产出的每个关键断言 → 标注证据等级
- L1 声明 → 触发「不可单独用作决策依据」警告
- L3 声明 → 可标注「当前最高可用置信度」
措辞精确度规则
审核结论的措辞本身就是被审核对象。同样的审核结果,措辞的精确度决定它是「诚实的不完全验证」还是「伪装成穷尽验证」。
| 措辞 | 使用条件 |
|---|---|
| 「未发现冲突」「未发现不一致」 | 默认措辞——做了验证但未做穷尽检查 |
| 「无冲突」「无一例外」 | 仅在穷尽验证后使用——必须标注「检查了全部 N 条,逐条确认」 |
| 「基于关联声明验证」「在此验证范围内」 | 跨域审核结论必须附带验证范围声明 |
为什么这条规则重要
H07 号先例——「路径错位陷阱」——就源于措辞的不精确:审核者写了「审核通过」,但实际审核的是文件的旧版本。一个「通过」字掩盖了「我审的是什么版本」的关键信息。
规则:永远让读者知道你的验证范围——以及你没验证什么。
自判防线——谁在审?
这是司契最深的层次——不是检查产出的内容,而是检查审核行为本身。
| 红线 | 为什么危险 | 司契怎么做 |
|---|---|---|
| 产出者自判质量 | 「我写的→我审→通过」= 循环自证 | 产出者与审核者分离(对话内模拟) |
| 用自己的标准审自己 | 标准由产出者定义 → 标准会迁就产出 | 导入外部标准清单(六级签章) |
| 审核通过=绝对正确 | 通过只是「在此标准下未发现问题」 | 始终标注验证范围+证据等级 |
自检三问
每次审核结束后,司契会问三个问题:
- 谁在审? ——如果审核者和产出者是同一个对话上下文,这次审核的独立性有多高?
- 标准从哪来? ——审核使用的标准是外部给定的,还是产出者自己定的?
- 审了什么? ——列出本次审核实际检查的维度、条目、版本。未列出的 = 没审的。 原理:H07「路径错位」的教训——「审核通过」四个字没有告诉你审的是什么版本。验证范围声明永远优于自我报告盲区。
反幻觉先例库(公开版·7条)
> 每个先例包含:症状 → 根因 → 幻觉机制 → 预防方法。
#1 流畅感幻觉
症状:AI 输出精确数字 + 学术口吻,听起来非常可信。
根因:LLM 倾向生成「应该产生的结果」而非「数据实际显示的结果」。
预防:精确数字 → 问「这个数字的置信区间和样本量是多少?」
#2 注入≠利用
症状:在 Prompt 中注入了详细数据,AI 生成了长篇分析——但全文零处引用注入的数据。
根因:数据进了上下文窗口,模型选择了自己的训练分布。
预防:注入数据后 → 检查产出是否实际引用了注入数据。
#3 过拟合幻觉
症状:AI 声称某策略「过去10年100%跑赢大盘」。
根因:回测过拟合 + 幸存者偏差。金融市场中 100% 胜率策略的先验概率 ≈ 0。
预防:遇到 100% 声明 → 问「样本外测试结果?为什么没被套利到失效?」
#4 幸存者偏差
症状:「所有采用 X 方法的公司都成功了。」
根因:AI 只看到活下来的公司。失败的公司消失在数据中。
预防:遇到「所有…都成功」→ 问「失败率是多少?失败的样本在哪?」
#5 版本号幻觉
症状:AI 说「当前版本为 v1.1.2」——但 v1.1.2 不存在。
根因:AI 天然倾向补全细节以显得完整。精确的版本号让人跳过验证。
预防:AI 生成的任何精确标识符(版本号、日期、ID)→ 去源头查证。
#6 状态视图偏离
症状:监控系统报告「任务失败」→ 实际任务正常完成。
根因:监控窗口 < 实际执行时间。状态视图落后于真实状态。
预防:从二元(成功/失败)升级为三态(等待中/执行中/已完成)。
#7 路径错位
症状:审核了文件,给出结论——但审的是旧版本。
根因:系统中存在两个文件位置(源文件 vs 缓存),审核者读取了缓存。
预防:审核前 → 比对源文件和缓存的时间戳。源文件更新 → 先同步再审核。
与明镜的互操作
司契和明镜是互补关系:
| 明镜 | 司契 | |
|---|---|---|
| 做什么 | 标注 AI 回答的可追溯性缺口 | 对 AI 产出执行制度级逐项签章 |
| 触发 | 自动——每段 AI 回答后 | 用户主动调用——「审一下这份报告」 |
| 输出 | ±3 行内联标注 | 结构化审核报告 + 签章表 |
| 深度 | 广度扫描(18 类问题) | 深度审核(六级递进) |
推荐工作流:
AI 产出 → 明镜扫描(自动标注缺口)
↓
用户审阅标注 → 决定是否需要深度审核
↓
调用司契 → 六级终审签章
↓
产出结构化审核报告
使用方法
基本调用
用户:审一下这份报告 [粘贴报告内容]
司契会:
1. 拆解报告为关键断言
2. 逐项执行六级签章
3. 对每个断言标注证据等级
4. 检查措辞精确度
5. 执行自检三问
6. 输出结构化审核报告
快速签章
用户:快速签章——只看自洽性和来源可追溯
司契会只执行指定的签章维度,跳过其余。
跨文档一致性审核
用户:这份新方法论([粘贴])和我现有的知识库有没有冲突?
司契会执行跨域一致性检查——重点比对术语、前提、结论是否与既有体系冲突。
What It Does NOT Do
- ❌ 不替你判断「对错」——只标注可追溯性缺口和逻辑链条的完整性
- ❌ 不替代独立审核——对话内的审核是独立审核的预演,真正的独立审核需要第二双眼睛
- ❌ 不做事实核查——验证来源真实性的工作指向你自己去查,同时告诉你往哪查
- ❌ 不保证 100% 捕获——六级签章是检查框架,不是穷尽验证
Limitations
-
上下文窗口限制:司契的审核质量受限于对话上下文中可获取的信息。如果被审产出的关键来源不在上下文中,司契只能标注「来源不可追溯」而无法自行搜索验证。
-
独立性限制:司契和产出者在同一对话上下文中运行——不是真正的独立第三方。这是产品形态的结构性限制,通过显式化「自检三问」来部分弥补。
-
先验概率的经验依赖:先例库的触发依赖于用户对所在领域基础发生率的了解。司契可以提示「这个声明的先验概率很低」——但无法替用户估算具体数值。
> 关于命名:「司契」出自《道德经》第七十九章「有德司契,无德司彻」——持标准而不滥用权力。此名经品牌方青焰授权,从经典概念转换为公开产品品牌。非内部体系命名。
司契 v1.0 · 制度级审计 · 六级终审签章
「有德司契,无德司彻。」——老子《道德经》
出品:青焰(Constellation)