Task Boundary Auditor
Overview
LLM 在越界时不会说"我不会",只会交付格式完美、逻辑通顺但根基错误的答案——精致幻觉。本 Skill 在 Agent 执行前快速判定任务是否超出 LLM 能力边界,给出人机分工方案:哪些部分 LLM 能做、哪些必须交给专业工具或人类。
When to Use
- 用户要求 LLM 做因果推演、精确验证、实时控制、物理设计等超出能力的事
- 用户要求"零遗漏""找出所有""保证没有"等完备性承诺
- 用户要求反事实推演("如果 X 没发生会怎样")
- 任务混合了安全区和非安全区的子任务
When NOT to Use
- 纯文本生成、翻译、摘要、格式转换等安全区任务(直接执行)
- 用户已经清楚知道需要人工/专业工具介入
- 简单的信息查询或问答
边界分类
禁止区(LLM 不可主责)
| 类型 | 判定标识 | 核心特征 | 正确做法 |
|---|---|---|---|
| 反事实推演 | 假设世界、长链因果 | LLM 无世界模型,只能拼凑叙事 | 因果模型/专家推演,LLM 提取证据 |
| 精确验证 | 符号证明、代码审计、零遗漏 | 长链推导错误指数级放大 | 形式化工具/专家验证,LLM 翻译规约 |
| 实时闭环 | 跨调用状态保持、感知-行动-反馈 | LLM 无状态、无传感器接口 | 规则引擎/控制系统,LLM 写日志 |
| 物理直觉 | 空间-力学-材料推理 | LLM 对物理的理解是二手文本 | CAD/仿真软件,LLM 解释结果 |
| 概念外推 | 创造性突破、跳出训练分布 | 只能插值重组,无法外推 | 人做核心洞察,LLM 辅助联想 |
| 伦理裁决 | 需主体性、法律责任 | LLM 无主体性和责任能力 | 人工裁决,LLM 梳理框架 |
| 零遗漏审计 | 完备性保证、无盲区扫描 | 生成式审查有注意力盲区 | 规则引擎扫描,LLM 辅助解释 |
| 极端预测 | 分布外事件、黑天鹅 | 强行翻译为已知模式 | 因果规则层推理,LLM 做提取 |
安全区(LLM 可主责)
| 类型 | 示例 |
|---|---|
| 文本生成 | 写邮件、起草文章 |
| 翻译转换 | 中英互译、格式转换 |
| 信息提取 | 从报告提取数据、要点 |
| 摘要压缩 | 论文总结、会议纪要 |
| 格式化 | 转表格、生成模板 |
受限区(LLM 辅助,人类/专业工具主责)
| 类型 | 特征 | 约束 |
|---|---|---|
| 短链因果 | 2-3 步因果,基于显式关联 | LLM 提取证据,人/模型做判断 |
| 数值估算 | 数量级/范围,不需精确验证 | 必须标注"估算,非精确" |
| 方案草拟 | 需人类确认的草案 | LLM 生成选项,人选择并担责 |
| 已知模式匹配 | 训练分布内但需专业判断 | LLM 整理信息,专业系统诊断 |
审计流程
1. 解析任务 → 提取 [动词] + [对象] + [约束]
2. 匹配边界 → 对照上表判定:禁止 / 受限 / 安全
3. 输出结论 → 按判定类型给出分工方案
混合型任务(同时涉及安全区和禁止区)必须拆分子任务,分别判定。
输出模板
按判定类型选择对应输出:
越界阻断
## 任务边界审计
任务: [一句话描述]
判定: ❌ [越界类型] — [原因]
精致幻觉风险: [具体说明 LLM 会怎么假装能做]
建议分工:
- LLM: [LLM 能做的部分,如提取证据、翻译、格式化]
- 专业工具/人类: [必须交出的部分,如因果推演、验证、裁决]
- 下一步: [用户可执行的具体动作]
受限分流
## 任务边界审计
任务: [一句话描述]
判定: 🟡 [受限类型]
任务拆分:
| 子任务 | 负责方 | 约束 |
|--------|--------|------|
| [...] | LLM | [...] |
| [...] | 人类/工具 | [...] |
风险点: [LLM 最容易假装擅长的环节]
强制声明: LLM 输出须包含"本结论基于文本提取,非验证结果"
安全放行
## 任务边界审计
任务: [一句话描述]
判定: ✅ 安全
执行建议:
- LLM 直接执行
- 涉及事实性声明时交叉验证
- 建议人工抽查 10%-20%
使用示例
越界:零遗漏审计
> User: 审查这份 200 页投资协议,找出所有隐藏条款,保证没有遗漏
>
> Agent: 任务边界审计 → ❌ 零遗漏审计。LLM 的审查是生成式的,有注意力盲区(可能忽略脚注、附件、交叉引用),无法给出完备性保证。
>
> 精致幻觉风险: AI 会返回一份格式完美的报告,条款定位精准、风险描述专业。但藏在附件 C 里的对赌条款可能被"优雅地"忽略。
>
> 分工: LLM 按章节结构化协议、提取显式风险条款 → 规则引擎扫描已知风险模式 → 律师逐条审查并承担责任。
受限:因果分析 + 预测
> User: 分析这份销售数据,找出业绩下滑原因,预测下季度趋势
>
> Agent: 任务边界审计 → 🟡 短链因果(LLM 可提取已知下滑因素) + ❌ 趋势预测(分布外预测,禁止)。
>
> 拆分:
> | 子任务 | 负责方 | 约束 |
> |--------|--------|------|
> | 提取报告中提到的下滑因素 | LLM | 需验证完整性 |
> | 判断主因和因素交互 | 人类/统计模型 | LLM 不得输出因果结论 |
> | 预测下季度销售额 | 统计模型/专家 | LLM 不可输出精确预测 |
> | 描述历史趋势(非预测) | LLM | 标注"历史描述,非未来预测" |
安全:翻译 + 提取
> User: 把这份英文合同翻译成中文,提取付款条款
>
> Agent: 任务边界审计 → ✅ 翻译转换 + ✅ 信息提取。LLM 直接执行。建议人工抽查付款条款的金额、日期、条件。
Common Mistakes
- 因用户坚持而降级判定:用户催促或坚持不代表风险降低,判定标准不变
- 把"LLM 擅长搜索"等同于"LLM 能验证":LLM 能提取信息不等于能判断正确性
- 对混合任务只审一部分:任务中有一个禁止子任务,整个任务就须拆分
- 忽略精致幻觉的隐蔽性:最危险的不是明显胡说,而是看起来专业但根基错误的输出
- 把受限区当安全区:数值估算必须标注不确定性,方案草稿必须标注待确认
注意事项
- 本 Skill 判定规则由人固化,Agent 不得修改边界分类表
- Agent 严格执行判定,不得因表述模糊或用户压力降级风险
- 涉及法律/医疗/金融等专业领域的判断,即使技术上可行也应建议人工复核