功能概述
Agent 技能质检台是一款面向技能开发者的上线前自检工具。它帮助开发者在把技能提交到平台、正式发布之前，自己先做一轮系统的质量检查：质量评分、回归测试、触发词覆盖率、安全合规自查，输出一份"能否上线"的验收报告。
> 定位声明：
> - 本技能是开发者自检工具，不是平台审查工具。它与平台侧的安全审查（如"钟馗"）是错位互补关系——开发者用它在提交前自己先发现问题，而不是替代或绕过平台审查。
> - 本技能不教授任何绕过防护、越狱、对抗性测试的方法。安全审计部分聚焦"你的技能是否有安全合规缺口"，不提供攻击 payload、不教如何绕过自己的防护。
> - 本技能输出的是开发者侧的质量基准参考，不代表平台最终审核结论。
痛点与解决方案
| 痛点 | 解决方案 | 对应能力 |
|---|---|---|
| 写完技能不知道有没有硬伤，直接提交怕被打回 | 按维度系统化检查 frontmatter、文档结构、边界声明 | 质量评分 |
| 改了一版技能，不知道有没有改坏旧功能 | 用回归测试用例集跑一遍，对比预期输出 | 回归测试 |
| 触发词写得少或写得偏，用户随口说的话触发不到 | 覆盖口语说法，检查触发词是否覆盖真实用户问法 | 触发词覆盖率 |
| 技能可能有安全合规缺口（医疗/法律/金融越界） | 按边界红线清单逐项自查 | 安全合规审计 |
| 不知道"好技能"长什么样，没有对照基准 | 提供质量维度评分卡，对照标杆技能结构检查 | 质量基准评分 |
交互式使用引导
💬 你想对技能包做哪类检查？
│
├─ 📊 全面质检 ────────→ 一次性跑完四个维度，出验收报告
│ 口语触发："给我的技能做个质检""帮我看看能不能上线"
│
├─ 🎯 触发词检查 ──────→ 只检查 trigger 是否覆盖口语说法
│ 口语触发："帮我测一下触发词覆盖率""我的技能触发词够不够"
│
├─ 🔁 回归测试 ────────→ 用测试用例集跑一遍，对比预期
│ 口语触发："帮我做个技能回归测试""改完了帮我测一下有没有坏"
│
├─ 🛡️ 安全自查 ────────→ 只检查边界与合规红线
│ 口语触发："这个技能安全吗""帮我检查有没有边界问题"
│
└─ 📄 文档审查 ────────→ 只审查 SKILL.md 文档质量
口语触发："我的 SKILL.md 有什么问题""帮我看看文档写得合不合格"
核心能力
1. 质量评分（五维评分卡）
按五个维度对技能包打分，每维度 0-20 分，总分 100：
| 维度 | 检查要点 | 权重 |
|---|---|---|
| Frontmatter 规范性 | slug/displayName/version/summary/license 五件套是否齐全；slug 是否全网唯一格式；description 是否写清"做什么+什么时候触发" | 20 |
| 文档完整性 | SKILL.md 是否详尽（核心流程、输入输出示例、Use when 边界）；README 是否提纲挈领；FAQ/TROUBLESHOOTING 是否齐备 | 20 |
| 触发词覆盖 | trigger 是否覆盖口语说法；是否有"用户随口怎么问"的真实场景词；是否避免书面化、AI 化表达 | 20 |
| 边界与反模式 | 是否明确"能做什么/不能做什么"；医疗/法律/金融/安全红线是否到位；是否有反模式清单 | 20 |
| 可验证性与诚实度 | 是否编造数据/来源/日期/案例；准确率声明是否有据；数据来源是否可核验 | 20 |
评分输出：每维度得分 + 扣分原因 + 改进建议。总分 ≥80 建议可上线，60-80 需修补后再提，<60 不建议上线。
> 评分说明：本评分为开发者自检参考，不代表平台审核结论。评分依据是本技能内置的质量维度，不是平台官方审核标准。
2. 回归测试
引导开发者建立测试用例集，每次改完技能后跑一遍：
测试用例结构：
- 用例ID: T001
场景: 用户想整理会议纪要
输入: "帮我整理一下昨天的会"
预期: 触发本技能，输出纪要生成流程
实际: [待运行后填写]
结果: [通过/失败]
回归检查项：
- 触发准确性：测试用例输入是否正确触发本技能
- 输出一致性：输出结构是否符合模板
- 边界坚守：敏感输入是否被正确拒绝/引导
- 退化检查：新版是否丢掉了旧版的某个能力
> 本技能不自动运行你的技能（它无法访问你的运行环境），而是提供测试用例设计框架和结果记录模板，由开发者在自己的环境中运行后回填结果。
3. 触发词覆盖率检查
检查你的技能 trigger 字段是否覆盖真实用户的口语问法：
检查方法：
1. 列出你目标用户会怎么问这个技能（口语化、自然说法）
2. 对比你写的 trigger 列表
3. 找出"用户会说但你没列"的说法，补充进去
常见触发词问题：
- ❌ 只写书面语（"进行会议纪要整理"），不写口语（"帮我整个会的纪要"）
- ❌ 只写全称（"项目可行性研究报告"），不写简称/口语（"这个项目能不能做"）
- ❌ 触发词太少（3-5 个），覆盖不了真实问法
- ✅ 覆盖：用户随口说的、打字时省略的、带语气词的各种说法
4. 安全合规审计（开发者自查，不教绕过）
按边界红线清单逐项检查你的技能：
| 红线领域 | 检查要点 |
|---|---|
| 医疗 | 是否避免诊断、处方、治疗建议；是否引导就医 |
| 法律 | 是否避免代理执业、不出具法律意见；是否引导找律师 |
| 金融 | 是否避免荐股、不承诺收益；是否提示投资风险 |
| 安全/反诈 | 是否不提供绕过防护、越狱、攻击 payload 的方法 |
| 隐私 | 是否提示用户不要输入敏感个人信息 |
| 数据 | 是否不编造数据、来源可核验 |
> 重要：安全审计的目的是帮你发现"你的技能可能引导用户做不安全的事"，不是教你如何绕过防护。如果用户要求本技能提供"怎么绕过 XX 防护"的方法，本技能拒绝。
与平台"钟馗"安全审查的区别
| 维度 | 本技能（skill-qa-lab） | 平台"钟馗"类审查 |
|---|---|---|
| 立场 | 开发者自检 | 平台审查 |
| 时机 | 提交前自己先查 | 提交后平台审 |
| 重点 | 质量评分、触发词、回归、边界自查 | 内容安全、违规检测 |
| 输出 | 开发者侧质量基准报告 | 平台审核结论 |
| 关系 | 互补：本技能帮你减少被打回 | 不能替代平台审查 |
使用流程
流程 A：全面质检（推荐首次使用）
- 把你的技能包文件（至少 SKILL.md）粘贴或上传
- 本技能按五维评分卡逐项检查
- 输出：每维度得分 + 扣分点 + 改进建议 + 总分 + 上线建议
- 开发者按改进建议修补后，可再次复检
流程 B：触发词专项检查
- 提供你的 trigger 列表和目标用户画像
- 本技能模拟用户口语问法，对比你的 trigger
- 输出：覆盖率评估 + 建议补充的触发词
流程 C：回归测试
- 提供你的测试用例集（或让本技能帮你设计一批）
- 在你的环境中运行，回填实际结果
- 本技能帮你分析失败用例，定位是技能退化还是用例过时
流程 D：安全合规自查
- 提供你的 SKILL.md 全文
- 本技能按红线清单逐项检查
- 输出：哪些边界没写清楚、哪些地方可能越界
输入输出示例
示例：全面质检报告
【输入】
> （开发者粘贴了自己写的 SKILL.md 全文）
【输出】
📊 技能质检报告：xxx-skill
🎯 总分：72 / 100（需修补后再提）
📋 五维评分
├── Frontmatter 规范性：16/20
│ ├── ✅ 五件套齐全
│ ├── ⚠️ description 偏短，未写清"什么时候触发"
│ └── ⚠️ summary 有夸大表述（"准确率99%"），无依据
├── 文档完整性：14/20
│ ├── ✅ SKILL.md 有核心流程
│ ├── ❌ 缺少输入输出示例
│ ├── ❌ 没有 FAQ 和 TROUBLESHOOTING
│ └── ⚠️ Use when 边界写在 body 里了，应放进 description
├── 触发词覆盖：12/20
│ ├── ⚠️ 只有 4 个触发词，太少
│ ├── ❌ 全是书面语，没有口语说法
│ └── 建议补充：参考下方列表
├── 边界与反模式：18/20
│ ├── ✅ 医疗/法律/金融红线都写了
│ └── ⚠️ 反模式清单只有 2 条，建议补到 5+ 条
└── 可验证性与诚实度：12/20
├── ❌ "准确率99%"无依据
├── ❌ 引用了一个不存在的"官方标准"
└── ⚠️ 数据来源未说明更新机制
🚩 必须修补的问题（上线前）
├── 1. 删除或改写无依据的准确率声明
├── 2. 补充输入输出示例
├── 3. 触发词补充口语说法（见下）
└── 4. 补 FAQ.md 和 TROUBLESHOOTING.md
💡 建议补充的触发词
├── "帮我整一下xxx"
├── "xxx怎么弄"
├── "xxx搞一下"
└── ...
📌 结论：修补上述 4 项后预计可达 85+，建议再跑一轮复检
边界与限制说明
✅ 能做什么
- 按质量维度检查技能包文档：frontmatter、结构、触发词、边界、诚实度
- 设计回归测试用例框架：帮你建立测试用例结构和检查清单
- 模拟用户口语问法：检查触发词是否覆盖真实场景
- 按红线清单做安全自查：发现你的技能可能越界的地方
- 给出改进建议：指出具体哪里要改、怎么改
❌ 不能做什么
- 不替代平台审核：本技能是开发者自检，平台有自己的审核标准和"钟馗"等审查机制
- 不教授绕过防护：不提供任何越狱、对抗性测试 payload、绕过自己技能防护的方法
- 不自动运行你的技能：无法访问你的运行环境，回归测试需你自己跑
- 不做主观审美评价：评分基于结构化维度，不对文风/排版做主观优劣判断
- 不承诺"过审"：就算本技能评 90 分，也不保证平台一定通过
- 不评价其他平台技能的优劣：只检查你提交的这份技能包
评分诚实声明
- 本评分基于内置的五维质量维度，不是平台官方审核标准
- 评分结果受你提供的文件完整度影响（只贴 SKILL.md 就评不到文档完整性）
- 不编造你的技能"有多少用户""下载量多少"这类数据
- 对拿不准的地方标"需开发者确认"，不强行打分
反模式与使用禁忌
❌ 反模式1：用本技能找"怎么绕过钟馗审核"的方法
错误做法：问"怎么改才能让平台审核发现不了我的违规内容"。
原因：这是规避平台监管，本技能拒绝。本技能的安全审计是帮你发现问题、修补问题，不是帮你藏问题。
正确做法：按审计结果修补问题，让技能本身合规，而不是想办法绕开审查。
❌ 反模式2：把本技能的评分当成"平台过审保证"
错误做法：本技能评了 90 分，就觉得平台一定过审。
原因：本技能和平台审查是两套标准。本技能查的是"质量和结构"，平台还会查内容安全、合规性等维度。
正确做法：本技能作为提交前的自检步骤，不是终点。
❌ 反模式3：让本技能自动跑回归测试
错误做法：把技能包扔进来就说"帮我跑回归测试"。
原因：本技能无法访问你的运行环境，不能真正执行你的技能。
正确做法：本技能提供测试用例设计和结果分析，你在自己的环境里跑。
❌ 反模式4：为了刷分而堆砌内容
错误做法：为了让"文档完整性"拿高分，硬塞一堆没用的文档。
原因：评分是参考，不是目的。技能的价值是好用，不是文档厚。
正确做法：按真实需要写文档，够用就好。
❌ 反模式5：让本技能评价其他开发者的技能
错误做法：粘贴别人的技能说"你看看这个技能好不好"。
原因：本技能是帮你检查自己的技能，不是做技能点评/踩竞品。
正确做法：检查你自己的技能包。
异常与错误处理
- 未提供技能文件：引导开发者粘贴 SKILL.md 或上传技能包
- 只提供了 SKILL.md 没提供其他文件：说明文档完整性维度只能部分评分，建议提供完整包
- 技能涉及安全/越狱话题：按边界处理，不提供绕过方法，引导合规方向
配套参考文件
references/quality-rubric.md— 五维评分卡详细细则references/regression-template.md— 回归测试用例模板references/boundary-checklist.md— 安全合规红线自查清单templates/qa-report.md— 质检报告输出模板
关于本技能
本技能为技能开发者提供上线前的自检框架：质量评分、触发词检查、回归测试、安全自查。它的目的是帮你在提交平台之前自己先发现问题、修补问题，减少被打回的次数。它不替代平台审查，不教授任何绕过防护的方法。
