技能评测官 · Skill Auditor

按腾讯 TRACE 五维框架评测 Skill，并直接回答用户最痛的那个问题：这么多同类 Skill，我到底该装哪个。

对标框架：腾讯科技 × SkillHub × 腾讯玄武实验室 2026-05-21 联合发布的 TRACE 严选评测体系。本技能按官方五维口径原生评分。

• 海量同质化选型（核心价值）：面对几十上百个功能重叠的 Skill，直接给结论——「装这个、别装那堆」，附 3 条具体理由。不填问卷、不用自己看指标表。
• 装机去重体检：扫一遍你的技能库，找出功能重叠的族群，告诉你留哪个、能释放多少空间，并自动识别「工具套件」避免误伤。
• 单技能评测：TRACE 五维评分 —— T 红线门槛 + R/A/C/E 加权 100 分。
• 上架前合规体检：上传到 SkillHub / SkillPay / WorkBuddy 之前跑一遍，预测会不会被拒、因为什么被拒。

评测模型：TRACE 五维

总分 100（T 通过后才计入）。评分细则见 references/trace-rubric.md。

等级：90+ 🥇严选级 / 75–89 🥈优质（可上架 SkillPay）/ 60–74 🥉合格 / <60 🔴不合格 / T FAIL ⛔淘汰。

前置条件

> 若环境无 python3，所有脚本步骤改为人工逐项核对 references/ 中的清单，流程不中断。

适用场景

• 手里有几个同类 Skill，不知道装哪个（选型）
• 技能库装了一堆，想清理但怕卸错（去重体检）
• 发布 / 上架前审查一个 Skill（workbuddy / skillhub / skillpay）
• 给已有 Skill 打分、找问题、给改进方案
• 验收学员或同事做的 Skill 是否达到可交付标准
• 审计 Skill 的安全可信与运行可靠性
• 评测 Skill 真实效果（触发率、增益、成本）
• 批量清点自己装了哪些 Skill、哪些有密钥风险

不适用：普通代码审查、PR 评审、审查 CLAUDE.md 或 README（非 Skill 文件）。

四种工作模式

模式一：单技能评测（TRACE 五维）

先跑四轴取证，再归并成 TRACE 五维得分：

最终产出 TRACE 五维分数表 + 总分 + 等级 + 上架建议。

模式二：多技能择优（选型）

帮用户在一堆同质化 Skill 里选最合适的。见 references/selection.md 与下方「选型推荐模式」。

模式三：上架前合规体检（preflight）

技能打包好、准备上传之前跑，预测会不会被平台拒。检查项全部来自真实上架踩坑。

python3 scripts/preflight.py <技能目录或 .zip> [--platform workbuddy|skillhub|skillpay] [--fix] [--json]

--platform skillpay 时额外三项（SkillPay 上架专项，依据腾讯云 SkillPay 公告）：
- P4 境外依赖：核心能力是否依赖墙外服务（SkillPay 考核国内可用性）
- P6 计费口径：SKILL.md 是否写明按次价格与单次交付边界（按调用量结算的硬要求）
- P12 内容完整性：是否混入平台注入文件（干扰内容指纹与数字签名）

退出码：0 可传 / 1 有风险 / 2 会被拒 —— 可直接接进批量脚本或 CI。

一键补字段：加 --fix 会尽力补齐缺失的顶层字段（补成空值并在报告里提示，仍需人工填内容）。

模式四：SkillPay 上架专项

用户说「要上 SkillPay」「检查 Pay Skill 是否合规」时走此模式，完整清单见 references/skillpay-preflight.md。

商家侧前置（一次性，资质可复用）：企业主体认证 → 绑定微信支付账户 → 设定单价 → 每次新增技能单独过合规审查。

技能侧一票否决项：

按次计费的四条设计要求：单次即完整 / 边界写清 / 批量场景拆分说明 / 不做预检式空转。

脚本工具箱（自动化取证）

自带 13 个纯标准库脚本。路径相对于本技能目录 scripts/：

> 脚本不可用时（无 python3），对应步骤改为人工按 references/ 清单核对，不得跳过。

模式一：单技能评测流程

Step 0：收集技能全部内容

1. 用户给路径 → Read 读取 SKILL.md；给名称 → 在 ~/.workbuddy/skills/、<项目>/.workbuddy/skills/ 搜索。
2. Bash 列目录 ls <skill-dir>，确认 scripts/、references/、assets/、evaluation/ 内容，逐一读取附带资源。
3. 输出文件清单（含行数）。信息不足先列缺什么，请用户补齐，不要硬评。

Step 1：结构校验（自动）

python3 <skill-doctor-pro>/scripts/validate.py <目标SKILL.md路径>

Step 2：取证 — 质量评分

1. python3 <skill-doctor-pro>/scripts/score.py <目标SKILL.md> 拿自动基线。
2. 读 references/rubric.md，按 Part A(100)+Part B(30) 逐项打分；机器判不了的项结合全文判定；score.py auto_flags 逐条回应。
3. 安全性用 scan_secrets.py 取证，发现真实密钥/私钥判安全 0 分，标 🔴 阻断。

误报治理（重要）：扫描器的可信度取决于误报率，报一堆假警报等于没报。已内置三重降噪：
- .md 剔除代码块/反引号（文档示例不算命中）；脚本剔除注释与 re.compile 定义行
- 密钥分两级：引号字面量 → CRITICAL；裸值需过「像密文」判据 → WARN 待复核
- 行内豁免：在该行末尾加 noqa: auditor 即跳过本行检测

报告里出现的每一条都必须能追到文件:行号，无法追证的不写进报告。

Step 3：取证 — 实战验收

读 references/acceptance.md，12 项 0–3 评分（满分 36），每项引原文证据，拿不出写"无证据，需补测"。
打完总分跑 python3 <skill-doctor-pro>/scripts/badge.py <总分> 渲染 3 级徽章（🥇黄金 28+/🥈白银 22-27/🥉青铜 18-21/🔴重做 <18），并按豁免表核对目标等级（青铜级第 8 项豁免、第 7/10 项降档）。对标《WorkBuddy 入门实战》十二项验收。

Step 4：取证 — 安全与兼容（T 维度红线）

1. scan_secrets.py + package_check.py 取证。
2. 读 references/compatibility.md（跨平台/跨 Agent/分发/Prerequisites）+ references/security.md（腾讯 T 维度七类红线 T1–T7，IPI/权限最小化/PII/供应链需人工判断）。
3. 判定 T：任一红线 CRITICAL → T = FAIL，报告标 ⛔，停止后续评分；全部 clean → T = PASS。

Step 5：取证 — 运行与效果（E 维度）

1. python3 <skill-doctor-pro>/scripts/eval_scaffold.py <skill目录> 生成评估脚手架。
2. 读 references/effectiveness.md：触发指标 / 运行可靠 / no-skill 对照 / 成本代价 / 跨模型。
3. 对照实验（TRACE E 的核心机制）：用 scripts/effect_bench.py 跑 no-skill 对照——
   - python3 <skill-doctor-pro>/scripts/effect_bench.py --init <skill名> > effect_results.json 生成模板
   - 同任务分别跑「启用 Skill」与「裸模型」，填 success/tokens/seconds/quality
   - python3 <skill-doctor-pro>/scripts/effect_bench.py effect_results.json --md 算 E 增益分(0-100)
   - E≥60 值得 / 40-59 一般 / <40 不值得 / 任务<3 标未实测
   - 无运行条件时，score.py 的「E 就绪度(静态代理)」可作下限估计，但报告须注明"未实测"，E1 不得给满分。

Step 6：生成测试用例（默认询问用户）

生成正例（每功能点≥1）/ 反例（≥3）/ 边界（≥3），写入 <skill-dir>/evaluation/test-cases.md。格式见 references/examples.md。

Step 7：归并 TRACE 五维并输出报告

读 references/trace-rubric.md，把四轴取证归并为五维得分，然后运行：

python3 <skill-doctor-pro>/scripts/trace_score.py --t pass|fail --r <分> --a <分> --c <分> --e <分>

按 references/examples.md 模板输出（仅列扣分项，反模式只列存在的）：

## 技能评测报告：<技能名>
### TRACE 五维总览
| 维度 | 得分 | 关键发现 |
|----|------|------|
| T 安全可信 | PASS / FAIL | 红线排查结果 |
| R 运行可靠 | X/20 | 可靠性问题 |
| A 场景适用 | X/20 | 触发与边界问题 |
| C 结构规范 | X/25 | 结构与文档问题 |
| E 效果增益 | X/35 | 对照实验增益 |
### 总分与等级 / 上架建议 / 待改进项（P1/P2/P3）/ 反模式 / 💡 总评
（详见 references/examples.md 完整模板）

Step 7.5：视觉报告（可选 · 默认按 Markdown，以下情况出 HTML）

默认输出 Markdown（聊天内直接可读，省 Token）。当满足任一条件时，额外产出蓝紫视觉 HTML 报告：

1. 用户明确要求「好看点 / 视觉报告 / 可视化 / 做成页面 / 可转发」
2. 评测对象要上架 SkillHub / SkillPay / 做演示 / 教学展示
3. 命令行带 --visual / 评测环境有浏览器可截图

执行：复制 references/report-template.html 到 <skill-dir>/evaluation/report-<技能名>-<YYYYMMDD>.html，只改正文数据区（:root Token、样式、布局不变；反白规则：渐变/深底白字、浅底黑字；禁止另起色值），数据与 Markdown 报告完全一致，然后用 present_files 交付预览。

一致性红线：HTML 报告内容必须与 Markdown 报告同分同证据——未实测项在 HTML 里同样标注「未实测」，禁止为排版好看编造数据。

Step 8：上架门禁

python3 <skill-doctor-pro>/scripts/package_check.py <技能目录>
python3 <skill-doctor-pro>/scripts/preflight.py <技能目录> --platform <workbuddy|skillhub|skillpay>

两项必须全 PASS 才建议上架；同时确认 T 维度无红线问题。上 SkillPay 时总分须 ≥75。

模式二：海量同质化选型与去重（核心卖点）

触发：用户问「这几个 skill 哪个好」「帮我选一个」「我装了一堆不知道用哪个」「同质化怎么选」「哪些可以卸了」「技能库太乱」等。

核心机制：自适应画像。 每个人的定位和使用习惯不同——新手要装得上、开发者看效果上限、成本敏感的要省 token。
一套通用标准套所有人必然不准。所以本技能的做法是：

首次问一次画像（选项化，几下点完）→ 存进本地 → 之后每次自动复用 → 越用越准。

• 不回答也能跑，走保守默认（新手 + 不愿装依赖 + 上手快），但精度会打折
• 偏好变了随时更新，不改就一直沿用你的画像

第 0 步：画像（首次询问，之后自动复用）

python3 scripts/profile.py show      # 查看当前画像与历史选择

• 无画像 → 用 AskUserQuestion 一次问齐 5 项，然后存下：

bash python3 scripts/profile.py set --level 新手 --cost 很敏感 --env 不愿装依赖 --priority 上手快 --scene 培训课件

• 有画像 → 直接复用，不再重复问；结论里说明「已按你的画像加权」。
• 记录实际选择（自迭代）：用户最终装/用了哪个，记一笔，多次重复选择会成为强信号：

bash python3 scripts/profile.py record --chose ppt-design-deepsea --candidates 8

路径 A：给候选选一个（用户手里有几个同类 skill）

python3 scripts/compare.py <目录1> <目录2> ...

输出 = 指标表 + 按画像加权的自动结论（🏆首选 / 🥈备选 / ❌慎装，各附具体理由）。
复述结论 + 一句「什么情况该换备选」，控制在三句话内。

路径 B：扫全库去重（用户觉得装多了、或想知道能精简什么）

python3 scripts/dedupe_scan.py ~/.workbuddy/skills

输出：功能重叠族群 → 每组「保留哪个 + 可精简哪些 + 可释放多少空间」。
自动识别「工具套件」（如 hyperframes-* 这类组件群）并排除在精简建议外，避免误伤。
只给建议，绝不代删文件；用户要卸载时逐项确认。

深度选型（用户想认真比一比时）

读 references/selection.md 走完整流程：需求画像 → 横向对比 → FIT 匹配 → 择优推荐。
用户已在本地有画像时，从第 0 步直接带入，不重复问。

硬规矩（红线）

1. 必须逐项评分，一项不许跳；满分项不展示但必须核过。
2. 验收轴每项必须有原文证据，拿不出写「无证据，需补测」，禁止空口打分。
3. T 维度不做「差不多通过」判断——红线只有 PASS / FAIL 两态；T FAIL 时不计其余维度。
4. 修复建议必须针对该 Skill 具体内容，禁止照搬 rubric 原文。
5. 选型/去重一律先给结论再给理由，控制在三句话内；禁止上来甩一张指标表让用户自己看。
6. 去重体检只出建议，绝不代删文件；用户要卸载时逐项确认，不做批量删除。
7. 发现真实密钥 / 私钥 / 越权 / 远程执行 → 标 🔴 安全阻断，发布前必修。
8. E 维度未实测项必须标「未实测」，禁止臆断触发率/增益/成本。
9. 选型前必须先取画像：本地无画像时问一次并存下，有画像时直接复用、禁止重复问；用户不回答画像时按保守默认并在结论里说明。
10. 反模式真实存在才列出，禁止凑数；信息不足先补材料，禁止硬评、编造。
11. 脚本不可用时改人工核对，禁止跳过步骤。

对照自检（发出前逐条过）

1. TRACE 五维（或选型流程）都跑了，没"凭记忆跳步"；四轴取证 → 五维归并的链路完整。
2. T 维度已按七类红线逐条排查，结论只有 PASS/FAIL。
3. 验收每项有原文证据；质量评分总分加和正确、auto_flags 已回应。
4. R 维度检查了「交付物可收集/可打开/可进入后续评审」。
5. E 维度有 no-skill 对照证据，未实测的标「未实测」且 E1 未给满分。
6. 上架门禁：package_check.py 与 preflight.py --platform <目标平台> 已跑；上 SkillPay 时加了 --platform skillpay。
7. 选型：已问画像、有横向对比矩阵、推荐有具体理由。
8. 反模式真实存在才列；修复建议针对性；不照搬 rubric。
9. 视觉报告与 Markdown 同数据同证据；蓝紫 Token 取自 report-template.html 的 :root，不另起色值。

TRACE 五维与四轴取证的关系

验证本技能输出

• 单技能：报告含 TRACE 五维总览、总分与等级、上架建议、待改进项、反模式、总评。
• 视觉报告（若产出）：数据与 Markdown 报告一致、蓝紫 Token 无漂移、反白规则正确。
• 选型：含需求画像、横向对比矩阵、首选/备选/不推荐 + 理由、一句话结论。
• 脚本：validate.py / preflight.py / trace_score.py / compare.py / eval_scaffold.py 均可独立运行。

使用规范

• ✅ 全程自包含，不依赖 skill-creator 等外部技能
• ✅ 先读 references/ 对应文件再评分，不凭记忆
• ✅ 优先脚本自动取证，再人工判定机器判不了的项
• ✅ 满分项不展示；反模式只列存在的
• ✅ 选型必问画像，推荐必给理由
• ❌ 不照搬 rubric 原文当建议；不为反模式凑数
• ❌ 不臆断未实测的触发率/增益/成本；不越界做代码审查

付费能力（SkillPay）

本技能为 Pay Skill，通过 SkillPay（微信支付 AI 专属卡 + SkillHub）按次计费：

1. Agent 在任务流程中调用本技能
2. 原生触发支付，用户授权后用 AI 专属卡余额完成付款
3. 付费与交付不中断、不跳转
4. 按调用量结算，定价权与收款权归商家

商家侧前置（一次性，资质可复用）：企业主体认证 → 绑定微信支付账户 → 设定单价。
每新增一个 Pay Skill 需单独过合规审查，上架前跑：

python3 scripts/preflight.py <技能目录> --platform skillpay
python3 scripts/trace_score.py --t pass --r <分> --a <分> --c <分> --e <分>

付费交付内容

本地联调：python3 pay/client.py --gateway https://YOUR-PUBLIC-HOST/invoke