Skill Quality Maximizer — TRACE五维满分优化器
概述
本Skill基于SkillHub平台首发的TRACE评测体系,提供从诊断到优化的完整工作流,确保待评Skill在可信任度(T)、可靠性(R)、适用性(A)、规范性(C)、有效性(E)五个维度上均达到5.0满分。
TRACE是SkillHub联合腾讯新闻科技、腾讯玄武实验室发布的国内首个面向Skill真实使用场景的严选评测体系。每个维度满分5.0,评分等级:4.5-5.0为优秀,4.0-4.4为良好,3.5-3.9为一般,3.0-3.4为较差,低于3.0为不合格。其中T维度为红线维度——触碰安全红线直接淘汰,不考虑其他维度得分。
触发判断
| 级别 | 触发条件 | 响应方式 |
|---|---|---|
| L1 新建自检 | 用户刚创建完一个新Skill,询问"质量够不够""能不能发""评分多少" | 执行五维快速扫描,输出评分预估与改进清单 |
| L2 已有Skill优化 | 用户已有Skill评分不佳,要求"提升评分""修复问题" | 执行深度诊断,逐维度分析失分原因并输出修复方案 |
| L3 发布前终检 | 用户准备将Skill发布到SkillHub,要求"终检""发布前检查" | 执行完整五维审计 + 自动化脚本检测 + 满分自查清单逐项确认 |
核心工作流
Phase 1: 读取与解析目标Skill
读取待评Skill的完整目录结构,解析以下内容:
- SKILL.md — YAML frontmatter(name、description、agent_created等字段)+ 正文内容
- scripts/ — 所有可执行脚本,检查安全性、可靠性、依赖声明
- references/ — 所有参考文档,检查规范性、渐进式披露
- assets/ — 所有资产文件,检查安全性、规范性
若用户未提供Skill路径,询问:"请提供待评Skill的目录路径。"
Phase 2: 五维深度诊断
对Skill执行TRACE五维度全面扫描。加载 references/trace-criteria.md 获取每个维度的详细评分标准与满分要求。
T — Trust(可信任度)— 红线维度
核心问题:能不能放心用。满分要求5.0。
检查项:
1. 安全检测 — 脚本无命令注入、无远程代码执行、无数据外传、无Prompt注入风险
2. 最小权限 — 仅请求与功能直接相关的权限,无越权访问
3. 敏感信息保护 — 无硬编码密钥/Token/密码,用户数据处理有保护说明
4. 国内可用性 — 不依赖国内无法访问的国外服务(如需依赖,须提供替代方案)
5. 中文支持 — description含中文,SKILL.md支持中文交互
红灯信号(触碰即淘汰):
- 脚本含 os.system()、subprocess.call(shell=True) 等命令注入风险
- 向外部服务器发送用户数据(无明确授权)
- 硬编码API密钥或Token
- 脚本含混淆代码或base64编码的可疑字符串
- 请求与功能无关的系统级权限
R — Reliability(可靠性)
核心问题:每次都稳吗。满分要求5.0。
检查项:
1. 稳定运行 — 脚本有try-except异常处理,无未捕获异常路径
2. 一致结果 — 相同输入产生相同输出,无随机性依赖(除非功能本身需要随机)
3. 边界输入处理 — 空输入、超长输入、特殊字符输入均有处理
4. 异常反馈机制 — 错误时给出清晰可操作的反馈,而非静默失败
满分关键:
- 每个脚本入口有 if __name__ == "__main__" 守卫
- 关键操作有异常捕获和日志输出
- 依赖包在脚本头部或requirements中声明
- 对空值/None/异常类型有防御性处理
A — Adaptability(适用性)
核心问题:该出手时出得来吗。满分要求5.0。
检查项:
1. 场景匹配度 — description准确描述适用场景,功能与场景高度匹配
2. 触发条件清晰度 — 关键词触发明确,description含具体触发词和场景描述
3. 能力边界界定 — 明确说明"能做什么"和"不能做什么"
4. 输入输出规范性 — 输入格式和输出格式有清晰说明
满分关键:
- description含3-5个核心触发关键词
- description明确说明WHEN to use(具体场景、文件类型或任务)
- SKILL.md正文中设有"适用场景"和"不适用场景"或"限制说明"段落
- 输入输出有示例展示
C — Convention(规范性)
核心问题:写得清楚、改得动吗。满分要求5.0。
检查项:
1. 渐进式披露 — SKILL.md精简(<5000词),详细内容移入references/
2. 文档结构清晰度 — 使用标题层级、列表、代码块、表格等格式元素
3. 限制说明完整性 — 明确说明前置条件、已知限制、兼容性要求
4. 示例充分性 — 提供足够的输入输出示例供理解
满分关键:
- SKILL.md不超过5000词,超长内容拆入references/
- 使用清晰的标题层级(##、###)
- 设有"限制说明"或"注意事项"段落
- 至少2个以上具体使用示例
- YAML frontmatter格式规范,包含agent_created字段
E — Effectiveness(有效性)
核心问题:最终交付的结果好用吗。满分要求5.0。
检查项:
1. 结果正确性 — 脚本和工作流能产生正确结果
2. 输出完整性 — 输出包含用户需要的全部信息,无关键信息缺失
3. 可直接使用性 — 输出可直接使用,不需要用户大量后续处理
4. 减少返工率 — 工作流设计合理,帮助用户一次完成任务
满分关键:
- Skill带来的增益超出原生模型能力(对照实验思维)
- 工作流有清晰的步骤顺序和决策树
- 输出格式可直接被用户或下游工具使用
- Skill解决了"从零开始重复构建"的效率问题
Phase 3: 自动化脚本检测
运行 scripts/evaluate_skill.py 对目标Skill进行自动化检测:
python scripts/evaluate_skill.py --path <待评Skill路径> --trace --format report
脚本自动检测:
- YAML frontmatter格式与必填字段
- SKILL.md结构与内容完整性
- 脚本安全扫描(命令注入、数据外传、硬编码密钥)
- 脚本异常处理覆盖率
- 渐进式披露合规性
- 示例充分性
- 中文支持
Phase 4: 满分自查清单
加载 references/perfect-score-checklist.md,逐项确认每个维度的满分要求是否满足。对未满足项输出具体的修复指导。
Phase 5: 输出诊断报告与修复方案
加载 references/common-issues-fixes.md,针对诊断发现的问题输出具体的修复方案。
报告格式:
## TRACE 五维质量诊断报告
**目标Skill**:[Skill名称]
**诊断时间**:[当前时间]
**总体预估评分**:[X.X / 5.0]
### 五维评分预估
| 维度 | 评分预估 | 状态 | 关键发现 |
|------|----------|------|----------|
| T 可信任度 | X.X | 通过/红线警告 | ... |
| R 可靠性 | X.X | 达标/需改进 | ... |
| A 适用性 | X.X | 达标/需改进 | ... |
| C 规范性 | X.X | 达标/需改进 | ... |
| E 有效性 | X.X | 达标/需改进 | ... |
### 失分项分析
[对每个未达5.0的维度,列出具体失分原因]
### 修复方案
[对每个失分项,给出可操作的具体修复步骤]
### 满分路径
[按优先级排列的修复清单,标注每项修复预期提升的分数]
工作原则
- 红线优先 — T维度的安全问题具有一票否决权,必须首先修复所有红灯信号
- 致一而行 — 所有诊断和建议必须指向可操作的具体修复步骤,不停留在概念层面
- 渐进式 — 先修复红线问题,再逐维度提升,遵循"T > R > A > C > E"的修复优先级
- 真实增益 — E维度采用对照实验思维——Skill必须带来超出原生模型能力的真实增益
- 言语无相 — 评分预估是指月之指,非绝对真理,最终以SkillHub官方评分为准
参考资源
references/trace-criteria.md
TRACE五维度的详细评分标准、满分要求和检查细则。在执行Phase 2深度诊断时加载。
references/common-issues-fixes.md
各维度常见失分项及其对应的修复方案速查表。在执行Phase 5输出修复方案时加载。
references/perfect-score-checklist.md
逐维度满分自查清单,共40+检查项。在执行Phase 4自查时加载。
scripts/evaluate_skill.py
自动化Skill质量检测脚本。在执行Phase 3自动化检测时运行。用法:
python evaluate_skill.py --path <Skill路径> [--trace] [--format report|json|summary]
限制说明
- 本Skill的评分预估基于TRACE框架的公开信息与最佳实践,非SkillHub官方评分工具
- 自动化脚本检测覆盖结构性与安全性检查,无法完全替代人工评审的主观维度(如E有效性)
- 建议在Skill发布前将本Skill诊断 + 官方SkillHub评测结合使用