技能(skill)评测(TRACE评测增强版)
在 SkillHub 官方 skillhub-trace-evaluator 的 5 维 15 子项质量框架基础上增强:
- 保留官方质量框架(references/ 维度细则)与
scripts/validate_trace_scores.py合规校验; - 新增
scripts/auto_scan.py:自动扫描上传包内的安全高危模式(shell=True / os.system / eval / exec / 硬编码密钥 / 硬编码路径等),覆盖官方刻意跳过的T.scan——这是 SkillHub 平台实扣的安全分,官方评测技能查不到; - 新增客观项自动检测:版本号一致性、
_icon.png、静默 except、config.example.json 缺失等,减少 AI 主观误差、避免盲评。
评分细则见 references/;输出格式见 references/output-schema.md。
核心流程
Step 0 · 自动扫描(本技能增强,必须最先跑)
在目标技能根目录运行(或传路径):
python scripts/auto_scan.py <目标技能目录> --json
读取输出的 security(T.scan 证据)与 objective(版本号/图标/静默 except 等客观证据),作为后续评分依据。禁止忽略脚本输出、凭空打分。
Step 1 · 定位目标包
同官方:本地目录(根须有 SKILL.md)/ 本地 zip / 已安装 skill / 仅给 slug(拿不到则停止)。
Step 2 · 探索
按 references/explore.md:列目录 → 必读 SKILL.md → 按需读关键文件。Step0 已覆盖客观项,此处重点确认需理解的内容(中文支持、文档质量、创造力等)。
Step 3 · 分维评分
一次评一个维度,打开对应参考(trust / reliability / adaptability / convention / effectiveness)。
trust.scan:以 Step0 的security输出为准评分,勿 skipped、勿编造(scan现在作为 scored 子项输出 score,validate 脚本兼容)。- 其余子项按 references 评分;可引用 Step0 的
objective客观证据。 - 分数
(0, 5.0];每子项写reason(开发者)+userReason(用户,勿写成功能介绍)。
Step 4 · 摘要
summary:面向开发者,连贯段落,优缺点与改进方向userSummary:面向普通用户,质量好坏与优缺点,勿写成使用说明
Step 5 · 组装报告并校验
按 references/output-schema.md 写出 JSON,跑:
python scripts/validate_trace_scores.py report.json
exit 0 才合规;不合规 JSON 不得交给用户。
Step 6 · 交付
人类可读:五维表格(注明 T.scan 已自动扫描)+ 各子项分数与简要理由 + 两段摘要 + 完整 JSON。
禁止项
- 未跑 Step0 / 未探索就打分 / 编造文件证据
- 输出不合规分数(≤0 或 >5)或缺少必填子项
trust.scan凭空给分(必须以 auto_scan 输出为依据)
发布与归档(v1.0.0 起)
本技能本体纯本地运行(脚本评估本地包),不依赖云文档读写。版本发布/归档默认落地乐享知识库《7.workbuddy.skill》(由技能全生命周期管家执行);用户特别说明"归档到 WPS 云文档"时走 WPS 版。