skill-dev 调试工具链(产品 2)
> 把《WorkBuddy创作者生态研究与产品方案》的「产品 2」落成可运行 Skill。
> 对应痛点:P4(Prompt 调试)+ P6(质量评估)+ P7(上架审核)。服务对象:新手与存量创作者。
何时用(when_to_use / 边界)
用本技能当:
- 你写完 / 改完一个 Skill,准备 skillhub publish 之前,想先确认结构与元数据不踩平台坑;
- 你怀疑自己的触发词太窄(漏掉同类目问句)或太宽(抢了别人 / 误触越界);
- 你想给技能加一套回归用例,证明「这次改动没把旧能力改坏」;
- 你想一次性拿到发布前体检 + 触发盲测 + 回归结论的综合闸门。
不用本技能当(边界):
- 本工具不改写平台 skillhub publish 命令本身——它是「发布前手动跑一次」的替代闸门,不是自动拦截;
- trigger 的匹配是中文子串 + 英文词边界的确定性启发式,不是语义级评测,结果作方向性参考;
- 竞品数据来自 SkillHub 头部 314 样本快照,非全量,仅作预警参考;
- 平台未开放的指标(近 30 天检索次数、全量供给数)本工具不臆测。
输入契约
- 位置参数
skill_dir:待检查技能的根目录(含 SKILL.md)。 trigger可选--category:覆盖类目(默认取 SKILL.md 的category)。test可选--cases/--baseline/--no-save/--init。
输出契约
preflight:逐项 [✗错误]/[!警告] 清单 + 结论(NO-GO / 可发布)。阻断项存在时退出码 2。trigger:正例/负例逐条命中表 + 召回率/误触率/精确率/F1 + 竞品 slug Top10。test:每条用例 ✓/✗ + 通过率 + 与上一版本基线的回归/改善对比。report:三段汇总 + 总闸门结论(preflight 有阻断项即 NO-GO)。
工作流(建议)
python scripts/skill_dev.py preflight <技能目录>—— 先排结构/元数据/安全硬伤。python scripts/skill_dev.py trigger <技能目录>—— 看触发词覆盖与竞品。python scripts/skill_dev.py test <技能目录>—— 跑回归,必要时--init先生成用例模板。python scripts/skill_dev.py report <技能目录>—— 一键总检,GO 再发布。
实现要点
- 纯 Python 标准库,零第三方依赖、零网络调用,离线可复现(
python scripts/build_data.py可重建内置数据)。 data/trigger_sets.json:12 类目各内置正例/负例问句集。data/competitors.json:314 样本索引(slug/name/description/category)。- 数据诚实声明见
references/design-notes.md。