代码片段驱动采集
用 JavaScript 代码片段定义采集逻辑,凡是 Chrome DevTools 控制台能用的操作都能自动化,并在整个站点范围内批量执行。
拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
Horseman 是一款面向开发者和技术 SEO 的爬虫工具,最大的特点是用 JavaScript 代码片段驱动整个站点的数据采集。当前版本 v0.3.2,支持 Windows、Mac OS(Intel 和 M1/M2)以及 Linux。内置 120+ 代码片段,最新版还加入了 GPT3.5 集成,可以用 AI 辅助生成片段。开发者、性能分析师、数字机构和 SEO 专家都可以用它自定义爬取逻辑。
Horseman 是一款可无限配置的爬虫工具,它的核心理念是「用你自己写的代码片段来爬取网页」。工具本身不预设固定的采集规则,而是把 Chrome DevTools 控制台里能用的 JavaScript 代码片段包装成可批量执行的采集单元,让你在整个站点范围内自动化运行这些片段。主要面向前端开发者、性能分析师、数字机构、无障碍专家、SEO 专家和 JavaScript 工程师。
当前主力版本是 v0.3.2,支持 Windows、Mac OS(包括 Intel 和 M1/M2 芯片)以及 Linux 三大平台。内置 120+ 代码片段,覆盖性能检测、内容分析和 SEO 诊断等场景,比如检测 Largest Contentful Paint 是否被错误地以低优先级加载、分析 H1 标题的情感倾向、诊断导致异常滚动的溢出元素等。v0.3 版本新增了 GPT3.5 集成和 Insights 功能,可以把页面内容或任意页面数据片段发送给 GPT 做分析,也能用 AI 辅助生成代码片段。
不同角色的用法不太一样。普通用户可以直接调用内置的 120+ 片段,不用写代码也能跑完整站点的检测;如果知道 JavaScript,可以自己编写片段来操作页面和提取信息;完全不懂 JS 的人则可以用 AI 辅助功能,用自然语言描述想要提取的信息,让 AI 生成对应的片段。爬取结果会汇总到结果表格里,Insights 功能则提供更深层次的探索和问题页面下钻。
用 JavaScript 代码片段定义采集逻辑,凡是 Chrome DevTools 控制台能用的操作都能自动化,并在整个站点范围内批量执行。
内置超过 120 个现成代码片段,覆盖开发者、技术 SEO 和内容创作者常用的检测场景,开箱即可运行。
支持把页面内容发送给 GPT3.5 做分析,也可以组合任意页面数据片段后交给 GPT 处理,用来生成元描述或总结内容。
不熟悉 JavaScript 的用户可以用自然语言描述想要提取的信息,由 AI 生成对应的代码片段,降低编写门槛。
v0.3 新增的洞察功能,可以对爬取结果做更深层次的探索,下钻到存在问题的具体页面进行排查。
内置片段可检测 Largest Contentful Paint 是否被错误地以低优先级加载,以及诊断导致异常滚动的溢出元素。
使用 Mozilla 的 readability.js 智能提取页面内容,并用 GPT 总结内容、基于总结生成新的相关元描述。
内置 H1 Sentiment 片段,可以分析 H1 标题的情感倾向,帮助优化标题表达。
当你想用自己写的 JavaScript 片段批量爬取整站数据时,Horseman 值得考虑,120+ 内置片段加上 AI 生成片段的功能,让不懂 JS 的人也能上手。GPT3.5 集成和 Insights 让爬取后的分析更深入。但要注意它的付费通过 GitHub Sponsors 完成,$5 起的价格对应 1 台设备限制,设备数越多价格越高,且目前没有其他支付渠道。如果你需要开箱即用的固定模板、不想碰任何代码,可能需要多花时间适应它的片段驱动思路。
可以用自写 JavaScript 片段自动化整站检测,把 DevTools 里的调试代码直接复用为批量采集逻辑,适合日常做性能与结构排查。
内置的 120+ 片段覆盖标题情感、内容提取和元描述生成,适合批量诊断整站的 SEO 问题。
可以用 LCP 优先级检测和溢出元素诊断等片段批量扫描站点,快速定位加载优先级和布局问题页面。
可用 AI 辅助生成片段,但只能做描述性提取,复杂逻辑仍需要具备一定代码理解能力,上手有学习曲线。
目前付费走 GitHub Sponsors,没有其他支付网关,设备数量和发票等采购流程可能不符合企业要求。
| 方案 | 价格 | 包含内容 | 说明 |
|---|---|---|---|
| Sponsor | $5 per month | 1 Device Limit | 包含 Bonus Extras、GitHub 赞助徽章、早期开发版本访问权限、关闭 CLI 工具支持消息。 |
| Sponsor++ | $10 per month | 3 Device Limit | 最受欢迎档位,包含 Bonus Extras、GitHub 赞助徽章、早期开发版本访问权限、关闭 CLI 工具支持消息。 |
| Sponsor+++ | 未公开 | Custom Device Limit | 自定义设备数,包含 Bonus Extras、GitHub 赞助徽章、早期开发版本访问权限、关闭 CLI 工具支持消息,需联系作者。 |
以上为公开费率整理,厂商保留调价权利,实际以官方页面为准。
| 指标 | 数值 | 数据来源 |
|---|---|---|
| 内置代码片段数量 | 120+ | Horseman 官网 |
| 当前版本 | v0.3.2 | Horseman 官网 |
| v0.3 首个付费档月费 | $5 per month | Horseman 官网 |
| v0.3 第二付费档月费 | $10 per month | Horseman 官网 |
| 首个付费档设备限制 | 1 Device Limit | Horseman 官网 |
| 第二付费档设备限制 | 3 Device Limit | Horseman 官网 |
目前采用 Early Bird 定价,通过 GitHub Sponsors 付款。Sponsor 档 $5 per month,限 1 台设备;Sponsor++ 档 $10 per month,限 3 台设备;Sponsor+++ 档为自定义设备数。三档都包含 GitHub 赞助徽章、早期开发版本访问权限以及关闭 CLI 工具支持消息等额外权益。
最新版本是 v0.3.2,加入了 GPT 集成等功能。v0.3 提供 Windows、Mac OS(Intel 和 M1/M2)以及 Linux 版本,三个平台都有对应安装包。
可以。内置超过 120 个现成片段,不需要自己写代码就能运行。如果需要定制,v0.3 支持用 AI 辅助生成片段,只要用自然语言描述想提取的信息,AI 会写出对应的 JavaScript 片段。
代码片段是一小段 JavaScript,用来与网页交互、操作页面并返回信息。凡是 Chrome DevTools 控制台里能用的操作,都可以写成 Horseman 片段并在整个站点上自动执行。
可以把页面内容发送给 GPT3.5 并用提示词处理,也可以组合任意页面数据片段、或把整个页面交给 GPT 分析。实际用途包括总结页面内容、基于总结生成新的相关元描述等。
Insights 是 v0.3 新增的更深层探索功能,能基于爬取结果生成洞察,并支持逐层下钻到存在问题的具体页面,方便排查问题根源。
付款通过 GitHub Sponsors 进行,作者把它作为支付网关,同时用来支持这个项目和其他项目,以便把开发时间优先放在 Horseman 上,后续再补充其他支付网关。赞助后即可获得即时访问权限。
加入 GPT 集成及更多功能。
新增 GPT3.5 爬取与页面分析、AI 生成片段、Insights 探索功能,并大幅扩充代码片段数量。