爬虫采集 Skills

SKILLS 专题技术与安全

页面解析、反爬处理与批量落库,注意目标站的访问限制与合规。

本专题收录 475 个技能 数据同步于 2026-10-11 21:56:06

本专题共收录 475 个技能,以研究检索(248)、开发(76)、内容创作(35)这些方向为主。其中 421 个给出可执行安装命令,86 个标明许可证。

本专题技能 475 同一件事的成套技能
带安装命令 421 复制即用,多数走 npx
许可证明确 86 其余未声明,商用前需确认
已核验 1 最近核验 2026-05-01
数据同步 2026-10-11 21:56 更新 · 本站最近一次同步

这个场景的技能构成

按本专题 475 个技能统计
分类可点,进技能大全按分类继续筛
权限要求左低右高
  • 只读 3
  • 联网访问 49
  • 接触敏感数据 23
  • 浏览器控制 67
  • 调用外部服务 1
  • 执行命令 4
  • 写入文件 1

有 28 个会写文件、执行命令或接触敏感数据,装之前先看清楚要求。 另有 327 个(69%)没标权限。

适用客户端6 种
  • Gemini CLI70
  • Cursor70
  • Codex70
  • Claude70
  • OpenClaw66
  • 本地 Agent15

爬虫采集 技能清单

第 1 / 20 页 · 每页 24 个
点标题进详情页看完整 SKILL.md 与安装步骤

firecrawl 用于处理浏览器自动化、网页检查和页面信息提取,适合在 Codex、Claude、Cursor、Gemini CLI 中需要让 Agent 打开页面、读取网页或验证前端流程时使用。可结合来源仓库、安装命令和原始 README 继续核验具体用法。安装前建议确认权限范围、维护状态,以及是否会触发联网、命令执行或文件读写。

研究检索 GitHub 仓库 浏览器控制 许可证明确
累计安装
109.7 万
本周安装
4.5 万
GitHub 星标
354

适用于 Codex、Claude、Cursor、Gemini CLI 适合 用户想查找某类 Agent Skill 时、需要根据任务场景推荐可安装能力包时、需要对比不同来源的安装命令和来源信息时

用于辅助文档、README、Markdown、说明文和内容稿件的整理与改写。它适合让 Agent 提炼结构、补齐章节、统一术语、检查链接或把零散材料整理成可读文档。使用时应保留项目已有事实、命令和路径,不要把未确认的信息写成确定结论;涉及对外文案时,还需要控制语气,避免过度营销或夸大能力。

开发 ClawHub 市场 浏览器控制 许可证明确
累计安装
65.8 万
本周安装
2.6 万
GitHub 星标
41

适用于 OpenClaw 适合 OpenClaw 用户查找和安装 Skill 时、用户想查找某类 Agent Skill 时、需要根据任务场景推荐可安装能力包时

网页抓取

zhangqixin9527

web-scraping 用于处理浏览器自动化、网页检查和页面信息提取,适合在 OpenClaw 中需要让 Agent 打开页面、读取网页或验证前端流程时使用。可结合来源仓库、安装命令和原始 README 继续核验具体用法。安装前建议确认权限范围、维护状态,以及是否会触发联网、命令执行或文件读写。

研究检索 ClawHub 市场 浏览器控制 许可证明确
累计安装
28.7 万
本周安装
1.2 万
GitHub 星标
6

适用于 OpenClaw 适合 OpenClaw 用户查找和安装 Skill 时、用户想查找某类 Agent Skill 时、需要根据任务场景推荐可安装能力包时

网络爬虫

guifav

web-scraper 用于处理浏览器自动化、网页检查和页面信息提取,适合在 OpenClaw 中需要让 Agent 打开页面、读取网页或验证前端流程时使用。可结合来源仓库、安装命令和原始 README 继续核验具体用法。安装前建议确认权限范围、维护状态,以及是否会触发联网、命令执行或文件读写。

研究检索 ClawHub 市场 接触敏感数据 许可证明确
累计安装
19.3 万
本周安装
7,725
GitHub 星标
2

适用于 OpenClaw 适合 调用多模型、代码和文本生成、Agent 推理流程

smart-web-fetch 用于整理文档、README、Markdown 和说明材料,适合在 OpenClaw 中需要把零散信息整理成结构清晰的文档时使用。可结合来源仓库、安装命令和原始 README 继续核验具体用法。安装前建议确认权限范围、维护状态,以及是否会触发联网、命令执行或文件读写。

效率 ClawHub 市场 接触敏感数据 许可证明确
累计安装
12.9 万
本周安装
5,334
GitHub 星标
26

适用于 OpenClaw 适合 OpenClaw 用户查找和安装 Skill 时、用户想查找某类 Agent Skill 时、需要根据任务场景推荐可安装能力包时

抓取网页抓取工具

zhengxinjipai

scrapling-web-scraper 用于处理浏览器自动化、网页检查和页面信息提取,适合在 OpenClaw 中需要让 Agent 打开页面、读取网页或验证前端流程时使用。可结合来源仓库、安装命令和原始 README 继续核验具体用法。安装前建议确认权限范围、维护状态,以及是否会触发联网、命令执行或文件读写。

开发 ClawHub 市场 浏览器控制 许可证明确
累计安装
12.6 万
本周安装
5,036
GitHub 星标
3

适用于 OpenClaw 适合 OpenClaw 用户查找和安装 Skill 时、用户想查找某类 Agent Skill 时、需要根据任务场景推荐可安装能力包时

xiaohongshu-crawler 用于处理浏览器自动化、网页检查和页面信息提取,适合在 OpenClaw 中需要让 Agent 打开页面、读取网页或验证前端流程时使用。可结合来源仓库、安装命令和原始 README 继续核验具体用法。安装前建议确认权限范围、维护状态,以及是否会触发联网、命令执行或文件读写。

研究检索 ClawHub 市场 只读 许可证明确
累计安装
11.7 万
本周安装
4,981
GitHub 星标
4

适用于 OpenClaw 适合 OpenClaw 用户查找和安装 Skill 时、用户想查找某类 Agent Skill 时、需要根据任务场景推荐可安装能力包时

网页抓取

jamditis

web-scraping 用于处理浏览器自动化、网页检查和页面信息提取,适合在 Codex、Claude、Cursor、Gemini CLI 中需要让 Agent 打开页面、读取网页或验证前端流程时使用。可结合来源仓库、安装命令和原始 README 继续核验具体用法。安装前建议确认权限范围、维护状态,以及是否会触发联网、命令执行或文件读写。

研究检索 GitHub 仓库 浏览器控制 许可证明确
累计安装
10.0 万
本周安装
4,153
GitHub 星标
171

适用于 Codex、Claude、Cursor、Gemini CLI 适合 用户想查找某类 Agent Skill 时、需要根据任务场景推荐可安装能力包时、需要对比不同来源的安装命令和来源信息时

网络爬虫吉娜

itonlyforfun-ai

web-scraper-jina 用于处理浏览器自动化、网页检查和页面信息提取,适合在 OpenClaw 中需要让 Agent 打开页面、读取网页或验证前端流程时使用。可结合来源仓库、安装命令和原始 README 继续核验具体用法。安装前建议确认权限范围、维护状态,以及是否会触发联网、命令执行或文件读写。

开发 ClawHub 市场 联网访问 许可证明确
累计安装
7.8 万
本周安装
3,260
GitHub 星标
—

适用于 OpenClaw 适合 OpenClaw 用户查找和安装 Skill 时、用户想查找某类 Agent Skill 时、需要根据任务场景推荐可安装能力包时

xpr-web-scraping 用于处理浏览器自动化、网页检查和页面信息提取,适合在 OpenClaw 中需要让 Agent 打开页面、读取网页或验证前端流程时使用。可结合来源仓库、安装命令和原始 README 继续核验具体用法。安装前建议确认权限范围、维护状态,以及是否会触发联网、命令执行或文件读写。

研究检索 ClawHub 市场 联网访问 许可证明确
累计安装
6.4 万
本周安装
2,622
GitHub 星标
—

适用于 OpenClaw 适合 OpenClaw 用户查找和安装 Skill 时、用户想查找某类 Agent Skill 时、需要根据任务场景推荐可安装能力包时

webmcp 网页抓取

brunobuddy

webmcp 用于处理浏览器自动化、网页检查和页面信息提取,适合在 OpenClaw 中需要让 Agent 打开页面、读取网页或验证前端流程时使用。可结合来源仓库、安装命令和原始 README 继续核验具体用法。安装前建议确认权限范围、维护状态,以及是否会触发联网、命令执行或文件读写。

研究检索 ClawHub 市场 浏览器控制 许可证明确
累计安装
6.0 万
本周安装
2,524
GitHub 星标
3

适用于 OpenClaw 适合 OpenClaw 用户查找和安装 Skill 时、用户想查找某类 Agent Skill 时、需要根据任务场景推荐可安装能力包时

pinchtab 网页抓取

luigi-agosti

pinchtab 用于处理浏览器自动化、网页检查和页面信息提取,适合在 OpenClaw 中需要让 Agent 打开页面、读取网页或验证前端流程时使用。可结合来源仓库、安装命令和原始 README 继续核验具体用法。安装前建议确认权限范围、维护状态,以及是否会触发联网、命令执行或文件读写。

研究检索 ClawHub 市场 浏览器控制 许可证明确
累计安装
6.0 万
本周安装
2,435
GitHub 星标
1

适用于 OpenClaw 适合 OpenClaw 用户查找和安装 Skill 时、用户想查找某类 Agent Skill 时、需要根据任务场景推荐可安装能力包时

scrapling-web-scraping 用于处理浏览器自动化、网页检查和页面信息提取,适合在 OpenClaw 中需要让 Agent 打开页面、读取网页或验证前端流程时使用。可结合来源仓库、安装命令和原始 README 继续核验具体用法。安装前建议确认权限范围、维护状态,以及是否会触发联网、命令执行或文件读写。

研究检索 ClawHub 市场 浏览器控制 许可证明确
累计安装
5.9 万
本周安装
2,395
GitHub 星标
—

适用于 OpenClaw 适合 OpenClaw 用户查找和安装 Skill 时、用户想查找某类 Agent Skill 时、需要根据任务场景推荐可安装能力包时

CLS 新闻爬虫

ningjingzhiyuande

cls-news-scraper 用于处理浏览器自动化、网页检查和页面信息提取,适合在 OpenClaw 中需要让 Agent 打开页面、读取网页或验证前端流程时使用。可结合来源仓库、安装命令和原始 README 继续核验具体用法。安装前建议确认权限范围、维护状态,以及是否会触发联网、命令执行或文件读写。

开发 ClawHub 市场 未标注权限 许可证明确
累计安装
5.8 万
本周安装
2,377
GitHub 星标
1

适用于 OpenClaw 适合 OpenClaw 用户查找和安装 Skill 时、用户想查找某类 Agent Skill 时、需要根据任务场景推荐可安装能力包时

AI 数据抓取器

arthasking123

用于辅助数据整理、表格处理、CSV/Excel 分析、指标计算和图表准备。它适合让 Agent 清洗字段、汇总数据、发现异常、生成统计口径或把分析结果转成可读说明。使用时需要确认数据来源、字段含义和时间范围,避免把样本数据当全量事实;涉及敏感数据、导出文件或批量写回时,应先确认权限和脱敏边界。

研究检索 ClawHub 市场 联网访问 许可证明确
累计安装
5.4 万
本周安装
2,262
GitHub 星标
1

适用于 OpenClaw 适合 OpenClaw 用户查找和安装 Skill 时、用户想查找某类 Agent Skill 时、需要根据任务场景推荐可安装能力包时

jina 网页抓取器

xaiohuangningde

jina-web-fetcher 用于查找、检索和筛选相关信息,适合在 OpenClaw 中需要根据关键词、任务场景或来源线索快速定位候选结果时使用。可结合来源仓库、安装命令和原始 README 继续核验具体用法。安装前建议确认权限范围、维护状态,以及是否会触发联网、命令执行或文件读写。

研究检索 ClawHub 市场 联网访问 许可证明确
累计安装
5.2 万
本周安装
2,221
GitHub 星标
—

适用于 OpenClaw 适合 OpenClaw 用户查找和安装 Skill 时、用户想查找某类 Agent Skill 时、需要根据任务场景推荐可安装能力包时

巨潮资讯网公告爬虫

ningjingzhiyuande

cninfo-announcement-scraper 用于处理浏览器自动化、网页检查和页面信息提取,适合在 OpenClaw 中需要让 Agent 打开页面、读取网页或验证前端流程时使用。可结合来源仓库、安装命令和原始 README 继续核验具体用法。安装前建议确认权限范围、维护状态,以及是否会触发联网、命令执行或文件读写。

开发 ClawHub 市场 联网访问 许可证明确
累计安装
5.1 万
本周安装
2,032
GitHub 星标
4

适用于 OpenClaw 适合 OpenClaw 用户查找和安装 Skill 时、用户想查找某类 Agent Skill 时、需要根据任务场景推荐可安装能力包时

用于辅助视频生成、动画合成、脚本化剪辑或 Remotion 等视频项目开发。它适合让 Agent 组织镜头、生成素材说明、维护合成代码或排查渲染问题。使用时需要确认分辨率、时长、素材路径和导出格式;涉及外部素材、人物肖像或商业发布时,应先核对版权授权和内容审核要求。

内容创作 ClawHub 市场 只读 许可证明确
累计安装
5.0 万
本周安装
2,121
GitHub 星标
2

适用于 OpenClaw 适合 OpenClaw 用户查找和安装 Skill 时、用户想查找某类 Agent Skill 时、需要根据任务场景推荐可安装能力包时

数据抓取器

mupengi-bot

用于辅助数据整理、表格处理、CSV/Excel 分析、指标计算和图表准备。它适合让 Agent 清洗字段、汇总数据、发现异常、生成统计口径或把分析结果转成可读说明。使用时需要确认数据来源、字段含义和时间范围,避免把样本数据当全量事实;涉及敏感数据、导出文件或批量写回时,应先确认权限和脱敏边界。

研究检索 ClawHub 市场 接触敏感数据 许可证明确
累计安装
4.7 万
本周安装
1,910
GitHub 星标
1

适用于 OpenClaw 适合 OpenClaw 用户查找和安装 Skill 时、用户想查找某类 Agent Skill 时、需要根据任务场景推荐可安装能力包时

afrexai-web-scraping-engine 用于处理浏览器自动化、网页检查和页面信息提取,适合在 OpenClaw 中需要让 Agent 打开页面、读取网页或验证前端流程时使用。可结合来源仓库、安装命令和原始 README 继续核验具体用法。安装前建议确认权限范围、维护状态,以及是否会触发联网、命令执行或文件读写。

研究检索 ClawHub 市场 浏览器控制 许可证明确
累计安装
4.5 万
本周安装
1,851
GitHub 星标
—

适用于 OpenClaw 适合 OpenClaw 用户查找和安装 Skill 时、用户想查找某类 Agent Skill 时、需要根据任务场景推荐可安装能力包时

智能爬虫

kaiyuelv

smart-crawler 用于处理浏览器自动化、网页检查和页面信息提取,适合在 OpenClaw 中需要让 Agent 打开页面、读取网页或验证前端流程时使用。可结合来源仓库、安装命令和原始 README 继续核验具体用法。安装前建议确认权限范围、维护状态,以及是否会触发联网、命令执行或文件读写。

前端设计 ClawHub 市场 浏览器控制 许可证明确
累计安装
3.5 万
本周安装
1,457
GitHub 星标
—

适用于 OpenClaw 适合 OpenClaw 用户查找和安装 Skill 时、用户想查找某类 Agent Skill 时、需要根据任务场景推荐可安装能力包时

用于辅助文档、README、Markdown、说明文和内容稿件的整理与改写。它适合让 Agent 提炼结构、补齐章节、统一术语、检查链接或把零散材料整理成可读文档。使用时应保留项目已有事实、命令和路径,不要把未确认的信息写成确定结论;涉及对外文案时,还需要控制语气,避免过度营销或夸大能力。

内容创作 ClawHub 市场 联网访问 许可证明确
累计安装
3.0 万
本周安装
1,195
GitHub 星标
—

适用于 OpenClaw 适合 OpenClaw 用户查找和安装 Skill 时、用户想查找某类 Agent Skill 时、需要根据任务场景推荐可安装能力包时

媒体爬虫技能

excalibur9527

mediacrawler-skill 用于处理浏览器自动化、网页检查和页面信息提取,适合在 OpenClaw 中需要让 Agent 打开页面、读取网页或验证前端流程时使用。可结合来源仓库、安装命令和原始 README 继续核验具体用法。安装前建议确认权限范围、维护状态,以及是否会触发联网、命令执行或文件读写。

研究检索 ClawHub 市场 浏览器控制 许可证明确
累计安装
2.8 万
本周安装
1,206
GitHub 星标
1

适用于 OpenClaw 适合 OpenClaw 用户查找和安装 Skill 时、用户想查找某类 Agent Skill 时、需要根据任务场景推荐可安装能力包时

chrome-mcp 用于补充效率相关能力,适合在 OpenClaw 中需要让 Agent 承接效率相关任务时使用。可结合来源仓库、安装命令和原始 README 继续核验具体用法。安装前建议确认权限范围、维护状态,以及是否会触发联网、命令执行或文件读写。

AI 工具 ClawHub 市场 调用外部服务 许可证明确
累计安装
2.7 万
本周安装
1,142
GitHub 星标
1

适用于 OpenClaw 适合 OpenClaw 用户查找和安装 Skill 时、用户想查找某类 Agent Skill 时、需要根据任务场景推荐可安装能力包时

怎么在「爬虫采集」里挑技能

三步
先看权限再看安装量
① 先看权限只读最少风险本专题 7 档权限,越靠右(写文件、执行命令)越要先在测试环境试
② 再看活跃度本周安装 > 累计安装累计安装容易被老牌技能长期占据,本周安装更能说明现在还有人在用
③ 最后看许可证明确 = 可商用许可证不明确的技能个人试用通常没问题,对外服务前先联系作者

关于「爬虫采集」专题的常见问题

「爬虫采集」专题里都是些什么技能?

共 475 个与「爬虫采集」相关的 Agent Skills,覆盖最多的是 研究检索(248)、开发(76)、内容创作(35)、效率(34)。页面解析、反爬处理与批量落库,注意目标站的访问限制与合规。其中 421 个给出可执行安装命令,86 个标明许可证,1 个经过本站核验。

爬虫采集类技能怎么安装?

点开任意技能进详情页,复制里面的安装命令(多数是一条 npx 命令,也可以从客户端自带的技能市场装),装完在客户端里问一句「你有哪些技能」确认。装之前先看权限级别与许可证状态:标「执行命令」或「写入文件」的,先在测试项目里试。

挑爬虫采集类技能要注意什么?

这个专题里 3 个技能是只读的,5 个会写文件或执行命令,宿主分布上以 Gemini CLI 70 个、Cursor 70 个、Codex 70 个 为主。权限越靠右风险越高,涉及执行命令、读写本地文件的技能优先在隔离环境里跑;许可证不明确的技能个人试用通常没问题,但别直接用在对外服务里。

这个专题和分类页有什么区别?

分类页按能力归属分大类(写作、开发、效率…),一个分类下什么场景都有;专题页按「你要做的这件事」把相关的技能凑成一套,「爬虫采集」就是这一类。想按能力逛回 AI Skills 大全(/skills),想换个场景回 Skills 专题总入口(/skills/topic)。

技能内容以作者仓库为准;分类、权限级别与许可证状态的中文说明为中文整理,数据日期 2026-10-11 21:56:06。