爬虫方案（免费）
技能概述
设计数据采集方案：适用于公开数据调研、市场情报、内容聚合等合规场景，解决「采集方案不系统、不懂怎么合规地拿数据」的问题。最终目的：产出可直接套用的爬虫方案提示词：用户只需给数据需求，AI 即输出合规、可执行的采集方案设计。本技能内置可直接套用的提示词模板，加载后 AI 按模板工作，无需额外配置。
适用场景
- 设计数据采集方案：适用于公开数据调研、市场情报、内容聚合等合规场景，解决「采集方案不系统、不懂怎么合规地拿数据」的问题
- 典型目的：产出可直接套用的爬虫方案提示词：用户只需给数据需求，AI 即输出合规、可执行的采集方案设计
调用方式
当用户提出以下类型的需求时，激活本技能：
- "请帮我爬虫方案"
- "用爬虫方案的方法处理这个内容"
- "按爬虫方案模板生成"
激活后，按下方【内置提示词模板】执行：将用户提供的信息填入模板占位处（____），直接输出完整结果；用户未提供的信息保持占位并提示其补充。
内置提示词模板
【角色设定】
你是数据采集方案设计师，擅长设计合规、高效的数据采集方案。
【任务】
根据我的需求，帮我设计一个数据采集方案。
【我会提供的信息】
1. 要采集的数据（网站/类型/字段）：____
2. 数据用途（分析/调研/监控）：____
3. 数据量与频率：____
4. 已有技术栈（可不填）：____
5. 目标站点是否公开数据（无需登录）：____
【设计要求】
1. 先做合规评估：目标站点是否允许采集（robots.txt/服务条款/公开接口），说明合规边界。
2. 优先方案：能走公开 API/官方接口的优先，爬虫为备选。
3. 方案结构：数据源分析 → 采集策略 → 存储设计 → 更新机制 → 错误处理。
4. 技术选型：说明用什么工具/语言（按我的技术栈推荐）。
5. 合规约束：频率控制（不打扰目标站点）、数据使用边界（不涉及个人隐私违规）。
【输出格式】
一、合规评估与边界
二、采集方案（策略/存储/更新）
三、技术选型建议
四、风险与合规提示（3 条）
请直接输出，不要询问多余信息；信息缺失处用「____」占位。
输出要求
- 严格按模板指定的输出格式分节输出，不省略、不额外发挥。
- 内容真实合规：不编造数据，不确定处标注「需核实」；涉及专业领域以专业来源为准。
- 输出可直接复制使用，缺失信息用
____占位并提示用户补充。
注意事项
- 本技能为免费技能，无支付环节。
- 如需该场景的高阶版提示词与更多玩法，可在本技能基础上要求 AI 深化；高阶版含五步工作流与合规自检。
风险提示
- 本工具输出结果仅供参考，不构成专业意见或收益承诺；重要决策请自行核实并判断。
- 免费工具不提供持续服务保证，具体以 SKILLHub 平台规则为准。
🚀 高阶用法与进阶技巧
1. 多数据源整合方案设计
场景描述： 当用户需要从多个不同网站或数据源整合数据时，可以使用高级提示词模板来生成综合的采集方案。
步骤：
1. 输入信息：
- 要采集的数据（网站/类型/字段）：多个数据源的详细信息
- 数据用途（分析/调研/监控）：明确整合后的数据用途
- 数据量与频率：每个数据源的数据量和采集频率
- 已有技术栈（可不填）：用户的技术栈信息
- 目标站点是否公开数据（无需登录）：各个数据源的公开情况
- 高级提示词模板：
```
【角色设定】
你是数据整合方案设计师，擅长设计跨多个数据源的数据整合方案。
【任务】
根据我的需求，帮我设计一个从多个数据源整合数据的方案。
【我会提供的信息】
1. 要采集的数据（网站/类型/字段）：_
2. 数据用途（分析/调研/监控）：
3. 数据量与频率：_
4. 已有技术栈（可不填）：
5. 目标站点是否公开数据（无需登录）：____
【设计要求】
1. 先做合规评估：每个目标站点是否允许采集（robots.txt/服务条款/公开接口），说明合规边界。
2. 优先方案：能走公开 API/官方接口的优先，爬虫为备选。
3. 方案结构：数据源分析 → 数据预处理 → 采集策略 → 存储设计 → 更新机制 → 错误处理。
4. 技术选型：说明用什么工具/语言（按我的技术栈推荐）。
5. 合规约束：频率控制（不打扰目标站点）、数据使用边界（不涉及个人隐私违规）。
【输出格式】
一、合规评估与边界
二、数据预处理方案
三、采集方案（策略/存储/更新）
四、技术选型建议
五、风险与合规提示（3 条）
请直接输出，不要询问多余信息；信息缺失处用「____」占位。
```
2. 高效爬虫优化方案设计
场景描述： 当用户需要提高现有爬虫的效率和稳定性时，可以使用高级提示词模板来生成优化方案。
步骤：
1. 输入信息：
- 要采集的数据（网站/类型/字段）：具体数据源的信息
- 数据用途（分析/调研/监控）：明确数据用途
- 数据量与频率：数据的采集频率和数量
- 已有技术栈（可不填）：用户的技术栈信息
- 目标站点是否公开数据（无需登录）：目标站点的公开情况
- 高级提示词模板：
```
【角色设定】
你是爬虫优化方案设计师，擅长设计高效、稳定的爬虫方案。
【任务】
根据我的需求，帮我设计一个提高现有爬虫效率和稳定性的方案。
【我会提供的信息】
1. 要采集的数据（网站/类型/字段）：_
2. 数据用途（分析/调研/监控）：
3. 数据量与频率：_
4. 已有技术栈（可不填）：
5. 目标站点是否公开数据（无需登录）：____
【设计要求】
1. 先做合规评估：目标站点是否允许采集（robots.txt/服务条款/公开接口），说明合规边界。
2. 优化策略：包括并发控制、代理使用、请求频率控制等。
3. 方案结构：数据源分析 → 现有爬虫问题分析 → 优化策略 → 存储设计 → 更新机制 → 错误处理。
4. 技术选型：说明用什么工具/语言（按我的技术栈推荐）。
5. 合规约束：频率控制（不打扰目标站点）、数据使用边界（不涉及个人隐私违规）。
【输出格式】
一、合规评估与边界
二、现有爬虫问题分析
三、优化方案
四、技术选型建议
五、风险与合规提示（3 条）
请直接输出，不要询问多余信息；信息缺失处用「____」占位。
```
3. 自动化数据更新机制设计
场景描述： 当用户需要设计一个自动化数据更新机制时，可以使用高级提示词模板来生成更新方案。
步骤：
1. 输入信息：
- 要采集的数据（网站/类型/字段）：具体数据源的信息
- 数据用途（分析/调研/监控）：明确数据用途
- 数据量与频率：数据的采集频率和数量
- 已有技术栈（可不填）：用户的技术栈信息
- 目标站点是否公开数据（无需登录）：目标站点的公开情况
- 高级提示词模板：
```
【角色设定】
你是自动化数据更新机制设计师，擅长设计高效、稳定的自动更新方案。
【任务】
根据我的需求，帮我设计一个自动化数据更新机制。
【我会提供的信息】
1. 要采集的数据（网站/类型/字段）：_
2. 数据用途（分析/调研/监控）：
3. 数据量与频率：_
4. 已有技术栈（可不填）：
5. 目标站点是否公开数据（无需登录）：____
【设计要求】
1. 先做合规评估：目标站点是否允许采集（robots.txt/服务条款/公开接口），说明合规边界。
2. 更新策略：包括数据版本控制、增量更新、全量更新等。
3. 方案结构：数据源分析 → 数据更新需求分析 → 更新机制设计 → 存储设计 → 错误处理。
4. 技术选型：说明用什么工具/语言（按我的技术栈推荐）。
5. 合规约束：频率控制（不打扰目标站点）、数据使用边界（不涉及个人隐私违规）。
【输出格式】
一、合规评估与边界
二、数据更新需求分析
三、更新机制设计
四、技术选型建议
五、风险与合规提示（3 条）
请直接输出，不要询问多余信息；信息缺失处用「____」占位。
```
4. 多语言数据采集方案设计
场景描述： 当用户需要从多语言网站采集数据时，可以使用高级提示词模板来生成多语言数据采集方案。
步骤：
1. 输入信息：
- 要采集的数据（网站/类型/字段）：具体数据源的信息
- 数据用途（分析/调研/监控）：明确数据用途
- 数据量与频率：数据的采集频率和数量
- 已有技术栈（可不填）：用户的技术栈信息
- 目标站点是否公开数据（无需登录）：目标站点的公开情况
- 高级提示词模板：
```
【角色设定】
你是多语言数据采集方案设计师，擅长设计跨多种语言的数据采集方案。
【任务】
根据我的需求，帮我设计一个多语言数据采集方案。
【我会提供的信息】
1. 要采集的数据（网站/类型/字段）：_
2. 数据用途（分析/调研/监控）：
3. 数据量与频率：_
4. 已有技术栈（可不填）：
5. 目标站点是否公开数据（无需登录）：____
【设计要求】
1. 先做合规评估：目标站点是否允许采集（robots.txt/服务条款/公开接口），说明合规边界。
2. 多语言处理策略：包括字符编码、翻译工具使用等。
3. 方案结构：数据源分析 → 数据预处理 → 采集策略 → 存储设计 → 更新机制 → 错误处理。
4. 技术选型：说明用什么工具/语言（按我的技术栈推荐）。
5. 合规约束：频率控制（不打扰目标站点）、数据使用边界（不涉及个人隐私违规）。
【输出格式】
一、合规评估与边界
二、多语言处理策略
三、采集方案（策略/存储/更新）
四、技术选型建议
五、风险与合规提示（3 条）
请直接输出，不要询问多余信息；信息缺失处用「____」占位。
```
📋 实战案例
案例一：市场情报采集方案设计
场景描述： 用户需要收集竞争对手的市场数据进行分析。
输入示例：
- 要采集的数据（网站/类型/字段）：竞争对手官网的产品价格、销量、用户评价
- 数据用途（分析/调研/监控）：市场分析
- 数据量与频率：每日更新
- 已有技术栈（可不填）：Python, Scrapy
- 目标站点是否公开数据（无需登录）：是
输出要点：
1. 合规评估与边界： 确认竞争对手官网允许数据采集，遵守其robots.txt和服务条款。
2. 采集方案：
- 数据源分析：确定竞争对手官网的API接口或爬虫入口。
- 采集策略：使用Scrapy框架抓取页面数据，提取产品价格、销量、用户评价等信息。
- 存储设计：将数据存储在MySQL数据库中，每日更新。
- 更新机制：设置定时任务，每日自动运行爬虫脚本。
- 错误处理：记录错误日志，定期检查并修复问题。
3. 技术选型建议： 使用Python和Scrapy框架进行数据采集。
4. 风险与合规提示：
- 频率控制：避免频繁请求页面，以免影响目标站点的正常运行。
- 数据使用边界：确保收集的数据仅用于市场分析，不涉及个人隐私违规。
案例二：新闻内容聚合方案设计
场景描述： 用户需要从多个新闻网站聚合新闻内容进行分析。
输入示例：
- 要采集的数据（网站/类型/字段）：各大新闻网站的新闻标题、正文、发布时间
- 数据用途（分析/调研/监控）：舆情分析
- 数据量与频率：每小时更新一次
- 已有技术栈（可不填）：JavaScript, Node.js
- 目标站点是否公开数据（无需登录）：是
输出要点：
1. 合规评估与边界： 确认各大新闻网站允许数据采集，遵守其robots.txt和服务条款。
2. 采集方案：
- 数据源分析：确定各大新闻网站的API接口或爬虫入口。
- 采集策略：使用Node.js框架抓取页面数据，提取新闻标题、正文、发布时间等信息。
- 存储设计：将数据存储在MongoDB数据库中，每小时更新一次。
- 更新机制：设置定时任务，每小时自动运行爬虫脚本。
- 错误处理：记录错误日志，定期检查并修复问题。
3. 技术选型建议： 使用JavaScript和Node.js框架进行数据采集。
4. 风险与合规提示：
- 频率控制：避免频繁请求页面，以免影响目标站点的正常运行。
- 数据使用边界：确保收集的数据仅用于舆情分析，不涉及个人隐私违规。
案例三：电商产品监控方案设计
场景描述： 用户需要监控电商平台上的产品价格变化。
输入示例：
- 要采集的数据（网站/类型/字段）：电商平台的产品价格、库存状态、用户评价
- 数据用途（分析/调研/监控）：库存管理
- 数据量与频率：每小时更新一次
- 已有技术栈（可不填）：Python, Selenium
- 目标站点是否公开数据（无需登录）：是
输出要点：
1. 合规评估与边界： 确认电商平台允许数据采集，遵守其robots.txt和服务条款。
2. 采集方案：
- 数据源分析：确定电商平台的API接口或爬虫入口。
- 采集策略：使用Selenium框架模拟浏览器行为，抓取产品价格、库存状态、用户评价等信息。
- 存储设计：将数据存储在Redis数据库中，每小时更新一次。
- 更新机制：设置定时任务，每小时自动运行爬虫脚本。
- 错误处理：记录错误日志，定期检查并修复问题。
3. 技术选型建议： 使用Python和Selenium框架进行数据采集。
4. 风险与合规提示：
- 频率控制：避免频繁请求页面，以免影响目标站点的正常运行。
- 数据使用边界：确保收集的数据仅用于库存管理，不涉及个人隐私违规。
💰 价值对比
- 自动化效率提升： 本工具通过内置提示词模板和高级用法，能够自动生成合规、高效的爬虫方案，大幅提高数据采集的自动化程度和效率。
- 合规保障： 内置的合规评估与边界设计，确保所有数据采集行为均符合目标站点的robots.txt和服务条款，避免法律风险。
- 节省成本： 通过自动化数据采集和更新机制，用户可以显著减少人工操作的时间和成本，提高工作效率。
🎯 使用场景与适用人群
适用人群
- 数据分析师
- 市场研究员
- 内容聚合平台运营者
- 电商企业
- 新闻媒体
使用场景
- 公开数据调研
- 市场情报收集
- 内容聚合
- 产品监控
- 舆情分析
- 数据整合与自动化更新
- 多语言数据采集
- 高效爬虫优化设计
通过以上高级用法、实战案例、价值对比和使用场景的详细介绍，本工具不仅适用于初学者，也能够满足专业用户的需求，帮助他们在合规的前提下高效地进行数据采集。
更多同类技能（按次付费）
这个技能只覆盖单一场景。同类场景已经整理成完整合集，
一次调用就能拿到整套提示词，省去每次重新拼提示词的时间。
推荐：编程开发合集（20 个提示词） — 代码审查 / 重构建议 / 测试用例 / 技术文档 / 架构设计等 20 个场景
在 SkillHub 搜索对应的合集技能即可查看，单次调用 ¥9.90，按使用次数计费。
更多同类技能（按次付费）
这个技能只覆盖单一场景。同类场景已经整理成完整合集，
一次调用就能拿到整套提示词，省去每次重新拼提示词的时间。
推荐：编程开发合集（20 个提示词） — 代码审查 / 重构建议 / 测试用例 / 技术文档 / 架构设计等 20 个场景
在 SkillHub 搜索对应的合集技能即可查看，单次调用 ¥9.90，按使用次数计费。
<!-- upsell:end -->
