网页采集工作台

> 把「网页抓取」从写死选择器 + 手工对抗改版的易碎活，变成「抓得到 → 取得稳 → 改版不死 → 合规不越界」的可复用方法论。
> 方法论来源：开源自适应爬虫框架 Scrapling（D4Vinci/Scrapling，BSD-3-Clause）——只提炼结构与思想，不含源码原文。

何时用（触发词）

网页抓取 / 爬虫 / 数据采集 / 扒数据 / 提取网页列表 / 抓取文章 / 选题情报 / 热点榜单采集 / 商品数据 / 改版后失效 / 反爬 / Cloudflare / 动态加载页面抓取 / 页面转 Markdown 喂 AI 等。

核心流程（四步）

第 1 步 · 需求预检与合规红线   → 抓什么站 / 什么数据 / 是否允许（不合规直接停）
第 2 步 · 抓取方式决策         → 升级阶梯：HTTP → 动态浏览器 → 隐身指纹
第 3 步 · 定位与提取           → 意图化选择器 + 五取法，先 auto_save 学习
第 4 步 · 清洗导出与记忆沉淀   → 结构化导出 / Markdown 化喂 AI / 长期任务开 adaptive

第 1 步 · 需求预检与合规红线

动手前先过三道预检（不合规直接停，不抓）：

合规红线（硬纪律）：
1. 只抓公开页：登录墙 / 付费墙 / 需授权 API 的内容不抓不绕。
2. 尊重 robots.txt：目标站 robots 明确禁止且无正当理由时，默认不抓。
3. 速率克制：单站低频（默认 1 请求 / 2~5 秒），遇 429 / 403 / 验证码立即停止并退让（拉长间隔或放弃），绝不暴力重试。
4. 素材版权：抓取内容用于创作需注意版权——引用标注来源，不整篇搬运，金句/数据可提取但文字表达要重写。
5. 个人信息：不采集可识别到个人的隐私数据（手机号/地址/内部信息）。
6. 工具伦理：本方法论只用于公开信息的常规采集，不用于绕过付费/授权访问、不用于攻击性爬取。

第 2 步 · 抓取方式决策（升级阶梯）

核心纪律：能用低档绝不用高档——每升一档，速度变慢、资源变贵、被封概率反而要评估。拿不到先升档，不急着改选择器。

决策规则：
- 先试 ①：响应 status == 200 且页面源码里能找到目标文本 → 直接用解析层，完事。
- 源码里找不到目标（JS 渲染的）→ 升 ③。
- 被 403 / 跳验证码 / 返回「安全检查」页 → 升 ②（指纹）→ 仍不行升 ④。
- 需要登录态 → 用会话（Session）持久化 Cookie，不硬闯。

会话纪律：多次请求同一站（尤其带 Cookie/状态）用 Session 复用连接与 Cookie；浏览器会话保持打开不反复开关。

详细配方见 references/01-抓取方式阶梯.md。

第 3 步 · 定位与提取（意图化选择器 + 五取法）

选择器纪律：写意图，不写坐标

经验：
1. 优先语义化 class 组合（.product .title 优于 #p123）。
2. 目标有稳定可见文本时用文本锚点（find_by_text 类），比结构选择器更抗改版。
3. 从元素反向导航（父/兄弟/子）定位「列表项里的字段」而非写完整路径。
4. 手动复制来的超长选择器（浏览器右键复制）一律清洗重写。

五取法速查

提取字段后处理

• ::text / ::attr(href) 伪元素取文本与属性；批量取 .getall()，单个取 .get()。
• 文本清洗：去空白/换行噪音、统一编码。

详细配方见 references/02-定位提取法.md。

第 4 步 · 记忆沉淀（自适应：让抓取改版不死）

问题：写死的选择器在网站改版后失效，长期任务需要反复人工修。

两阶段机制（先学习、后重定位）：
1. 学习（Save）：元素存在时用 auto_save=True 选一次 → 框架保存该元素的「唯一属性指纹」（自身 tag/文本/属性/兄弟/路径 + 父级 tag/属性/文本）。
2. 重定位（Match）：某天同一选择器取不到了 → 同一选择器加 adaptive=True → 按相似度评分自动找回目标，无需改代码。

# 第一次抓取（元素在，学习）
items = page.css('.product', auto_save=True)
# ……数周后网站改版……
items = page.css('.product', adaptive=True)   # 依然找得到

关键点：
- 指纹是多点组合而非单一标识——单点可失、多点相似不可伪造，这是抗改版的根本。
- 数据默认按 域名 + 标识符 隔离存 SQLite；标识符默认 = 选择器本身，也可手动指定。
- 网站换域名时用 adaptive_domain 告诉它「还是同一站」，沿用旧记忆。
- 任何方式选中的元素都可用手动三件套记忆：save(元素, 标识) → retrieve(标识) → relocate(指纹, selector_type=True)。
- 注意：auto_save 只记第一个命中元素。

改版后排查顺序：① retrieve(标识) 看记忆还在不在 → ② 换更具体选择器重学 → ③ 手动保存父级上下文。

详细配方见 references/03-自适应记忆.md。

第 5 步 · 清洗导出

AI 读取纪律：把网页内容交给 LLM 前，先「收窄 + 剥离」——只留目标区域、剔除隐藏文本与注入内容。省 token、防提示注入劫持。

文件落盘：数据文件放工作目录或任务输出目录；临时抓取文件不乱放个人目录。

核心纪律 ✅ / ❌

环境说明（双路径）

• 路径 A（有 scrapling 环境）：本机已验证 venv C:\Users\刘春萍\.workbuddy\binaries\python\envs\default 装有 scrapling 0.4.15（解析层可用：Selector + adaptive + 五取法，本地离线可测）。
• 需要 fetchers/浏览器时：pip install "scrapling[fetchers]" + scrapling install（下载浏览器），或直接 docker pull pyd4vinci/scrapling（含全部浏览器）。
• 路径 B（无 scrapling）：用 requests 抓 HTML + 标准库（html.parser/lxml/re）做同等流程——升级阶梯与纪律不变，只是解析工具换成手写。自适应记忆退化为「选择器冗余策略」：同时存多套选择器（语义 class + 文本锚点 + 结构路径），改版后按优先级逐个尝试。

版本记录