全搜·二级数据挖掘
通用公开数据搜索技能。母原则：能拿公开数据就不碰登录墙，能搜就不硬爬，二级数据优先于一手数据。 本技能不绑定单一行业——外卖、点评只是典型场景，任何需要"从公开渠道获取结构化信息"的需求都适用。
> v1.1 免登录公开通道优化：新增"免登录公开通道层"（DuckDuckGo HTML 无 Key 搜索 / Jina Reader 无 Key 读页 / Wayback Machine 快照兜底），使基础搜索在完全不触发登录页的情况下即可覆盖绝大多数公开资源。详见"免登录公开通道层"章节。
> v1.2 增量通道实测（真实用例：成都"王记锅魁·特色肥肠粉 春熙路店"）：基于实测结论补充两条有效增量通道，并明确排除四类已实测失效方向。有效增量：① 地图落点提示接口（百度 /su，免登录返回"城市/区/店名"级结构化定位）② 搜索引擎的游记/攻略/点评内容聚合（美食探店文、平台评论聚合页被搜索引擎收录，直接命中具体菜品+价格）。已实测排除：B 端企业信息站（企查查/天眼查/爱企查）、点评/美团平台公开列表页（反爬验证拦截）、高德/腾讯地图接口（风控/需 Key/JS 壳）、电商聚合。详见"增量通道实测结论"章节。
数据分层：先认清你拿的是哪一层
| 层级 | 定义 | 获取方式 | 本技能立场 |
|---|---|---|---|
| 一手数据 | 自家后台/系统内的原始业务数据（如商家后台营业报表） | 登录后台下载 | 不负责（需账号权限，且登录墙/风控风险高） |
| 二级数据（本技能主场） | 公开渠道已存在的他人/第三方数据：门店页、评价、榜单、价格、报告 | 搜索 + 公开页抓取 + 聚合站 + 开放接口 | ✅ 专注，零登录风险 |
| 三级数据 | 需推断/计算的衍生结论（毛利率反推等） | 由二级数据加工 | 输出阶段处理 |
> 用户要求登录后台抓取时（如商家版后台），明确告知"该操作需账号且易触发风控，建议改用二级数据通道"，并给出等价公开数据方案。
核心能力
| 能力 | 输入 | 输出 |
|---|---|---|
| 商户/POI 信息查询 | 店名 / 地址 / 品牌 | 评分、人均、地址、营业时间、标签、榜单（结构化表格） |
| 商品与价格采集 | 商品名 / 门店 / 品类 | 价格、规格、折扣、促销信息 |
| 评价与口碑挖掘 | 门店 / 产品关键词 | 评价摘要、好评/差评分布、高频吐槽点 |
| 榜单与排名检索 | 品类 / 城市 / 关键词 | Top 榜、销量/口碑排名、数据来源 |
| 行业与市场报告 | 行业 / 主题词 | 报告摘要、关键数据点、原文链接 |
| 全网事实核查 | 任意断言 | 多方来源交叉验证 + 结论 |
使用流程（按顺序执行）
第一步：意图解析与数据层判定
- 识别用户要什么：门店信息 / 价格 / 评价 / 榜单 / 报告 / 事实？
- 判定目标数据是否公开可得：公开 → 走本技能；需登录 → 转二级数据等价方案或明确告知不可行
- 圈定候选平台与关键词集合
第二步：搜索路由（核心决策树）
需要信息
├─ 通用事实/新闻/报告 → 通用搜索引擎（多引擎关键词检索）
├─ 门店/POI/评分/人均 → 1) 搜索定位 → 2) 点评/外卖平台公开门店页 → 3) 聚合站
├─ 价格/菜单/商品 → 外卖/电商平台公开门店或商品页（无需登录的可见部分）
├─ 评价/口碑 → 点评/小红书/微博/抖音公开内容
├─ 榜单/排名 → 平台榜单页 / 第三方榜单站
└─ 以上都查不到 → 换词重搜（最多 2 次）→ 如实告知未找到，不编造
路由规则：
1. 先宽泛搜索定位来源，再定向抓取目标页
2. 同一平台页首选公开可访问版本（分享页 / H5 / 网页版），不碰需登录的后台与 App 内接口
3. 搜索结果用 site: 限定平台域名（如 site:dianping.com 店名）提高命中
4. 每个数据点尽量找 2 个以上独立来源交叉验证
免登录公开通道层（v1.1 新增，搜索受阻时优先启用）
当内置搜索工具结果不足、或目标页触发登录墙时，直接走以下无需任何 Key、无需登录的公开通道，顺序尝试：
① 无 Key 搜索引擎（定位 URL 用）
- DuckDuckGo HTML 版：https://html.duckduckgo.com/html/?q=<URL编码关键词>，返回 HTML 可直接解析标题/链接/摘要，中文检索有效，无需 Key。可带 site: 限定（site:dianping.com 店名）。
- 必应搜索：https://www.bing.com/search?q=<关键词>（国内自动跳转 cn.bing.com，仍可用）。
- 用法：解析出目标平台（点评/美团/电商/社媒）的公开 URL，再转下一步读取。
② 无 Key 读页器（读取公开页正文）
- Jina Reader：https://r.jina.ai/<目标URL>，把任意公开网页转成干净 Markdown，无 Key，适合点评/美团公开门店页、新闻、博客、报告页。失败或空结果时换通道。
③ 历史快照兜底（页面被删/改/锁时）
- Wayback Machine API：https://archive.org/wayback/available?url=<目标URL>，返回最近存档快照 URL，再抓取快照正文。适合内容被下架、改版、或原文受登录限制但有历史公开版本的页面。
- archive.today：https://archive.ph/<目标URL>，按需即时归档后读取，配合 Jina Reader 使用。
优先级：内置搜索工具 → DuckDuckGo HTML → 必应 → Jina Reader 读页 → Wayback/archive.today 快照。以上均为公开通道，不触碰任何登录/验证机制。
增量通道实测结论（v1.2 真实用例验证）
针对"平台内容藏在登录墙后"的典型缺口，按有效方向实测（用例：成都王记锅魁·特色肥肠粉春熙路店），结论如下。
✅ 两条有效增量通道（优先使用）
① 地图落点提示接口 —— 免登录拿 POI 定位
- 百度地图落点提示：https://map.baidu.com/su?wd=<URL编码 店名 城市>&cid=<城市代码>&type=0
返回 JSON {"s":["城市$区$$店名(分店名)$城市代码$"]}，可拿到店名 / 行政区 / 城市归属级结构定位，无 Key 无登录。
- 城市代码示例：成都=75、北京=131、上海=289。目标城市代码可在页面内输入定位城市后从 su 响应反查，或先不带 cid 试。
- 适用：确认某店是否存在于某城市/区、拿到官方全称（含分店后缀）用于后续定向搜索。
② 搜索引擎游记/攻略/点评内容聚合 —— 免登录拿菜单与价格（最大增量）
- 原理：美食探店文、平台用户点评的聚合转载页、游客攻略站，会被搜索引擎收录且页面本身不在登录墙后，菜品名+价格信息高度密集。
- 有效搜索词模式：
- 店名 城市 菜单 价格（通用）
- 店名 分店名 关键词菜名 价格（锁定分店，如"王记锅魁 春熙路 牛肉锅盔 价格"）
- site:今日头条/携程/trip.com/新浪 店名（优先顶到游记/评论聚合）
- 实测命中：一篇今日头条游记含春熙路店"牛肉锅盔 9 元 / 肥肠粉 12 元 / 加肥肠 +5 元"；携程攻略页含本店特色美食清单 + 人均 + 电话；Trip.com 评论含实时到店评价。数据为公开二手内容，标注来源与时间。
- 局限：价格为博主到店时点价，可能滞后，需交叉验证并与用户说明时效。
❌ 已实测排除的方向（不要再浪费尝试）
| 方向 | 实测结果 | 结论 |
|---|---|---|
| B 端企业信息站（企查查） | /web/search 经代理跳转海外 KYC 版 qcckyc.com |
中文企业检索不可用 |
| B 端企业信息站（天眼查） | HTTP 419 地区墙（海外 IP 触发），提示关闭 VPN | 免登录不可达 |
| B 端企业信息站（爱企查） | HTTP 302 跳转（登录/防爬） | 不可用 |
| 点评/美团公开列表页 | 大众点评 302 → 美团 verify 反爬页(spiderindefence)；美团 www/cd.meituan.com/s/ 均 404 反爬 |
需处理验证，非免登录可取 |
| 高德地图接口 | /service/sug 404；/service/poiInfo 返回滑块验证码页 |
免登录被风控拦截 |
| 腾讯地图 | H5 /m/place/search 为 JS 壳无数据；/ws/place/v1/search 需 Key |
免登录不可行 |
| 百度地图主搜索 | /?qt=s&wd= HTTP 403 防爬（仅 /su 落点接口可用） |
详情级不可达 |
结论一句话：增量靠"地图落点提示（定位）+ 搜索引擎游记/评论聚合（菜单价格）"两条免登录链路补齐，其余方向在免登录前提下不可行。
第三步：公开页数据采集
- 直接抓取：对已知 URL 优先用页面正文抓取工具提取结构化字段
- JS 渲染页：动态加载内容优先交给带浏览器的执行单元渲染后提取；保持人工可见、单次目标明确
- 结构化字段提取模板（门店信息）：
门店名称 / 品类 / 评分 / 人均消费 / 地址 / 营业时间 / 联系电话 / 服务标签 / 榜单荣誉 / 月售或热度 - 评价提取模板：
评价条数 / 好评率 / 差评高频词（出餐慢、口味咸、分量少…）/ 代表性评语原文（≤3 条，注明时间）
第四步：登录墙与反爬识别（硬边界）
检测到以下任一情况，立即停止该路径并切换来源，严禁强行绕过：
- 登录墙（跳转 login / 要求扫码 / 会话失效）
- 人机验证（滑块、点选、行为校验）
- 请求频率拦截 / 请求异常提示
- 自动化特征暴露（浏览器顶部"受自动测试软件控制"横幅）
切换策略：换公开镜像 → 换聚合站 → 换搜索引擎缓存 → 如实告知用户该数据受平台保护，仅能通过官方渠道获取。
第五步：输出规范
- 结构化优先：门店/商品/评价对比一律用表格，字段统一、缺失列标注"—"
- 来源标注：每个数据点标注来源平台 + URL（markdown 链接）
- 时效标注：价格/销量/榜单类标注采集时间；评价标注时间范围
- 置信度分级：多源一致=高；单源=中；推断=低（显式标注"推断值"）
- 二级数据声明：输出开头注明"以下为公开二级数据，非官方后台口径"，避免与一手数据混淆
平台适配速查
| 平台 | 公开可用数据 | 获取方式 | 注意事项 |
|---|---|---|---|
| 大众点评 | 门店页（评分/人均/地址/营业时间/榜单）、评价摘要 | 搜索定位 → 公开门店页抓取 | 部分详情/全部评价需登录；榜单页可访问 |
| 美团/饿了么 | 公开门店页（评分/月售/起送价/配送费/部分菜单价格） | 网页版/H5 公开页 | 商家版后台禁止访问；完整菜单与历史数据需登录 |
| 小红书/抖音/微博 | 笔记/帖子/评论区口碑 | 搜索 + 公开内容抓取 | 反爬较强，控制频率 |
| 电商平台 | 商品标题/价格/销量/评价数 | 商品公开页 | 价格实时变动，标注时间 |
| 第三方榜单/聚合站 | 排行榜、行业数据汇总 | 直接抓取 | 注意数据更新频率与口径 |
| 行业报告站 | 研报/白皮书 PDF | 搜索 + 下载 | 优先官方渠道，注意版权 |
references 索引（按需加载）
- references/data-source-catalog.md — 数据源目录：各平台公开入口、开放接口、聚合站清单
- references/query-strategy.md — 搜索词构造策略：关键词组合、site: 限定、多轮补搜
- references/platform-guide.md — 平台公开数据采集分平台指引（含结构化字段定义）
- references/compliance.md — 合规与反爬边界：登录墙/验证码处理、频率控制、版权与条款
- references/test-prompts.json — 路由测试用例（should_trigger / should_not_trigger / edge_case）
全局边界
- 本技能只做公开二级数据，不做需要账号权限的后台数据抓取，不绕过任何登录与验证机制
- 数据可能滞后或有平台口径差异，输出必须标注来源与时效，不与一手数据混淆
- 高频抓取可能触发平台风控，默认保持低频、单目标、人工可见
- 敏感数据（他人隐私、未公开商业数据）不采集不扩散
（内容由AI生成，仅供参考）
（内容由AI生成，仅供参考）
