跨来源求职检索

用一套结构化条件同时检索多个招聘平台与企业官网招聘页，去重后输出统一的岗位列表。
不绑定任何单一招聘软件：新增来源只需写一段配置，不改代码。

一、触发场景

出现以下意图时使用本技能：

• "帮我找杭州的 Java 开发岗位，本科，35 岁以下"
• "搜一下上海 3-5 年经验、月薪 3 万以上的产品经理"
• "把几个招聘平台的岗位汇总成一张表，去掉重复的"
• "看看这些公司官网有没有在招 xx 岗"
• "不只用某个 App，多找几个渠道的岗位"
• 补充已有检索结果、按相同条件换城市重跑、把人工查到的岗位并入统一列表

二、硬性约束（必须遵守，不可协商）

1. 只采集公开可见信息。 需要登录、需要提交手机号、需企业账号才能看到的岗位，一律不作自动来源。
2. 不绕过任何验证。 遇到验证码、滑块、人机校验、JS 反爬挑战页，放弃该来源并在结果中注明原因。
   禁止引入打码服务、伪造 cookie、复用他人会话。
3. 遵守 robots.txt。 目标路径被 Disallow 就不抓。默认开启检查，不要用 --no-robots 规避。
4. 限速。 min_interval 不低于 2 秒，小型企业官网建议 3-5 秒；--max-pages 不要开大。
5. 降级而非中断。 任一来源失败、无结果或被拦截，都只记录原因，其余来源继续，最终在
   meta.degraded 中如实说明。

三、环境准备

依赖（首次使用前安装一次）：

pip install requests beautifulsoup4 pyyaml

无需凭据、无需账号。脚本位于本技能 scripts/ 目录下，全部为纯 Python，无外部服务。

首次使用先跑自检，确认环境与逻辑正常（离线，不联网）：

python scripts/selftest.py

输出 全部通过 ✅ 即环境可用。

四、工作流程

步骤 1：把用户需求翻译成结构化条件

从用户的话里抽取条件，抽不出的就是不限，不要臆造。抽出后向用户复述一遍确认，
特别是学历下限、年龄、薪资这类会大幅改变结果量的条件。

条件字段全集见 references/criteria-and-output.md。常用字段：

步骤 2：确认启用了哪些来源

查看 assets/sources.yaml。该文件默认不存在，需从模板创建：

cp assets/sources.example.yaml assets/sources.yaml

模板里的示例来源默认 enabled: false。要真正抓到东西，必须先把目标来源的
enabled 改为 true 并按实际接口填好。

references/source-onboarding.md 给出了接入新来源的完整方法（如何从浏览器 DevTools
找到公开数据出口、如何写配置、如何单测与核验）。

按用户需求选择来源组合：

• 关键词明确的通用岗位 → 招聘平台为主
• 用户点名了公司 → 优先该公司官网招聘页（tier: official）
• 平台有强反爬 → 标为 type: manual，走步骤 4

步骤 3：执行检索

python scripts/job_search.py \
  --criteria '{"keywords":["Java开发"],"city":["杭州"],"education_min":"本科","age":29,"salary_min":25000}' \
  --sort relevance --format both --outdir ./job-out --stdout summary

常用开关：

脚本运行时会向 stderr 逐条打印来源状态（成功条数、耗时、降级原因），
stdout 只输出结果本身，因此可以直接管到文件。

步骤 4：处理降级来源

读取 meta.degraded。对其中 status 非 ok 的来源：

• blocked / captcha：改用浏览器能力访问该平台，按同样的条件人工检索，
  把结果整理成 JSON，用 --extra-jobs 并入同一次检索，source_tier 标为 manual。
  不要尝试绕过验证。
• empty：换更宽的关键词重试一次；仍为空则如实告知该来源无相关岗位。
• error（超时/连接失败）：可调低 --workers、提高 --timeout 后重试一次。

步骤 5：交付结果

用 present_files 展示输出文件，并在回复中给出文字摘要，至少包含：

1. 命中 / 去重后条数，以及来源分布（平台 / 官网 / 人工）
2. 降级来源清单与原因（不能省略，用户需要知道哪些渠道没覆盖到）
3. 排名前若干条的岗位要点
4. 若筛除数量很大，说明是否是条件过严，并指出哪一条条件卡得最狠
   （_rejected[].reasons 里有逐条原因，可直接统计）
5. 一句范围说明：仅采集公开信息，未绕过登录与验证码

五、输出格式

每次运行产出（--format both）：

jobs-<时间戳>.json          完整结果：meta / jobs / duplicates / _rejected / _source_reports
jobs-<时间戳>.compact.json  精简版：meta.counts + jobs
jobs-<时间戳>.csv           UTF-8 BOM，Excel 可直接打开
jobs-<时间戳>.md            Markdown 汇总表 + 降级说明 + 被筛除清单

jobs 每条字段：

字段取不到时填 未注明（薪资为 面议），同时登记进 missing。
完整说明、去重规则与排序细则见 references/criteria-and-output.md。

输出示例

{
  "company": "星辰科技有限公司",
  "job_title": "Java开发工程师",
  "location": "杭州·西湖区",
  "education": "本科",
  "age": "25-35岁",
  "salary": "25-40K·14薪",
  "published_at": "2026-09-27",
  "url": "https://example.com/job/1",
  "source": "platform-alpha",
  "source_tier": "platform",
  "experience": "3-5年",
  "salary_range": [29167, 46667],
  "age_range": [25, 35],
  "missing": [],
  "relevant_score": 23.3
}

六、文件结构

job-search-multi-source/
├── SKILL.md
├── scripts/
│   ├── job_search.py            主入口：并行检索 → 归一化 → 筛选 → 去重 → 排序 → 输出
│   ├── criteria.py              条件定义、学历/年龄/薪资/时间/经验解析、逐条匹配判定
│   ├── normalize.py             岗位归一化、相关度打分、跨来源去重、排序
│   ├── common.py                请求器（限速·robots·重试·拦截识别）、路径取值、模板填充
│   ├── selftest.py              离线自检，33 项断言
│   └── adapters/
│       ├── __init__.py
│       └── base_adapter.py      http_json / html / manual 三类适配器
├── references/
│   ├── criteria-and-output.md   条件字段全集、语义细节、输出格式、去重规则
│   └── source-onboarding.md     接入新来源的方法与排错
└── assets/
    └── sources.example.yaml     来源配置模板（复制为 sources.yaml 后启用）

七、快速排错