烟台就业和人才政策 自动抓取与整理
触发场景
- “抓取/采集烟台市人才网、人社局、市政府上的人才引进和就业创业政策”
- “把官网政策整理成结构化数据 / 知识库”
- “汇总烟台的就业补贴、创业担保贷款、人才生活补贴、购房补贴文件”
- “定时更新烟台政策库（配合 automation 定时运行本 skill）”
- 基于《烟台市就业和人才政策手册（问答摘编）》做增量更新
能力说明
- 抓取（scrape.py）：按
config.json配置的官方来源，抓取政策列表与详情，解析标题/日期/原文链接/正文（含 PDF 附件正文提取），全局按 URL 去重，关键词归类为 7 大板块。 - 整理（distill.py）：合并
种子数据（问答摘编手册）+官网实时抓取，分类归集，并用正则抽取文号 / 补贴金额 / 享受期限 / 适用对象 / 咨询电话关键字段，输出结构化 JSON 与可读 Markdown（可选 docx 公文）。
工作流
- （可选）
python scripts/scrape.py—— 抓取官网最新政策到data/scraped_policies.json/.md python scripts/distill.py [--docx]—— 合并种子+抓取，产出data/policies_organized.json/.md/.docx- 交付：结构化政策库文件；可进一步上传 IMA 知识库或生成宣讲版。
输入 / 输出
- 输入：
config.json（来源配置）、data/seed_policies.json（问答手册基线） - 输出：
data/scraped_policies.json/.md—— 抓取原始结果data/policies_organized.json/.md—— 合并整理后的政策知识库data/policies_organized.docx（可选）—— GB/T 9704-2012 风格问答公文
运行依赖与配置
- 依赖见
requirements.txt：requests、beautifulsoup4、PyMuPDF（PDF 正文）、python-docx（docx 导出）。 - 来源与站点规律见
references/sources.md（已实测 rcyt jeecms 与人社局/市政府 jpaas 的 URL、列表/详情结构、分页规律）。 - 自定义来源：编辑
config.json（增删sources条目，parser取rcyt或rshj）。
合规与边界
- 仅抓取公开政策信息；遵守目标站点 robots 与《网络安全法》；默认 1.5s/请求限速，不对站点造成负担。
- 站点改版导致解析失效时，更新
scripts/scrape.py对应解析器或config.json。 - 抓取结果仅供参考，政策以官方发布原文为准；正式引用以红头文件/官方公告为准。
- 不模拟登录、不提交表单、不绕过反爬。
复用提示
- 可作为定时任务来源：用 automation 每天/每周调用
scrape.py+distill.py，将policies_organized.md增量同步至 IMA 知识库「心&境 → 人才就业」。 - 需扩展城市/站点时，复制一份
sources配置并按references/sources.md规律新增解析器即可。
