大站点 SEO 合规体检
适用场景
当站长/运营需要排查站点 SEO 合规隐患、提升百度/Google 收录与权重时使用——尤其适合几万~几十万文章的大站点。
不绑定任何 CMS(迅睿/WordPress/自建站通用),只分析你提供的 robots.txt 与站点元信息。
触发词示例:「SEO 体检」「robots.txt 有没有问题」「收录为什么慢」「sitemap 怎么配」「大站点 SEO 优化」。
核心能力
- robots 拦截审计:识别「全站屏蔽(致命)」、误拦静态资源(
.js/.css)、缺Sitemap指令、Sitemap 域名不一致。 - 收录增强体检:检查 canonical(重复内容防护)、Open Graph(社交富媒体)、JSON-LD Article(结构化数据)、百度主动推送(国内站收录速度)、sitemap 启用。
- 大站点专项:文章量 ≥5 万时提示 sitemap 必须流式生成(一次性 usort 全量会 OOM/502),这是大站点最常见的上线事故。
- 风险分级 + 建议:每项打 low/medium/high,输出可执行的修正清单。
使用方法
核心逻辑在 scripts/audit.py(仅 Python 标准库,无需 pip,可离线运行)。
python scripts/audit.py <体检.txt> [--format table|json] [--output result.json]
输入用 === 块标记 === 分块(ROBOTS / SITE);若直接粘贴 robots.txt(无块)也会自动容错解析。
遇到缺文件 / 空文件 / 坏数据均友好提示,绝不崩溃。
输入格式
=== ROBOTS ===
User-agent: *
Allow: /
Disallow: /search
Disallow: /admin.php
Sitemap: https://www.example.com/sitemapindex.xml
=== SITE ===
domain=https://www.example.com
sitemap_enabled=true
sitemap_url=https://www.example.com/sitemapindex.xml
article_count=430000
canonical=true
og=false
jsonld_article=false
baidu_push=false
google_push=false
完整示例见 assets/sample_robots.txt。
输出示例(节选)
总体风险: MEDIUM 证据分=4
robots 拦截审计:
• [MEDIUM] 误拦静态资源 — Disallow 含 ['/*.js$'] → 可能影响抓取渲染判断
• [MEDIUM] 缺 Sitemap 指令 — robots.txt 未声明 Sitemap
收录增强体检:
• [LOW] Open Graph 缺失
• [MEDIUM] 百度主动推送未开启 — 国内站不推送 → 收录慢
• [MEDIUM] 大站点 sitemap 生成风险 — 文章量 430000 篇(约 43 万级),须流式生成
重要声明
本 Skill 为离线体检辅助工具,输出为基于 robots.txt 与元信息的规则推断与建议。
涉及服务器文件改动(robots.txt/sitemap 生成)前,请先备份并在测试环境验证。
SEO 效果受内容质量、外链、竞争等多因素影响,本工具仅排查技术合规项。