Docs Scraper MCP

MCP文档知识

提供方 未标注

文档知识 stdio · 本地进程 OAuth 授权 社区 / 第三方
查看接入方式

全面解析Docs ScraperMCP Server的核心功能、安装配置和实用案例。作为顶级Model Context Protocol服务器,Docs Scraper能让AI助手访问实时数据、执行操作,为您提供更智能的工作体验和自动化解决方案。

一句话选型结论

按资料字段整理

Docs Scraper MCP 属于文档知识类 MCP 服务器,stdio · 本地进程,OAuth 授权,有可直接执行的安装命令。接入前先确认权限范围;涉及写入、删除或付款的操作,建议先在测试环境验证。

分类文档知识 传输方式stdio · 本地进程 鉴权OAuth 授权 部署方式本地部署
GitHub 星标 未标注 仓库热度,无公开仓库时显示未标注
工具数 未标注 暴露给模型的工具数量
资源 / 提示词 0 / 0 资源与提示词模板数量
维护方 社区 / 第三方 核验等级 仅资料核对

工具与能力

文档知识
数量来自来源目录的标注,具体工具清单以官方文档为准
工具数量未标注暴露给模型可调用的工具个数
资源数量0可读取的资源条目
提示词数量0内置提示词模板数量

能力标签

安装与配置

stdio · 本地进程 OAuth 授权
客户端在本机拉起子进程,数据不出本机
pip install mcp-server\"

这条命令只是入口,具体启动参数请按官方文档补齐,不要直接照搬到别的服务器。

  1. 1
    准备运行环境

    stdio 服务在本地起进程,需要先装好 Python,再按安装命令拉取依赖。

  2. 2
    安装服务

    复制上面的安装命令执行;命令里带占位符的位置,换成自己的密钥或路径。

  3. 3
    写入客户端配置

    在客户端的 MCP 配置里填好启动命令和参数,保存后完全退出客户端再打开,让新配置生效。

  4. 4
    验证是否可用

    连接成功后随便调一个只读工具,确认能返回结果,再接入正式流程。

典型使用场景

3 类
按分类与标签整理的常见用法,具体以官方文档为准
文档检索问答

在你的文档库里按问题找答案。

知识库读写

把新资料写进知识库,随用随取。

内容整理

把零散资料归纳成结构化笔记。

选择建议

选之前先看这几条
按条目字段给出的判断,不替你决定用不用

值得选的地方

  • 有现成的安装命令,不用自己找入口,照着跑就能起服务。

先想清楚的地方

  • stdio 方式要求本地装好运行时(如 Node.js),换机器要重新装一遍。
  • 使用前要准备好OAuth 授权对应的凭据,并按最小权限配置。
  • 资料没标注工具数量,实际能力要装好后确认。
  • 版本更新与行为细节以官方仓库为准。

更适合

  • 需要在文档知识场景里让模型直接调用外部能力的人。
  • 想先快速试一下、能接受在本地或自有环境跑服务的人。

不太适合

  • 完全不想在本地装环境的人。
  • 不方便管理密钥或第三方授权的人。
  • 需要厂商级 SLA 和技术支持的生产环境。

同类对比

6 个同类
同分类里挑最接近的几条,字段以各自详情页为准
MCP 服务器工具数传输方式部署方式安装命令最后核验
Docs Scraper MCP当前 未标注 stdio · 本地进程 本地部署 有 2026-05-17
dify 未标注 stdio · 本地进程 本地部署 有 2026-04-11
open-webui 未标注 stdio · 本地进程 本地部署 有 2026-04-11
JeecgBoot 未标注 stdio · 本地进程 本地部署 有 2026-04-11
Cherry Studio 未标注 未标注 未标注 无 2026-05-17
mempalace 未标注 stdio · 本地进程 本地部署 有 2026-04-11

服务器档案

文档知识
字段来自项目仓库与公开索引,中文说明由本站标注
提供方未标注上游标注的维护方 未标注
分类文档知识本站按上游分类展示
连接方式stdio · 本地进程客户端在本机拉起子进程,数据不出本机
鉴权方式OAuth 授权远程服务建议用最小权限凭据
维护方社区 / 第三方核验等级 仅资料核对
包名 / 运行时未标注 · Python本地安装时用到的包标识与运行时
部署类型本地部署上游给出的部署形态
最近核验2026-05-17上游最后核验时间

详细介绍

7.0 KB
来自项目仓库与上游目录的原文,未做删改

Crawl4AI Documentation Scraper

Keep your dependency documentation lean, current, and AI-ready. This toolkit helps you extract clean, focused documentation from any framework or library website, perfect for both human readers and LLM consumption.

Why This Tool?

In today's fast-paced development environment, you need:
- 📚 Quick access to dependency documentation without the bloat
- 🤖 Documentation in a format that's ready for RAG systems and LLMs
- 🎯 Focused content without navigation elements, ads, or irrelevant sections
- ⚡ Fast, efficient way to keep documentation up-to-date
- 🧹 Clean Markdown output for easy integration with documentation tools

Traditional web scraping often gives you everything - including navigation menus, footers, ads, and other noise. This toolkit is specifically designed to extract only what matters: the actual documentation content.

Key Benefits

  1. Clean Documentation Output
    - Markdown format for content-focused documentation
    - JSON format for structured menu data
    - Perfect for documentation sites, wikis, and knowledge bases
    - Ideal format for LLM training and RAG systems

  2. Smart Content Extraction
    - Automatically identifies main content areas
    - Strips away navigation, ads, and irrelevant sections
    - Preserves code blocks and technical formatting
    - Maintains proper Markdown structure

  3. Flexible Crawling Strategies
    - Single page for quick reference docs
    - Multi-page for comprehensive library documentation
    - Sitemap-based for complete framework coverage
    - Menu-based for structured documentation hierarchies

  4. LLM and RAG Ready
    - Clean Markdown text suitable for embeddings
    - Preserved code blocks for technical accuracy
    - Structured menu data in JSON format
    - Consistent formatting for reliable processing

A comprehensive Python toolkit for scraping documentation websites using different crawling strategies. Built using the Crawl4AI library for efficient web crawling.

Features

Core Features

  • 🚀 Multiple crawling strategies
  • 📑 Automatic nested menu expansion
  • 🔄 Handles dynamic content and lazy-loaded elements
  • 🎯 Configurable selectors
  • 📝 Clean Markdown output for documentation
  • 📊 JSON output for menu structure
  • 🎨 Colorful terminal feedback
  • 🔍 Smart URL processing
  • ⚡ Asynchronous execution

Available Crawlers

  1. Single URL Crawler (single_url_crawler.py)
    - Extracts content from a single documentation page
    - Outputs clean Markdown format
    - Perfect for targeted content extraction
    - Configurable content selectors

  2. Multi URL Crawler (multi_url_crawler.py)
    - Processes multiple URLs in parallel
    - Generates individual Markdown files per page
    - Efficient batch processing
    - Shared browser session for better performance

  3. Sitemap Crawler (sitemap_crawler.py)
    - Automatically discovers and crawls sitemap.xml
    - Creates Markdown files for each page
    - Supports recursive sitemap parsing
    - Handles gzipped sitemaps

  4. Menu Crawler (menu_crawler.py)
    - Extracts all menu links from documentation
    - Outputs structured JSON format
    - Handles nested and dynamic menus
    - Smart menu expansion

Requirements

  • Python 3.7+
  • Virtual Environment (recommended)

Installation

  1. Clone the repository:```bash
    git clone https://github.com/felores/crawl4ai_docs_scraper.git
    cd crawl4ai_docs_scraper

2. Create and activate a virtual environment:```bash
python -m venv venv
source venv/bin/activate  # On Windows: venv\Scripts\activate
  1. Install dependencies:```bash
    pip install -r requirements.txt

## Usage

### 1. Single URL Crawler```bash
python single_url_crawler.py https://docs.example.com/page

Arguments:
- URL: Target documentation URL (required, first argument)

Note: Use quotes only if your URL contains special characters or spaces.

Output format (Markdown):```markdown

Page Title

Section 1

Content with preserved formatting, including:
- Lists
- Links
- Tables

Code Examples

def example():
    return "Code blocks are preserved"```

### 2. Multi URL Crawler

```bash
# Using a text file with URLs
python multi_url_crawler.py urls.txt

# Using JSON output from menu crawler
python multi_url_crawler.py menu_links.json

# Using custom output prefix
python multi_url_crawler.py menu_links.json --output-prefix custom_name```

Arguments:
- URLs file: Path to file containing URLs (required, first argument)
  - Can be .txt with one URL per line
  - Or .json from menu crawler output
- `--output-prefix`: Custom prefix for output markdown file (optional)

Note: Use quotes only if your file path contains spaces.

Output filename format:
- Without `--output-prefix`: `domain_path_docs_content_timestamp.md` (e.g., `cloudflare_agents_docs_content_20240323_223656.md`)
- With `--output-prefix`: `custom_prefix_docs_content_timestamp.md` (e.g., `custom_name_docs_content_20240323_223656.md`)

The crawler accepts two types of input files:
1. Text file with one URL per line:
```text
https://docs.example.com/page1
https://docs.example.com/page2
https://docs.example.com/page3```

2. JSON file (compatible with menu crawler output):
```json
{
    "menu_links": [
        "https://docs.example.com/page1",
        "https://docs.example.com/page2"
    ]
}```

### 3. Sitemap Crawler

```bash
python sitemap_crawler.py https://docs.example.com/sitemap.xml```

Options:
- `--max-depth`: Maximum sitemap recursion depth (optional)
- `--patterns`: URL patterns to include (optional)

### 4. Menu Crawler

```bash
python menu_crawler.py https://docs.example.com```

Options:
- `--selectors`: Custom menu selectors (optional)

The menu crawler now saves its output to the `input_files` directory, making it ready for immediate use with the multi-url crawler. The output JSON has this format:
```json
{
    "start_url": "https://docs.example.com/",
    "total_links_found": 42,
    "menu_links": [
        "https://docs.example.com/page1",
        "https://docs.example.com/page2"
    ]
}```

After running the menu crawler, you'll get a command to run the multi-url crawler with the generated file.

## Directory Structure

crawl4ai_docs_scraper/
├── input_files/ # Input files for URL processing
│ ├── urls.txt # Text file with URLs
│ └── menu_links.json # JSON output from menu crawler
├── scraped_docs/ # Output directory for markdown files
│ └── docs_timestamp.md # Generated documentation
├── multi_url_crawler.py
├── menu_crawler.py
└── requirements.txt


## Error Handling

All crawlers include comprehensive error handling with colored terminal output:
- 🟢 Green: Success messages
- 🔵 Cyan: Processing status
- 🟡 Yellow: Warnings
- 🔴 Red: Error messages

## Contributing

Contributions are welcome! Please feel free to submit a Pull Request.

## License

This project is licensed under the MIT License - see the LICENSE file for details.

## Attribution

This project uses Crawl4AI for web data extraction.

## Acknowledgments

- Built with Crawl4AI
- Uses termcolor for colorful terminal output

常见问题

7 问
答案由本站依据条目字段整理,不引用上游原文
Docs Scraper MCP 怎么安装?

在客户端按下面的安装命令接入:pip install mcp-server\"。装完在客户端配置里引用同一个包或端点。

Docs Scraper MCP 怎么在客户端里配置?

它的传输方式未标注,在客户端 MCP 配置里按官方文档填写启动命令和参数,保存后重启客户端生效。

Docs Scraper MCP 收费吗?

本站不代收费用,也没有标注具体价格。是否收费取决于服务本身和背后的接口额度,正式使用前按官方说明确认。

Docs Scraper MCP 需要 API Key 吗?

资料标注需要OAuth 授权认证,使用前准备好对应凭据,并按最小权限配置。

Docs Scraper MCP 能提供哪些能力?

资料显示能力标签包括 Python、Markdown转换、文档处理。具体工具清单以官方文档为准。

Docs Scraper MCP 需要什么运行环境?

运行时为 Python;属于本地进程,需要在本机装好运行环境。

Docs Scraper MCP 是本地还是远程?

它是本地进程(stdio),由客户端在本机拉起。传输方式为stdio · 本地进程。

热门专题

按标签挑服务器
全部专题 →

服务器信息以作者仓库与官方文档为准;分类、传输方式与鉴权方式的中文说明为中文整理,最近核验 2026-05-17。