Documentation Crawler

MCP文档知识

提供方 未标注

文档知识 HTTP · 远程 Token 社区 / 第三方

全面解析Documentation CrawlerMCP Server的核心功能、安装配置和实用案例。作为顶级Model Context Protocol服务器,Documentation Crawler能让AI助手访问实时数据、执行操作,为您提供更智能的工作体验和自动化解决方案。

一句话选型结论

按资料字段整理

Documentation Crawler 属于文档知识类 MCP 服务器,HTTP · 远程,Token,没有现成安装命令,需按官方文档接入。接入前先确认权限范围;涉及写入、删除或付款的操作,建议先在测试环境验证。

分类文档知识 传输方式HTTP · 远程 鉴权Token 部署方式远程部署
GitHub 星标 未标注 仓库热度,无公开仓库时显示未标注
工具数 未标注 暴露给模型的工具数量
资源 / 提示词 0 / 0 资源与提示词模板数量
维护方 社区 / 第三方 核验等级 仅资料核对

工具与能力

文档知识
数量来自来源目录的标注,具体工具清单以官方文档为准
工具数量未标注暴露给模型可调用的工具个数
资源数量0可读取的资源条目
提示词数量0内置提示词模板数量

能力标签

安装与配置

HTTP · 远程 Token
连远程 HTTPS 端点,通常为 Streamable HTTP
  1. 1
    准备运行环境

    确认你的客户端支持远程端点,并拿到服务地址。

  2. 2
    安装服务

    复制上面的安装命令执行;命令里带占位符的位置,换成自己的密钥或路径。

  3. 3
    写入客户端配置

    在客户端的 MCP 配置里填好启动命令和参数,保存后完全退出客户端再打开,让新配置生效。

  4. 4
    验证是否可用

    连接成功后随便调一个只读工具,确认能返回结果,再接入正式流程。

典型使用场景

3 类
按分类与标签整理的常见用法,具体以官方文档为准
文档检索问答

在你的文档库里按问题找答案。

知识库读写

把新资料写进知识库,随用随取。

内容整理

把零散资料归纳成结构化笔记。

选择建议

选之前先看这几条
按条目字段给出的判断,不替你决定用不用

值得选的地方

  • 基础信息齐全,可以先按官方文档接入试跑。

先想清楚的地方

  • 远程端点依赖网络与服务方可用性,注意密钥与调用额度。
  • 没有现成安装命令,需要按官方文档自己填启动命令和参数。
  • 使用前要准备好Token对应的凭据,并按最小权限配置。
  • 资料没标注工具数量,实际能力要装好后确认。
  • 版本更新与行为细节以官方仓库为准。

更适合

  • 需要在文档知识场景里让模型直接调用外部能力的人。
  • 想先快速试一下、能接受在本地或自有环境跑服务的人。

不太适合

  • 不方便管理密钥或第三方授权的人。
  • 需要厂商级 SLA 和技术支持的生产环境。

同类对比

6 个同类
同分类里挑最接近的几条,字段以各自详情页为准
MCP 服务器工具数传输方式部署方式安装命令最后核验
Documentation Crawler当前 未标注 HTTP · 远程 远程部署 无 2026-05-17
dify 未标注 stdio · 本地进程 本地部署 有 2026-04-11
open-webui 未标注 stdio · 本地进程 本地部署 有 2026-04-11
JeecgBoot 未标注 stdio · 本地进程 本地部署 有 2026-04-11
Cherry Studio 未标注 未标注 未标注 无 2026-05-17
mempalace 未标注 stdio · 本地进程 本地部署 有 2026-04-11

服务器档案

文档知识
字段来自项目仓库与公开索引,中文说明由本站标注
提供方未标注上游标注的维护方 未标注
分类文档知识本站按上游分类展示
连接方式HTTP · 远程连远程 HTTPS 端点,通常为 Streamable HTTP
鉴权方式Token远程服务建议用最小权限凭据
维护方社区 / 第三方核验等级 仅资料核对
包名 / 运行时未标注 · 未标注本地安装时用到的包标识与运行时
部署类型远程部署上游给出的部署形态
最近核验2026-05-17上游最后核验时间

详细介绍

9.5 KB
来自项目仓库与上游目录的原文,未做删改

McpDocServer

English Documentation

一个基于MCP协议的开发文档服务器,专为各类开发框架文档设计。提供文档多线程爬取、本地文档加载、关键词搜索和文档详情获取功能。

核心功能演示

1. 文档爬取演示

从配置到执行npm run crawl的完整文档爬取过程

2. MCP服务器调用演示

在Cursor中查询API并获取准确文档结果的过程

解决Cursor幻觉问题

在使用Cursor进行各类框架开发时,经常会遇到AI对框架API不够精确的理解,导致的"幻觉"问题:

  • 准确性问题:AI可能推荐不存在或已过时的框架API和组件
  • 版本混淆:混合不同版本的API文档,导致代码无法正常运行
  • 参数错误:对方法参数的理解不准确,特别是针对框架特有功能
  • 兼容性误判:无法准确判断某个API在不同环境或平台中的兼容性

本MCP服务器通过提供精确的文档检索能力,有效解决上述问题:

  • 实时精准查询:直接从官方文档源获取最新准确的API信息
  • 上下文关联:将相关API和组件文档关联展示,提供完整参考
  • 参数精确匹配:提供完整的方法签名和参数列表,消除参数错误
  • 跨平台兼容标记:明确标识API在不同平台的兼容性
  • 示例代码:提供官方示例代码,确保用法正确

通过集成此MCP服务器,可以显著提高Cursor在各类框架开发过程中的准确性和效率,避免"幻觉"带来的开发障碍。

功能特点

  • 支持从本地 JSON 文件加载框架文档数据
  • 提供强大的文档搜索功能
  • 提供文档详情查询
  • 自动识别可用文档源
  • 支持特定文档源的定向查询
  • 支持爬取外部文档,自动转换为本地可用格式
  • 支持重新加载文档(通过搜索"reload"触发)

目录结构```

/
├── server.js # 服务器入口文件
├── docs/ # 文档数据目录
│ ├── taro-docs.json # Taro框架文档
│ └── taroify-docs.json # Taroify组件库文档
├── scripts/ # 脚本目录
│ └── crawl.js # 文档爬取脚本
├── tests/ # 测试目录
│ └── mcp.test.js # MCP测试脚本
├── config/ # 配置文件目录
│ └── doc-sources.js # 文档源配置
└── package.json # 项目配置


### 安装和运行

如果你本地已经安装了 Chrome 浏览器,并且希望 puppeteer 使用你已有的版本,可以设置 PUPPETEER_SKIP_DOWNLOAD 环境变量:

macOS/Linux:```bash
export PUPPETEER_SKIP_DOWNLOAD=true
npm install

Windows (命令提示符):```bash
set PUPPETEER_SKIP_DOWNLOAD=true
npm install


Windows (PowerShell):```bash
$env:PUPPETEER_SKIP_DOWNLOAD = $true
npm install
  1. 爬取文档数据

爬虫用于获取框架文档,是使用服务器前的重要步骤。您需要先创建爬虫配置文件,然后运行爬虫脚本。

创建爬虫配置

在 config 目录中创建 doc-sources.js 文件,参照以下格式:```javascript
// config/doc-sources.js

// 文档源配置
export const docSources = [
{
// 文档源名称 - 会用作搜索时的source参数
name: "taro",
// 文档网站基础URL
url: "https://docs.taro.zone/docs",
// 包含模式 - 指定要爬取的URL路径(空数组表示所有页面)
includePatterns: [
],
// 排除模式 - 指定不爬取的URL路径(支持正则表达式)
excludePatterns: [
/\d.x/, // 排除版本号页面
/apis/ // 排除API页面
]
},
{
name: "taroify",
url: "https://taroify.github.io/taroify.com/introduce/",
includePatterns: [
"/components/", // 所有组件页面
"/components//", // 组件子页面
"/components/
/*/" // 组件子子页面
],
excludePatterns: []
},
{
name: "jquery",
url: "https://www.jquery123.com/",
includePatterns: [], // 空数组表示爬取所有页面
excludePatterns: [
/version/ // 排除版本相关页面
]
}
];

// 爬虫全局配置
export const crawlerConfig = {
// 并行抓取的线程数
maxConcurrency: 40,
// 页面加载超时时间(毫秒)
pageLoadTimeout: 30000,
// 内容加载超时时间(毫秒)
contentLoadTimeout: 5000,
// 是否显示浏览器窗口(false为无界面模式)
headless: false,
// 重试次数
maxRetries: 3,
// 重试间隔(毫秒)
retryDelay: 2000,
// 请求间隔(毫秒)
requestDelay: 1000
};


### 运行爬虫

配置完成后,执行以下命令启动爬虫:```bash
npm run crawl

爬虫会按照配置自动爬取指定的文档网站,并将结果保存为符合MCP服务器要求的JSON格式。

爬虫输出示例

爬虫完成后,会在 docs 目录生成以下格式的JSON文件:```javascript
{
"source": {
"name": "taro",
"url": "https://docs.taro.zone/docs"
},
"lastUpdated": "2024-05-20T12:00:00.000Z",
"pages": {
"https://docs.taro.zone/docs/components-desc": {
"title": "组件库说明 | Taro 文档",
"content": "页面内容...",
"lastCrawled": "2024-05-20T12:00:00.000Z"
},
"https://docs.taro.zone/docs/components/viewcontainer/view": {
"title": "View | Taro 文档",
"content": "View 组件是一个容器组件...",
"lastCrawled": "2024-05-20T12:00:00.000Z"
}
// ... 更多页面
}
}


### 自定义爬虫

如需自定义爬虫行为,可以修改 `scripts/crawl.js` 文件。您可以添加特定网站的解析逻辑、自定义内容处理或增强爬取能力。

3. 启动MCP服务器```bash
npm start

启动后,服务器会检测和加载docs目录下的文档文件,并通过MCP协议提供接口服务。服务器会输出加载的文档源信息和页面数量。

  1. 运行测试```bash
    npm test
执行测试脚本,验证MCP服务器的基本功能和接口正常工作。

## 文档格式

文档文件应该是一个 JSON 文件,包含以下结构:```javascript
{
  "source": {
    "name": "taro",
    "url": "https://docs.taro.zone/docs"
  },
  "lastUpdated": "2024-03-27T12:00:00.000Z",
  "pages": {
    "https://docs.taro.zone/docs/components-desc": {
      "title": "组件库说明 | Taro 文档",
      "content": "页面内容..."
    },
    // 更多页面...
  }
}

文档加载流程:
1. 服务器启动时会自动检测并加载 docs 目录下的JSON文件
2. 如果项目目录下没有找到文档,会尝试从当前工作目录加载
3. 页面ID默认使用URL作为键,无需额外指定url字段
4. 所有源名称会自动转为小写以确保一致性

爬虫功能

系统内置爬虫支持从各类框架官方文档站点抓取内容并转换为本地可用的文档格式。爬虫特性包括:

  1. 多站点支持:支持任意框架和库的文档网站,完全可配置
  2. 选择性爬取:可以配置包含和排除模式,精确控制需要爬取的内容
  3. 智能内容提取:自动识别文档页面的标题、正文内容和结构
  4. 多线程爬取:支持高并发爬取,提高效率
  5. 自动转换:将爬取内容转换为标准的文档JSON格式
  6. 容错机制:提供超时处理和重试机制,增强稳定性

MCP 工具

服务器提供以下 MCP 工具:

  1. search_docs - 搜索文档
    - 参数:

    • query: 搜索关键词 (字符串, 必须)
    • source: 文档源名称 (字符串, 可选)
    • limit: 最大结果数量 (数字, 可选, 默认10)
    • 特殊功能:
    • 当query为"reload"时,会触发重新加载文档
  2. get_doc_detail - 获取文档详情
    - 参数:

    • id: 文档ID (字符串, 必须)
    • source: 文档源名称 (字符串, 可选)

使用示例```javascript

// 搜索文档
const searchRequest = {
jsonrpc: "2.0",
id: "search1",
method: "tools/call",
params: {
name: "search_docs",
arguments: {
query: "组件",
source: "taro",
limit: 5
}
}
};

// 获取文档详情
const detailRequest = {
jsonrpc: "2.0",
id: "detail1",
method: "tools/call",
params: {
name: "get_doc_detail",
arguments: {
id: "https://docs.taro.zone/docs/components-desc",
source: "taro"
}
}
};

// 重新加载文档
const reloadRequest = {
jsonrpc: "2.0",
id: "reload1",
method: "tools/call",
params: {
name: "search_docs",
arguments: {
query: "reload"
}
}
};


## 配置Cursor

要在 Cursor 中使用该服务器,需要添加以下配置到 `mcp.json`:```json
{
  "mcpServers": {
    "文档 MCP 服务器": {
      "command": "node",
      "args": ["/绝对路径/server.js"],
      "env": { "NODE_ENV": "development" }
    }
  }
}

> 注意: 请确保使用服务器文件的完整绝对路径,而不是相对路径。服务器启动时会自动输出适用于Cursor的配置示例。

测试

项目包含自动化测试,可以通过以下命令运行:bash npm test

测试会检查服务器的基本功能:
- 初始化 MCP 服务器
- 调用搜索工具
- 调用文档详情工具

未来计划

项目正在持续开发中,以下是我们计划添加的功能:

  1. 本地文档加载 - 添加对本地文档文件的直接加载和解析,无需依赖网络资源

如果您有功能建议或发现问题,欢迎提交Issue或Pull Request。

常见问题

7 问
答案由本站依据条目字段整理,不引用上游原文
Documentation Crawler 怎么安装?

资料没有给出安装命令,请到官方仓库或文档按说明接入;这类条目多数是生态应用,或尚未发布可安装包。

Documentation Crawler 怎么在客户端里配置?

它的传输方式未标注,在客户端 MCP 配置里按官方文档填写启动命令和参数,保存后重启客户端生效。

Documentation Crawler 收费吗?

本站不代收费用,也没有标注具体价格。是否收费取决于服务本身和背后的接口额度,正式使用前按官方说明确认。

Documentation Crawler 需要 API Key 吗?

资料标注需要Token认证,使用前准备好对应凭据,并按最小权限配置。

Documentation Crawler 能提供哪些能力?

资料显示能力标签包括 开发工具、文档检索、API文档、Token认证。具体工具清单以官方文档为准。

Documentation Crawler 需要什么运行环境?

属于远程端点,不需要在本地装运行时。

Documentation Crawler 是本地还是远程?

它是远程端点,连服务地址即可。传输方式为HTTP · 远程。

热门专题

按标签挑服务器
全部专题 →

服务器信息以作者仓库与官方文档为准;分类、传输方式与鉴权方式的中文说明为中文整理,最近核验 2026-05-17。