Webcrawler MCP

MCPAI代理

提供方 WebCrawlerAPI · 包名 webcrawler-mcp

AI代理 stdio · 本地进程 无需鉴权 社区 / 第三方 Claude
查看接入方式

WebcrawlerAPI MCP Server是一个强大的网页爬取和数据提取服务,可将网页内容抓取功能集成到MCP兼容应用程序中。

一句话选型结论

按资料字段整理

Webcrawler MCP 属于AI代理类 MCP 服务器,stdio · 本地进程,无需鉴权,可直接接入 Claude,有可直接执行的安装命令。接入前先确认权限范围;涉及写入、删除或付款的操作,建议先在测试环境验证。

分类AI代理 传输方式stdio · 本地进程 鉴权无需鉴权 部署方式本地部署
GitHub 星标 2 仓库热度,无公开仓库时显示未标注
工具数 未标注 暴露给模型的工具数量
资源 / 提示词 0 / 0 资源与提示词模板数量
维护方 社区 / 第三方 核验等级 仅资料核对

工具与能力

AI代理
数量来自来源目录的标注,具体工具清单以官方文档为准
工具数量未标注暴露给模型可调用的工具个数
资源数量0可读取的资源条目
提示词数量0内置提示词模板数量

能力标签

支持客户端

适用场景

网页爬取Python本地部署数据提取MCP集成AI工作流

安装与配置

stdio · 本地进程 无需鉴权
客户端在本机拉起子进程,数据不出本机
npx webcrawler-mcp

这条命令只是入口,具体启动参数请按官方文档补齐,不要直接照搬到别的服务器。

  1. 1
    准备运行环境

    stdio 服务在本地起进程,需要先装好 Node.js,再按安装命令拉取依赖。

  2. 2
    安装服务

    复制上面的安装命令执行;命令里带占位符的位置,换成自己的密钥或路径。

  3. 3
    写入客户端配置

    在客户端的 MCP 配置里填好启动命令和参数,保存后完全退出客户端再打开,让新配置生效。

  4. 4
    验证是否可用

    连接成功后随便调一个只读工具,确认能返回结果,再接入正式流程。

典型使用场景

3 类
按分类与标签整理的常见用法,具体以官方文档为准
给代理接外部能力

让代理在任务中途调用搜索、数据库等真实工具。

多步任务编排

把一串操作拆成步骤,由代理按顺序执行。

自动化重复流程

把固定流程交给代理跑,减少手工操作。

选择建议

选之前先看这几条
按条目字段给出的判断,不替你决定用不用

值得选的地方

  • 有现成的安装命令,不用自己找入口,照着跑就能起服务。
  • 已适配 Claude,换客户端不用重新研究配置。
  • 资料标注无需鉴权,装好就能连。

先想清楚的地方

  • stdio 方式要求本地装好运行时(如 Node.js),换机器要重新装一遍。
  • 资料没标注工具数量,实际能力要装好后确认。
  • 版本更新与行为细节以官方仓库为准。

更适合

  • 需要在AI代理场景里让模型直接调用外部能力的人。
  • 已经在用 Claude 的用户,接入路径最短。
  • 想先快速试一下、能接受在本地或自有环境跑服务的人。

不太适合

  • 完全不想在本地装环境的人。
  • 需要厂商级 SLA 和技术支持的生产环境。

同类对比

6 个同类
同分类里挑最接近的几条,字段以各自详情页为准
MCP 服务器工具数传输方式部署方式安装命令最后核验
Webcrawler MCP当前 未标注 stdio · 本地进程 本地部署 有 2026-05-17
Filesystem 560c4363 13 未标注 本地部署 无 2026-05-17
Server Everything (everything) 11 stdio · 本地进程 本地部署 有 2026-05-17
Time 7365cb6d 2 SSE · 服务端推送 远程部署 有 2026-05-18
Everything Claude Code 未标注 stdio · 本地进程 本地部署 有 2026-05-17
Openmemory 557e1585 未标注 stdio · 本地进程 本地部署 有 2026-05-17

服务器档案

AI代理
字段来自项目仓库与公开索引,中文说明由本站标注
提供方WebCrawlerAPI上游标注的维护方 WebCrawlerAPI
分类AI代理本站按上游分类展示
连接方式stdio · 本地进程客户端在本机拉起子进程,数据不出本机
鉴权方式无需鉴权远程服务建议用最小权限凭据
维护方社区 / 第三方核验等级 仅资料核对
包名 / 运行时webcrawler-mcp · Node.js本地安装时用到的包标识与运行时
部署类型本地部署上游给出的部署形态
最近核验2026-05-17上游最后核验时间

详细介绍

2.3 KB
来自项目仓库与上游目录的原文,未做删改

WebcrawlerAPI MCP服务器

WebcrawlerAPI 是一个强大的网络抓取和网站爬行服务,允许您轻松地从任何网站提取数据。

此MCP(模型上下文协议)服务器将WebcrawlerAPI的抓取功能直接集成到与MCP兼容的应用程序(如Claude Code)中,从而实现了AI工作流中的集成。在开始使用您的免费API密钥 WebcrawlerAPI仪表板.

设置

  1. 从获取API密钥 WebcrawlerAPI仪表板
  2. 设置环境变量:```bash
    export WEBCRAWLER_API_KEY="your-api-key-here"

## 使用Claude代码

使用npx将此服务器添加到您的Claude Code配置中:```bash
npx webcrawler-mcp

或者添加到MCP设置配置中:```json
{
"mcpServers": {
"webcrawler": {
"command": "npx",
"args": ["-y", "webcrawler-mcp"],
"env": {
"WEBCRAWLER_API_KEY": "your-api-key-here"
}
}
}
}


## 可用工具

### webcrawler刮

从任何网页中抓取内容并将其作为markdown返回。

**参数:**

- `url` (必填):要抓取的网页的URL
- `prompt` (可选):从页面提取特定信息的可选提示

**示例用法:**```
Use the webcrawler-scrape tool to get the content from https://example.com

提示进行目标提取:```
Use the webcrawler-scrape tool to scrape https://news.ycombinator.com with the prompt "Extract all article titles and their corresponding URLs"


该工具将抓取的内容作为markdown返回,同时返回页面标题和HTTP状态代码。当使用提示时,API将重点提取您请求的特定信息。

## 作为独立应用程序运行

您还可以将服务器作为独立应用程序运行:

### 通过npm```bash
npm install
npm run build
npm start

通过npx```bash

npx webcrawler-mcp


### HTTP模式

要在HTTP模式而不是stdio下运行,请执行以下操作:```bash
USE_HTTP=true npx webcrawler-mcp
# or
npm run start:http

默认情况下,HTTP服务器将在端口8080上启动,端点为:

  • 健康检查: http://localhost:8080/health
  • MCP端点: http://localhost:8080/mcp

环境变量

  • WEBCRAWLER_API_KEY:您的WebcrawlerAPI.com API密钥(必需)
  • USE_HTTP:设置为“true”以使用HTTP传输而不是stdio
  • PORT:HTTP服务器端口(默认值:8080)

发展```bash

npm install
npm run dev # Watch mode
npm run build
```

常见问题

8 问
答案由本站依据条目字段整理,不引用上游原文
Webcrawler MCP 怎么安装?

在客户端按下面的安装命令接入:npx webcrawler-mcp。对应的包名是 webcrawler-mcp。装完在客户端配置里引用同一个包或端点。

Webcrawler MCP 怎么在 Claude 里配置?

它的传输方式是stdio · 本地进程,在客户端的 MCP 配置里填好启动命令和参数,保存后完全退出客户端再打开,配置才会生效。

Webcrawler MCP 收费吗?

本站不代收费用,也没有标注具体价格。是否收费取决于服务本身和背后的接口额度,正式使用前按官方说明确认。

Webcrawler MCP 需要 API Key 吗?

资料标注为无需认证,装好就能连;如果实际调用时报鉴权错误,按官方文档补上凭据。

Webcrawler MCP 支持哪些客户端?

资料标注支持 Claude;其他客户端只要能配置 MCP Server,也能用同样的命令或地址接入。

Webcrawler MCP 能提供哪些能力?

资料显示能力标签包括 网页爬取、数据提取、Python、Claude、AI工作流。具体工具清单以官方文档为准。

Webcrawler MCP 需要什么运行环境?

运行时为 Node.js;属于本地进程,需要在本机装好运行环境。

Webcrawler MCP 是本地还是远程?

它是本地进程(stdio),由客户端在本机拉起。传输方式为stdio · 本地进程。

热门专题

按标签挑服务器
全部专题 →

服务器信息以作者仓库与官方文档为准;分类、传输方式与鉴权方式的中文说明为中文整理,最近核验 2026-05-17。