Website Scraper MCP Server Prod

MCP浏览器工具

提供方 Traia-IO

浏览器工具 stdio · 本地进程 无需鉴权 社区 / 第三方
查看接入方式

一个基于MCP协议的网站内容提取服务,能够从网页中提取可读文本和元数据,支持AI代理和大型语言模型集成。

一句话选型结论

按资料字段整理

Website Scraper MCP Server Prod 属于浏览器工具类 MCP 服务器,stdio · 本地进程,无需鉴权,有可直接执行的安装命令。接入前先确认权限范围;涉及写入、删除或付款的操作,建议先在测试环境验证。

分类浏览器工具 传输方式stdio · 本地进程 鉴权无需鉴权 部署方式本地部署
GitHub 星标 0 仓库热度,无公开仓库时显示未标注
工具数 3 暴露给模型的工具数量
资源 / 提示词 0 / 0 资源与提示词模板数量
维护方 社区 / 第三方 核验等级 仅资料核对

工具与能力

浏览器工具
数量来自来源目录的标注,具体工具清单以官方文档为准
工具数量3暴露给模型可调用的工具个数
资源数量0可读取的资源条目
提示词数量0内置提示词模板数量

能力标签

适用场景

网页抓取Python本地部署内容提取文本提取AI集成Docker支持

安装与配置

stdio · 本地进程 无需鉴权
客户端在本机拉起子进程,数据不出本机
uv run python -m server

这条命令只是入口,具体启动参数请按官方文档补齐,不要直接照搬到别的服务器。

  1. 1
    准备运行环境

    stdio 服务在本地起进程,需要先装好 Python,再按安装命令拉取依赖。

  2. 2
    安装服务

    复制上面的安装命令执行;命令里带占位符的位置,换成自己的密钥或路径。

  3. 3
    写入客户端配置

    在客户端的 MCP 配置里填好启动命令和参数,保存后完全退出客户端再打开,让新配置生效。

  4. 4
    验证是否可用

    连接成功后客户端会列出约 3 个工具,随便调一个只读工具确认能返回结果。

典型使用场景

3 类
按分类与标签整理的常见用法,具体以官方文档为准
自动操作网页

打开页面、点击、填表,把浏览器动作交给模型执行。

抓取结构化数据

把页面内容整理成表格或 JSON,省掉手工复制粘贴。

关键流程回归

按步骤检查页面是否正常,回归时少漏环节。

选择建议

选之前先看这几条
按条目字段给出的判断,不替你决定用不用

值得选的地方

  • 资料标注 3 个工具,职责相对集中,接入后不容易误操作。
  • 有现成的安装命令,不用自己找入口,照着跑就能起服务。
  • 资料标注无需鉴权,装好就能连。

先想清楚的地方

  • stdio 方式要求本地装好运行时(如 Node.js),换机器要重新装一遍。
  • 版本更新与行为细节以官方仓库为准。

更适合

  • 需要在浏览器工具场景里让模型直接调用外部能力的人。
  • 想先快速试一下、能接受在本地或自有环境跑服务的人。

不太适合

  • 完全不想在本地装环境的人。
  • 需要厂商级 SLA 和技术支持的生产环境。

同类对比

6 个同类
同分类里挑最接近的几条,字段以各自详情页为准
MCP 服务器工具数传输方式部署方式安装命令最后核验
Website Scraper MCP Server Prod当前 3 stdio · 本地进程 本地部署 有 2026-05-17
Playwright MCP Server 21 stdio · 本地进程 本地部署 有 2026-05-18
Fetch 9a2682de 1 SSE · 服务端推送 支持远程部署 有 2026-05-18
Browser 738d52bc 未标注 stdio · 本地进程 本地部署 有 2026-05-17
MCP 40600ece 未标注 stdio · 本地进程 本地部署 有 2026-05-17
Skyvern MCP 未标注 stdio · 本地进程 本地部署 有 2026-05-17

服务器档案

浏览器工具
字段来自项目仓库与公开索引,中文说明由本站标注
提供方Traia-IO上游标注的维护方 Traia-IO
分类浏览器工具本站按上游分类展示
连接方式stdio · 本地进程客户端在本机拉起子进程,数据不出本机
鉴权方式无需鉴权远程服务建议用最小权限凭据
维护方社区 / 第三方核验等级 仅资料核对
包名 / 运行时未标注 · Python本地安装时用到的包标识与运行时
部署类型本地部署上游给出的部署形态
最近核验2026-05-17上游最后核验时间

详细介绍

5.2 KB
来自项目仓库与上游目录的原文,未做删改

网站抓取器MCP服务器

这是一个MCP(模型上下文协议)服务器,提供对网站抓取器API的访问。它使AI代理和LLM能够通过标准化工具从网站中提取干净的文本内容。

特性

  • 🔧 MCP协议:基于模型上下文协议构建,实现无缝的人工智能集成
  • 🌐 网页内容提取:从HTML页面中提取可读文本和元数据
  • 🐳 Docker支持:使用Docker和Docker Compose轻松部署
  • ⚡ 异步操作:内置FastMCP,实现高效异步处理

API文档

  • 网站爬虫网站: https://pypi.org/project/beautifulsoup4/
  • API文档: https://www.crummy.com/software/BeautifulSoup/bs4/doc/

可用工具

此服务器提供以下工具:

  • scrape_website:从任何网站URL中提取干净的文本内容
  • scrape_website_custom_headers:使用自定义User-Agent和Referer标头抓取网站
  • get_scraper_info:获取有关刮板机服务能力的信息

安装

使用Docker(推荐)

  1. 克隆此存储库:```bash
    git clone https://github.com/Traia-IO/website-scraper-mcp-server.git
    cd website-scraper-mcp-server

1. 使用Docker运行:```bash
./run_local_docker.sh

使用Docker Compose

  1. 创建一个 .env 使用您的配置文件:```env
    PORT=8000

1. 启动服务器:```bash
docker-compose up

手动安装

  1. 使用安装依赖项 uv:```bash
    uv pip install -e .

1. 运行服务器:```bash
uv run python -m server

用法

健康检查

测试服务器是否正在运行:```bash
python mcp_health_check.py


### 使用CrewAI```python
from traia_iatp.mcp.traia_mcp_adapter import create_mcp_adapter

# Connect to the MCP server
with create_mcp_adapter(
url="http://localhost:8000/mcp/"
) as tools:
# Use the tools
for tool in tools:
print(f"Available tool: {tool.name}")

# Basic website scraping
result = await tools.scrape_website(website_url="https://example.com")
print(f"Title: {result['title']}")
print(f"Content: {result['content'][:200]}...")

# Scraping with custom headers
result = await tools.scrape_website_custom_headers(
website_url="https://example.com",
user_agent="Mozilla/5.0 (iPhone; CPU iPhone OS 14_0 like Mac OS X) AppleWebKit/605.1.15",
referer="https://www.google.com/"
)
print(f"Custom headers result: {result['title']}")

# Get service information
info = await tools.get_scraper_info()
print(f"Service: {info['service_name']}")
print(f"Features: {info['features']}")

发展

测试服务器

  1. 在本地启动服务器
  2. 运行健康检查: python mcp_health_check.py
  3. 使用CrewAI适配器测试单个工具

添加新工具

要添加新工具,请编辑 server.py 以及:

  1. 为网站抓取器端点创建API客户端函数
  2. 添加 @mcp.tool() 装饰功能
  3. 使用新工具更新此README
  4. 更新 deployment_params.json 工具名称位于功能数组中

部署

部署配置

这 deployment_params.json 文件包含此MCP服务器的部署配置:json { "github_url": "https://github.com/Traia-IO/website-scraper-mcp-server", "mcp_server": { "name": "website-scraper-mcp", "description": "Web scraping service for extracting clean text content from websites. provides tools for basic scraping, custom headers support, and content metadata extraction. useful for gathering information from web pages for analysis or data collection.", "server_type": "streamable-http", "requires_api_key": false, "payment_protocol": "402", "capabilities": [ "scrape_website", "scrape_website_custom_headers", "get_scraper_info" ] }, "deployment_method": "cloud_run", "gcp_project_id": "traia-mcp-servers", "gcp_region": "us-central1", "tags": ["website scraper", "web scraping", "content extraction", "text extraction", "api", "mcp", "d402", "payment-protocol", "http-402"], "ref": "main" }

重要:始终更新 capabilities 添加或删除工具时使用数组!

谷歌云运行

此服务器旨在部署在Google Cloud Run上。部署将:

  1. 从Dockerfile构建一个容器
  2. 使用指定配置部署到Cloud Run
  3. 暴露 /mcp 客户端连接的端点

环境变量

  • PORT:服务器端口(默认值:8000)
  • STAGE:环境阶段(默认:MAINNET,选项:MAINNET、TESTNET)
  • LOG_LEVEL:日志记录级别(默认值:INFO)
  • SERVER_ADDRESS:付款地址(IATP钱包合约)
  • MCP_OPERATOR_PRIVATE_KEY:支付协议的操作员签名密钥
  • MCP_OPERATOR_ADDRESS:结算验证操作员公共地址
  • D402_TESTING_MODE:跳过测试主持人(默认值:false)
  • D402_FACILITATOR_URL:支付服务商URL(如果启用了测试模式,则可选)
  • D402_FACILITATOR_API_KEY:主持人API密钥(可选)
  • DEFAULT_SETTLEMENT_TOKEN:默认结算令牌地址
  • DEFAULT_SETTLEMENT_NETWORK:默认结算网络
  • NETWORK:区块链网络(默认:sepolia)

故障排除

  1. 服务器未启动:使用以下命令检查Docker日志 docker logs
  2. 连接错误:确保服务器在预期端口上运行
  3. 工具错误:检查服务器日志以获取详细的错误消息

贡献

  1. 分叉存储库
  2. 创建要素分支
  3. 实施新工具或改进
  4. 更新README和deployment_params.json
  5. 提交拉取请求

许可证

MIT许可证

常见问题

7 问
答案由本站依据条目字段整理,不引用上游原文
Website Scraper MCP Server Prod 怎么安装?

在客户端按下面的安装命令接入:uv run python -m server。装完在客户端配置里引用同一个包或端点。

Website Scraper MCP Server Prod 怎么在客户端里配置?

它的传输方式未标注,在客户端 MCP 配置里按官方文档填写启动命令和参数,保存后重启客户端生效。

Website Scraper MCP Server Prod 收费吗?

本站不代收费用,也没有标注具体价格。是否收费取决于服务本身和背后的接口额度,正式使用前按官方说明确认。

Website Scraper MCP Server Prod 需要 API Key 吗?

资料标注为无需认证,装好就能连;如果实际调用时报鉴权错误,按官方文档补上凭据。

Website Scraper MCP Server Prod 能提供哪些能力?

资料显示约 3 个工具;能力标签包括 浏览器自动化、内容提取、Python、文本提取、Docker支持。具体工具清单以官方文档为准。

Website Scraper MCP Server Prod 需要什么运行环境?

运行时为 Python;属于本地进程,需要在本机装好运行环境。

Website Scraper MCP Server Prod 是本地还是远程?

它是本地进程(stdio),由客户端在本机拉起。传输方式为stdio · 本地进程。

热门专题

按标签挑服务器
全部专题 →

服务器信息以作者仓库与官方文档为准;分类、传输方式与鉴权方式的中文说明为中文整理,最近核验 2026-05-17。