Scraper MCP Smithery

MCP浏览器工具

提供方 rockerritesh

浏览器工具 stdio · 本地进程 无需鉴权 社区 / 第三方
查看接入方式

一个强大的网页抓取MCP服务器,可将任何网站转换为结构化的Markdown格式,并自动管理ChromeDriver。

一句话选型结论

按资料字段整理

Scraper MCP Smithery 属于浏览器工具类 MCP 服务器,stdio · 本地进程,无需鉴权,有可直接执行的安装命令。接入前先确认权限范围;涉及写入、删除或付款的操作,建议先在测试环境验证。

分类浏览器工具 传输方式stdio · 本地进程 鉴权无需鉴权 部署方式本地部署
GitHub 星标 1 仓库热度,无公开仓库时显示未标注
工具数 未标注 暴露给模型的工具数量
资源 / 提示词 0 / 0 资源与提示词模板数量
维护方 社区 / 第三方 核验等级 仅资料核对

工具与能力

浏览器工具
数量来自来源目录的标注,具体工具清单以官方文档为准
工具数量未标注暴露给模型可调用的工具个数
资源数量0可读取的资源条目
提示词数量0内置提示词模板数量

能力标签

适用场景

网页抓取Python本地部署Markdown转换自动化AI代理集成

安装与配置

stdio · 本地进程 无需鉴权
客户端在本机拉起子进程,数据不出本机
uv run mcp dev server.py

这条命令只是入口,具体启动参数请按官方文档补齐,不要直接照搬到别的服务器。

  1. 1
    准备运行环境

    stdio 服务在本地起进程,需要先装好 Python,再按安装命令拉取依赖。

  2. 2
    安装服务

    复制上面的安装命令执行;命令里带占位符的位置,换成自己的密钥或路径。

  3. 3
    写入客户端配置

    在客户端的 MCP 配置里填好启动命令和参数,保存后完全退出客户端再打开,让新配置生效。

  4. 4
    验证是否可用

    连接成功后随便调一个只读工具,确认能返回结果,再接入正式流程。

典型使用场景

3 类
按分类与标签整理的常见用法,具体以官方文档为准
自动操作网页

打开页面、点击、填表,把浏览器动作交给模型执行。

抓取结构化数据

把页面内容整理成表格或 JSON,省掉手工复制粘贴。

关键流程回归

按步骤检查页面是否正常,回归时少漏环节。

选择建议

选之前先看这几条
按条目字段给出的判断,不替你决定用不用

值得选的地方

  • 有现成的安装命令,不用自己找入口,照着跑就能起服务。
  • 资料标注无需鉴权,装好就能连。

先想清楚的地方

  • stdio 方式要求本地装好运行时(如 Node.js),换机器要重新装一遍。
  • 资料没标注工具数量,实际能力要装好后确认。
  • 版本更新与行为细节以官方仓库为准。

更适合

  • 需要在浏览器工具场景里让模型直接调用外部能力的人。
  • 想先快速试一下、能接受在本地或自有环境跑服务的人。

不太适合

  • 完全不想在本地装环境的人。
  • 需要厂商级 SLA 和技术支持的生产环境。

同类对比

6 个同类
同分类里挑最接近的几条,字段以各自详情页为准
MCP 服务器工具数传输方式部署方式安装命令最后核验
Scraper MCP Smithery当前 未标注 stdio · 本地进程 本地部署 有 2026-05-17
Playwright MCP Server 21 stdio · 本地进程 本地部署 有 2026-05-18
Fetch 9a2682de 1 SSE · 服务端推送 支持远程部署 有 2026-05-18
Browser 738d52bc 未标注 stdio · 本地进程 本地部署 有 2026-05-17
MCP 40600ece 未标注 stdio · 本地进程 本地部署 有 2026-05-17
Skyvern MCP 未标注 stdio · 本地进程 本地部署 有 2026-05-17

服务器档案

浏览器工具
字段来自项目仓库与公开索引,中文说明由本站标注
提供方rockerritesh上游标注的维护方 rockerritesh
分类浏览器工具本站按上游分类展示
连接方式stdio · 本地进程客户端在本机拉起子进程,数据不出本机
鉴权方式无需鉴权远程服务建议用最小权限凭据
维护方社区 / 第三方核验等级 仅资料核对
包名 / 运行时未标注 · Python本地安装时用到的包标识与运行时
部署类型本地部署上游给出的部署形态
最近核验2026-05-17上游最后核验时间

详细介绍

5.2 KB
来自项目仓库与上游目录的原文,未做删改

Smithery的网页刮刀MCP

用于网络抓取操作的强大MCP(模型上下文协议)服务器,部署在 铁匠铺 -AI代理的编排层。此扩展程序通过自动ChromeDriver管理将任何网站转换为干净、结构化的markdown格式。

🌟 Smithery有售

此MCP服务器是 Smithery市场 随着 7953+技能和扩展 由社区建造。立即部署,将网络抓取功能集成到您的AI代理中。

✨ 特性

  • 🚀 高性能:与uv包管理器直接功能集成,实现最佳速度
  • 🔄 零配置:具有版本兼容性的自动ChromeDriver管理
  • 🌐 智能URL处理:自动添加HTTPS协议并验证URL
  • 📝 Markdown转换:将web内容转换为干净、结构化的markdown
  • ⚡ 异步操作:使用适当的async/await进行非阻塞web抓取
  • 🛡️ 生产就绪:全面的错误处理和优雅的回退
  • 🐳 Smithery优化:具有安全最佳实践的容器化部署

📋 先决条件

  • Smithery账户 - 在smithery.ai注册
  • Python 3.12+ (用于地方发展)
  • 紫外线 包管理器
  • 谷歌浏览器 (在部署中自动管理)

🚀 Smithery部署

部署到Smithery平台

  1. 访问 Smithery网刮器MCP
  2. 点击“部署服务器” 添加到您的代理
  3. 配置 使用您的首选设置
  4. 开始刮擦 网站立即!

地方发展```bash

Clone the repository

git clone https://github.com/rockerritesh/scraper-mcp-smithery.git
cd scraper-mcp-smithery

Install dependencies with uv

uv sync

Run the MCP development server

uv run mcp dev server.py


### Python直接使用(开发)```python
from scraper_doc import scrape_website

# Scrape a website
content = scrape_website("https://example.com")
print(content)  # Returns markdown formatted content

URL格式要求

  • ✅ 支持: https://example.com, http://example.com
  • ✅ 自动修复: example.com → https://example.com
  • ❌ 无效:格式错误的URL返回描述性错误消息

🏗️ 史密瑟里建筑

集成流程```

Smithery Agent → MCP Protocol → search_web_tool → Chrome/Selenium → Markdown Output


### 平台优势

- **🎯 零设置**:无需基础设施管理即可立即部署
- **📊 监控**:内置健康检查和绩效指标
- **🔗 代理集成**:与Smithery的AI编排无缝连接
- **📈 可扩展性**:基于使用模式的自动缩放

### 关键改进

- **❌ 老的**:具有性能开销的子流程调用
- **✅ 新**:异步执行的直接函数导入
- **🎯 结果**:Smithery平台上的性能提高了约3倍

## 🛠️ 开发与测试

### 局部测试```bash
# Test the scraper directly
uv run python scraper_doc.py https://example.com

# Test with output directory
uv run python scraper_doc.py https://example.com ./output

# Run MCP development server
uv run mcp dev server.py

调试模式```bash

MCP_DEBUG=1 uv run mcp dev server.py


### 依赖关系(由UV管理)

- **mcp\[cli\]** -模型上下文协议框架
- **硒** -Web浏览器自动化
- **网络驱动程序管理器** -自动ChromeDriver管理
- **请求:** -用于图像下载的HTTP客户端
- **python dotenv** -环境变量管理

## 🐛 故障排除

### Smithery常见问题

- **部署超时**:通常自动解析;检查Smithery状态
- **未找到工具**:确保在server.py中正确注册MCP工具
- **内存限制**:大页面可能需要优化(自动处理)

### ChromeDriver问题

由Web驱动程序管理器自动解析,但用于本地开发:```bash
# Clear webdriver cache if needed
rm -rf ~/.wdm/

# Verify Chrome installation
google-chrome --version

📊 Smithery演出

  • 🚀 刮擦速度:每页2-5秒
  • 💾 内存使用:每次操作约50-100MB
  • ⚡ 并行支持:多个异步操作
  • 🔄 自动缩放:由Smithery平台处理

🔐 安全特性

  • 🛡️ 沙盒执行:Chrome运行时带有安全标志
  • 👤 非root用户:增强集装箱安全
  • 🔒 URL验证:防止恶意URL处理
  • 📊 审计日志:Smithery平台监控

🌐 Smithery集成示例

聊天代理```

Agent: "Can you scrape the latest news from example.com?"
Web Scraper MCP: Scrapes and returns structured content
Agent: "Here's the latest news in markdown format..."


### 在自动化工作流中```
Trigger → Smithery Agent → Web Scraper MCP → Content Analysis → Action

📚 资源

  • Smithery平台 -部署和管理MCP服务器
  • Smithery文件 -平台指南和API参考
  • MCP规范 -协议文件
  • 社区不和 -获得帮助并分享想法

📜 许可证

MIT许可证-请参阅 许可证 文件以获取详细信息。

🤝 为Smithery生态系统做出贡献

  1. 分叉此存储库
  2. 创建要素分支
  3. Smithery平台上的测试
  4. 提交拉取请求
  5. 分享 Smithery社区

🚀 部署于 铁匠铺 · 使用FastMCP、Selenium和UV构建 · 7953+社区扩展的一部分```

This README provides clear setup instructions while highlighting the tool's async capabilities and Smithery integration. The structure follows best practices for developer tools documentation.


```

常见问题

7 问
答案由本站依据条目字段整理,不引用上游原文
Scraper MCP Smithery 怎么安装?

在客户端按下面的安装命令接入:uv run mcp dev server.py。装完在客户端配置里引用同一个包或端点。

Scraper MCP Smithery 怎么在客户端里配置?

它的传输方式未标注,在客户端 MCP 配置里按官方文档填写启动命令和参数,保存后重启客户端生效。

Scraper MCP Smithery 收费吗?

本站不代收费用,也没有标注具体价格。是否收费取决于服务本身和背后的接口额度,正式使用前按官方说明确认。

Scraper MCP Smithery 需要 API Key 吗?

资料标注为无需认证,装好就能连;如果实际调用时报鉴权错误,按官方文档补上凭据。

Scraper MCP Smithery 能提供哪些能力?

资料显示能力标签包括 浏览器自动化、AI代理集成、Python、Markdown转换、自动化。具体工具清单以官方文档为准。

Scraper MCP Smithery 需要什么运行环境?

运行时为 Python;属于本地进程,需要在本机装好运行环境。

Scraper MCP Smithery 是本地还是远程?

它是本地进程(stdio),由客户端在本机拉起。传输方式为stdio · 本地进程。

热门专题

按标签挑服务器
全部专题 →

服务器信息以作者仓库与官方文档为准;分类、传输方式与鉴权方式的中文说明为中文整理,最近核验 2026-05-17。