Webustler 4c0a94d6

MCP浏览器工具

提供方 DrRuin

浏览器工具 未标注 会话登录 社区 / 第三方 ClaudeWindsurf

Webustler是一款自托管的MCP服务器,专为网页抓取设计,能够绕过Cloudflare等反爬机制,提取干净的Markdown格式内容,适用于LLM处理和数据分析。

一句话选型结论

按资料字段整理

Webustler 4c0a94d6 属于浏览器工具类 MCP 服务器,传输方式未标注,会话登录,可直接接入 Claude、Windsurf,没有现成安装命令,需按官方文档接入。接入前先确认权限范围;涉及写入、删除或付款的操作,建议先在测试环境验证。

分类浏览器工具 传输方式未标注 鉴权会话登录 部署方式未标注
GitHub 星标 3 仓库热度,无公开仓库时显示未标注
工具数 1 暴露给模型的工具数量
资源 / 提示词 0 / 0 资源与提示词模板数量
维护方 社区 / 第三方 核验等级 仅资料核对

工具与能力

浏览器工具
数量来自来源目录的标注,具体工具清单以官方文档为准
工具数量1暴露给模型可调用的工具个数
资源数量0可读取的资源条目
提示词数量0内置提示词模板数量

能力标签

支持客户端

适用场景

网页抓取Python本地部署MCP服务器自托管Cloudflare绕过数据提取

安装与配置

未标注 会话登录
上游未给出传输方式
  1. 1
    准备运行环境

    按官方文档确认运行环境(常见为 Node.js 或 Python),装好后再执行安装命令。

  2. 2
    安装服务

    复制上面的安装命令执行;命令里带占位符的位置,换成自己的密钥或路径。

  3. 3
    写入客户端配置

    在客户端的 MCP 配置里填好启动命令和参数,保存后完全退出客户端再打开,让新配置生效。

  4. 4
    验证是否可用

    连接成功后客户端会列出约 1 个工具,随便调一个只读工具确认能返回结果。

典型使用场景

3 类
按分类与标签整理的常见用法,具体以官方文档为准
自动操作网页

打开页面、点击、填表,把浏览器动作交给模型执行。

抓取结构化数据

把页面内容整理成表格或 JSON,省掉手工复制粘贴。

关键流程回归

按步骤检查页面是否正常,回归时少漏环节。

选择建议

选之前先看这几条
按条目字段给出的判断,不替你决定用不用

值得选的地方

  • 资料标注 1 个工具,职责相对集中,接入后不容易误操作。
  • 已适配 Claude、Windsurf,换客户端不用重新研究配置。

先想清楚的地方

  • 没有现成安装命令,需要按官方文档自己填启动命令和参数。
  • 使用前要准备好会话登录对应的凭据,并按最小权限配置。
  • 版本更新与行为细节以官方仓库为准。

更适合

  • 需要在浏览器工具场景里让模型直接调用外部能力的人。
  • 已经在用 Claude、Windsurf 的用户,接入路径最短。
  • 想先快速试一下、能接受在本地或自有环境跑服务的人。

不太适合

  • 不方便管理密钥或第三方授权的人。
  • 需要厂商级 SLA 和技术支持的生产环境。

同类对比

6 个同类
同分类里挑最接近的几条,字段以各自详情页为准
MCP 服务器工具数传输方式部署方式安装命令最后核验
Webustler 4c0a94d6当前 1 未标注 未标注 无 2026-05-17
Playwright MCP Server 21 stdio · 本地进程 本地部署 有 2026-05-18
Fetch 9a2682de 1 SSE · 服务端推送 支持远程部署 有 2026-05-18
Browser 738d52bc 未标注 stdio · 本地进程 本地部署 有 2026-05-17
MCP 40600ece 未标注 stdio · 本地进程 本地部署 有 2026-05-17
Skyvern MCP 未标注 stdio · 本地进程 本地部署 有 2026-05-17

服务器档案

浏览器工具
字段来自项目仓库与公开索引,中文说明由本站标注
提供方DrRuin上游标注的维护方 DrRuin
分类浏览器工具本站按上游分类展示
连接方式未标注上游未给出传输方式
鉴权方式会话登录远程服务建议用最小权限凭据
维护方社区 / 第三方核验等级 仅资料核对
包名 / 运行时未标注 · 未标注本地安装时用到的包标识与运行时
部署类型未标注上游给出的部署形态
最近核验2026-05-17上游最后核验时间

详细介绍

9.6 KB
来自项目仓库与上游目录的原文,未做删改

Webustler

MCP server for web scraping that actually works.

Extracts clean, LLM-ready markdown from any URL — even Cloudflare-protected sites.

Why Webustler? •
Features •
Installation •
Usage •
Output


🤔 Why Webustler?

Most scraping tools fail on protected sites. Webustler doesn't.

❌ Other Tools

  • Block on Cloudflare
  • Require API keys
  • Charge per request
  • Return messy HTML
  • No retry logic

✅ Webustler

  • Bypasses protection automatically
  • 100% free & self-hosted
  • Unlimited requests
  • Clean, LLM-ready markdown
  • Smart retry with fallback

📊 Comparison

Feature Webustler Firecrawl ScrapeGraphAI Crawl4AI Deepcrawl
Anti-bot bypass ✅ ⚠️ ❌ ⚠️ ❌
Cloudflare support ✅ ⚠️ ❌ ⚠️ ❌
No API key needed ✅ ❌ ❌ ✅ ⚠️
Self-hosted ✅ ✅ ✅ ✅ ✅
MCP native ✅ ✅ ✅ ✅ ❌
Token optimized ✅ ✅ ❌ ✅ ✅
Rich metadata ✅ ✅ ⚠️ ⚠️ ✅
Link categorization ✅ ❌ ❌ ❌ ✅
File detection ✅ ⚠️ ❌ ❌ ❌
Reading time ✅ ❌ ❌ ❌ ❌
Zero config ✅ ❌ ❌ ❌ ❌
Free forever ✅ ❌ ❌ ✅ ✅

✅ Full support · ⚠️ Partial/Limited · ❌ Not supported


✨ Features

🛡️ Smart Fallback System

Primary method fails? Automatically retries with anti-bot bypass. No manual intervention needed.

📋 Rich Metadata Extraction

  • Title, description, author
  • Open Graph & Twitter Cards
  • Published/modified time
  • Language, keywords, robots

🔗 Link Categorization

Separates internal links (same domain) from external links. Perfect for crawling workflows.

📁 File Download Detection

Detects PDFs, images, archives, and other file types. Returns structured info instead of garbled binary.

🧹 Token-Optimized Output

Removes ads, sidebars, popups, base64 images, cookie banners, and all the junk LLMs don't need.

📊 Table Preservation

Data tables stay intact in markdown. No more broken layouts.

⏱️ Content Analysis

Word count and reading time calculated automatically. Know your content at a glance.


📦 Installation```bash

git clone https://github.com/drruin/webustler.git
cd webustler
docker build -t webustler .


---

## 🔧 MCP Configuration

### Claude Desktop

Add to your `claude_desktop_config.json`:```json
{
  "mcpServers": {
    "webustler": {
      "command": "docker",
      "args": ["run", "-i", "--rm", "webustler"]
    }
  }
}

Claude Code```bash

claude mcp add webustler -- docker run -i --rm webustler


### Cursor

Add to your Cursor MCP settings:```json
{
  "mcpServers": {
    "webustler": {
      "command": "docker",
      "args": ["run", "-i", "--rm", "webustler"]
    }
  }
}

Windsurf

Add to your Windsurf MCP config:```json
{
"mcpServers": {
"webustler": {
"command": "docker",
"args": ["run", "-i", "--rm", "webustler"]
}
}
}


### With Custom Timeout

Pass the `TIMEOUT` environment variable (in seconds):```json
{
  "mcpServers": {
    "webustler": {
      "command": "docker",
      "args": ["run", "-i", "--rm", "-e", "TIMEOUT=180", "webustler"]
    }
  }
}

🚀 Usage

Once configured, the scrape tool is available to your MCP client:```
Scrape https://example.com and summarize the content

Extract all links from https://news.ycombinator.com

Get the article from https://protected-site.com/article


Webustler handles everything automatically — including Cloudflare challenges.

---

## 📄 Output Format

Returns clean markdown with YAML frontmatter:```markdown
---
sourceURL: https://example.com/article
statusCode: 200
title: Article Title
description: Meta description here
author: John Doe
language: en
wordCount: 1542
readingTime: 8 mins
publishedTime: 2025-01-01
openGraph:
  title: OG Title
  image: https://example.com/og.png
twitter:
  card: summary_large_image
internalLinksCount: 42
externalLinksCount: 15
imagesCount: 8
---

# Article Title

Clean markdown content here with **formatting** preserved...

| Column 1 | Column 2 |
|----------|----------|
| Tables   | Work too |

---
## Internal Links

- https://example.com/page1
- https://example.com/page2

---
## External Links

- https://other-site.com/reference

---
## Images

- https://example.com/image1.jpg

⚙️ How It Works```

┌─────────────────────────────────────────────────────────────────┐
│ │
│ URL ──► Primary Fetch ──► Blocked? ──► Fallback Fetch │
│ │ │ │
│ ▼ ▼ │
│ Success ◄──────────┘ │
│ │ │
│ ▼ │
│ Clean HTML │
│ │ │
│ ▼ │
│ ┌───────────────────┼───────────────────┐ │
│ ▼ ▼ ▼ │
│ Metadata Markdown Links │
│ │ │ │ │
│ └───────────────────┼───────────────────┘ │
│ ▼ │
│ Format Output │
│ │
└─────────────────────────────────────────────────────────────────┘


### 🔄 Retry Logic

| Method | Attempts | Delay | Purpose |
|--------|:--------:|:-----:|---------|
| Primary | 2 | 5s | Fast extraction |
| Fallback | 3 | 5s | Anti-bot bypass |

**Total**: Up to 5 attempts before failure. Handles timeouts, rate limits, and challenges.

---

## 🧹 Content Cleaning

Click to see what gets removed

### Tags Removed

| Category | Elements |
|----------|----------|
| Scripts | ``, `` |
| Styles | `` |
| Navigation | ``, ``, ``, `` |
| Interactive | ``, ``, ``, ``, `` |
| Media | ``, ``, ``, ``, ``, ``, `` |

### Selectors Removed
- Sidebars (`[class*='sidebar']`, `[id*='sidebar']`)
- Comments (`[class*='comment']`)
- Ads (`[class*='ad-']`, `[class*='advertisement']`)
- Social (`[class*='social']`, `[class*='share']`)
- Popups (`[class*='popup']`, `[class*='modal']`)
- Cookie banners (`[class*='cookie']`)
- Newsletters (`[class*='newsletter']`)
- Promos (`[class*='banner']`, `[class*='promo']`)

### Also Removed
- Base64 inline images (massive token savings)
- Empty elements
- Excessive newlines (max 3 consecutive)

---

## 🔧 Configuration

| Variable | Default | Description |
|----------|:-------:|-------------|
| `TIMEOUT` | `120` | Request timeout in seconds |

---

## 🏆 Why Not Just Use...

Firecrawl?

Firecrawl is excellent but:
- Requires API key and paid plans for serious usage
- Limited anti-bot capabilities
- More complex setup with environment variables

ScrapeGraphAI?

ScrapeGraphAI uses LLMs to parse pages:
- Requires LLM API keys (OpenAI, etc.) for all operations
- Adds latency (LLM calls) and cost (token usage)
- Webustler is deterministic — faster, cheaper, predictable

Crawl4AI?

Crawl4AI is a powerful open-source crawler but:
- Requires more configuration to get started
- LLM features require additional API keys
- Webustler works out of the box with zero config

Deepcrawl?

Deepcrawl is a great Firecrawl alternative but:
- Hosted API requires API key (self-host is free)
- No anti-bot bypass capabilities
- REST API only, not an MCP server

---

## 📁 Project Structure```
webustler/
├── server.py           # MCP server
├── Dockerfile          # Docker image
├── requirements.txt    # Dependencies
├── LICENSE             # MIT License
├── images/             # Assets
│   └── image.png
└── README.md           # Documentation

⚖️ Ethical Use & Disclaimer

Webustler is provided as a tool for security research, data interoperability, and educational purposes.

  • Responsibility: As I, the developer of Webustler do not condone unauthorized scraping or the violation of any website's Terms of Service (TOS).
  • Compliance: Users are solely responsible for ensuring that their use of this tool complies with local laws (such as the CFAA or GDPR) and the intellectual property rights of the content owners.
  • Respect Robots.txt: I encourage all users to respect robots.txt files and implement reasonable crawl delays to avoid putting undue stress on web servers.

This project is an exploration of web technologies and challenge-response mechanisms. Use it responsibly.


📜 License

MIT License — use it however you want.


MCP server for LLMs. Works everywhere. No API keys. No limits.

Made with care for the AI community

常见问题

6 问
答案由本站依据条目字段整理,不引用上游原文
Webustler 4c0a94d6 怎么安装?

资料没有给出安装命令,请到官方仓库或文档按说明接入;这类条目多数是生态应用,或尚未发布可安装包。

Webustler 4c0a94d6 怎么在 Claude、Windsurf 里配置?

它的传输方式未标注,在客户端的 MCP 配置里填好启动命令和参数,保存后完全退出客户端再打开,配置才会生效。

Webustler 4c0a94d6 收费吗?

本站不代收费用,也没有标注具体价格。是否收费取决于服务本身和背后的接口额度,正式使用前按官方说明确认。

Webustler 4c0a94d6 需要 API Key 吗?

资料标注需要会话登录认证,使用前准备好对应凭据,并按最小权限配置。

Webustler 4c0a94d6 支持哪些客户端?

资料标注支持 Claude、Windsurf;其他客户端只要能配置 MCP Server,也能用同样的命令或地址接入。

Webustler 4c0a94d6 能提供哪些能力?

资料显示约 1 个工具;能力标签包括 浏览器自动化、数据提取、Python、Claude、自托管。具体工具清单以官方文档为准。

热门专题

按标签挑服务器
全部专题 →

服务器信息以作者仓库与官方文档为准;分类、传输方式与鉴权方式的中文说明为中文整理,最近核验 2026-05-17。