Web Extract

MCP文档知识

提供方 Covet95

文档知识 未标注 无需鉴权 社区 / 第三方

一个本地MCP服务,用于将公开网页提取为干净的Markdown格式,适用于Codex、其他MCP客户端或LLM工作流。

一句话选型结论

按资料字段整理

Web Extract 属于文档知识类 MCP 服务器,传输方式未标注,无需鉴权,没有现成安装命令,需按官方文档接入。接入前先确认权限范围;涉及写入、删除或付款的操作,建议先在测试环境验证。

分类文档知识 传输方式未标注 鉴权无需鉴权 部署方式未标注
GitHub 星标 1 仓库热度,无公开仓库时显示未标注
工具数 2 暴露给模型的工具数量
资源 / 提示词 0 / 0 资源与提示词模板数量
维护方 社区 / 第三方 核验等级 仅资料核对

工具与能力

文档知识
数量来自来源目录的标注,具体工具清单以官方文档为准
工具数量2暴露给模型可调用的工具个数
资源数量0可读取的资源条目
提示词数量0内置提示词模板数量

能力标签

适用场景

网页提取JavaScript本地部署Markdown转换LLM工具MCP服务内容解析

安装与配置

未标注 无需鉴权
上游未给出传输方式
  1. 1
    准备运行环境

    按官方文档确认运行环境(常见为 Node.js 或 Python),装好后再执行安装命令。

  2. 2
    安装服务

    复制上面的安装命令执行;命令里带占位符的位置,换成自己的密钥或路径。

  3. 3
    写入客户端配置

    在客户端的 MCP 配置里填好启动命令和参数,保存后完全退出客户端再打开,让新配置生效。

  4. 4
    验证是否可用

    连接成功后客户端会列出约 2 个工具,随便调一个只读工具确认能返回结果。

典型使用场景

3 类
按分类与标签整理的常见用法,具体以官方文档为准
文档检索问答

在你的文档库里按问题找答案。

知识库读写

把新资料写进知识库,随用随取。

内容整理

把零散资料归纳成结构化笔记。

选择建议

选之前先看这几条
按条目字段给出的判断,不替你决定用不用

值得选的地方

  • 资料标注 2 个工具,职责相对集中,接入后不容易误操作。
  • 资料标注无需鉴权,装好就能连。

先想清楚的地方

  • 没有现成安装命令,需要按官方文档自己填启动命令和参数。
  • 版本更新与行为细节以官方仓库为准。

更适合

  • 需要在文档知识场景里让模型直接调用外部能力的人。
  • 想先快速试一下、能接受在本地或自有环境跑服务的人。

不太适合

  • 需要厂商级 SLA 和技术支持的生产环境。

同类对比

6 个同类
同分类里挑最接近的几条,字段以各自详情页为准
MCP 服务器工具数传输方式部署方式安装命令最后核验
Web Extract当前 2 未标注 未标注 无 2026-05-17
dify 未标注 stdio · 本地进程 本地部署 有 2026-04-11
open-webui 未标注 stdio · 本地进程 本地部署 有 2026-04-11
JeecgBoot 未标注 stdio · 本地进程 本地部署 有 2026-04-11
Cherry Studio 未标注 未标注 未标注 无 2026-05-17
mempalace 未标注 stdio · 本地进程 本地部署 有 2026-04-11

服务器档案

文档知识
字段来自项目仓库与公开索引,中文说明由本站标注
提供方Covet95上游标注的维护方 Covet95
分类文档知识本站按上游分类展示
连接方式未标注上游未给出传输方式
鉴权方式无需鉴权远程服务建议用最小权限凭据
维护方社区 / 第三方核验等级 仅资料核对
包名 / 运行时未标注 · 未标注本地安装时用到的包标识与运行时
部署类型未标注上游给出的部署形态
最近核验2026-05-17上游最后核验时间

详细介绍

7.3 KB
来自项目仓库与上游目录的原文,未做删改

web-extract

一个本地 MCP 服务,用来把公开网页提取成更干净的正文 Markdown,适合给 Codex、其他 MCP 客户端或 LLM 工作流直接调用。

特性

  • 支持 extract_url 和 extract_many
  • 优先抽取正文,尽量移除导航、侧栏、广告等噪音
  • 输出结构化字段:title、author、publishedAt、markdown、plainText、images、warnings
  • 默认先走原生 fetch + Readability + selector
  • 当页面疑似需要浏览器渲染、验证码/反爬拦截、或正文明显不完整时,自动回退到 Playwright
  • 批量提取支持有限并发,默认 3,避免单站点超时拖慢整批任务
  • 对非 HTML 响应和 fallback 失败返回结构化错误信息,便于 MCP 客户端和 LLM 工作流做兜底处理
  • 支持可选 debug 诊断输出,便于定位 fallback、策略选择和截断行为
  • 支持从 application/ld+json 中提取文章元数据
  • 内置轻量域名级策略,优先照顾高价值内容站点

当前实现

  • HTML 获取:原生 fetch
  • 正文提取:Readability + 选择器兜底
  • Markdown 转换:Turndown
  • 浏览器 fallback:playwright-core
  • 错误结构化:errorCode、errorStage、retryable
  • 调试诊断:debug.fetch、debug.extraction、debug.fallback
  • 元数据增强:meta + JSON-LD
  • 轻量站点策略:GitHub README / 微信公众号 / Medium / Substack 风格页

安装```bash

npm install


如果本机没有 Playwright 自带浏览器,也可以直接复用本机 Chrome / Edge / Chromium。

可选环境变量:```bash
PLAYWRIGHT_CHROMIUM_EXECUTABLE_PATH=/path/to/chrome-or-edge

浏览器探测顺序

优先顺序:
1. PLAYWRIGHT_CHROMIUM_EXECUTABLE_PATH
2. CHROME_PATH
3. EDGE_PATH
4. 系统默认常见路径
5. which / where 命令探测

默认会尝试的常见路径

macOS

  • /Applications/Google Chrome.app/Contents/MacOS/Google Chrome
  • /Applications/Microsoft Edge.app/Contents/MacOS/Microsoft Edge

Linux

  • /usr/bin/google-chrome
  • /usr/bin/chromium
  • /usr/bin/chromium-browser
  • /usr/bin/microsoft-edge

Windows

  • C:\Program Files\Google\Chrome\Application\chrome.exe
  • C:\Program Files (x86)\Google\Chrome\Application\chrome.exe
  • C:\Program Files\Microsoft\Edge\Application\msedge.exe
  • C:\Program Files (x86)\Microsoft\Edge\Application\msedge.exe

本地运行```bash

npm start


## Codex 配置示例

在 `config.toml` 中加入:```toml
[mcp_servers.web-extract]
command = "node"
args = ["/absolute/path/to/web-extract/server.js"]
startup_timeout_sec = 45

可用工具

extract_url

输入:

  • url: 网页地址
  • maxChars: 最大输出字符数,默认 30000
  • timeoutMs: 请求超时,默认 25000
  • playwrightFallback: 是否允许自动浏览器回退,默认 true
  • debug: 是否返回结构化调试信息,默认 false

返回字段:

  • url
  • finalUrl
  • status
  • title
  • author
  • publishedAt
  • sourceStrategy
  • markdown
  • plainText
  • excerpt
  • images
  • contentLength
  • warnings
  • debug(仅在 debug=true 时返回)

debug 字段结构```json

{
"fetch": {
"source": "fetch",
"status": 200,
"ok": true,
"finalUrl": "...",
"contentType": "text/html; charset=utf-8",
"bodyTextLength": 1234,
"durationMs": 120
},
"extraction": {
"domainProfile": "github-readme",
"readabilityAvailable": true,
"selectorAvailable": true,
"selectedStrategy": "selector:.markdown-body",
"sourceStrategy": "fetch:selector:.markdown-body",
"contentLength": 980,
"markdownLength": 1100,
"truncated": false,
"jsonLdMetaDetected": false,
"durationMs": 18
},
"fallback": {
"triggered": false,
"attempted": false,
"reason": null,
"durationMs": 0
}
}


说明:

- 正常路径会返回 `fetch:readability`、`fetch:selector:article` 之类的 `sourceStrategy`
- 如果触发浏览器回退,会返回 `playwright:readability`、`playwright:selector:...`
- 若你只想使用纯 `fetch` 路径,可在调用时传 `playwrightFallback=false`
- 如果响应不是 HTML(例如 `application/json` / `application/pdf`),会返回结构化错误而不是继续盲目提取
- 短页面不会因为“字少”就必然触发 fallback;当前会结合整页文本长度和 shell/placeholder 特征综合判断

### `extract_many`

批量提取多个 URL,逐条返回成功或失败结果。

输入:

- `urls`: URL 列表,最多 `20`
- `maxChars`: 最大输出字符数,默认 `30000`
- `timeoutMs`: 请求超时,默认 `25000`
- `playwrightFallback`: 是否允许自动浏览器回退,默认 `true`
- `concurrency`: 批量提取并发数,默认 `3`,最大 `8`
- `debug`: 是否在成功项中返回调试诊断信息,默认 `false`

成功项结构:

- `ok`
- `url`
- `result`

失败项结构:

- `ok`
- `url`
- `error`
- `errorCode`
- `errorStage`
- `retryable`

当前内置的错误码包括:

- `FETCH_ERROR`
- `NON_HTML_RESPONSE`
- `EXTRACTION_ERROR`
- `PLAYWRIGHT_UNAVAILABLE`
- `PLAYWRIGHT_FALLBACK_FAILED`

## 轻量域名级策略

当前内置的高价值站点优化:

- **GitHub**:优先 `.markdown-body`
- **微信公众号**:优先 `#js_content` / `.rich_media_content`
- **Medium 风格页**:优先 `article`
- **Substack 风格页**:优先 `article` / `.available-content`

这些策略不会替代通用提取,只是在命中对应站点时优先尝试更合适的正文区域。

## 开发脚本```bash
npm run smoke
npm test

测试说明

  • npm test 使用本地 HTML fixture,结果稳定,适合 CI
  • npm run smoke 访问真实网页,用于人工冒烟验证
  • 当前本地 fixture 已覆盖:
  • 标准文章页
  • JSON-LD 元数据页
  • 短但有效的页面
  • GitHub README 风格页
  • shell / placeholder 页
  • 建议 smoke 时至少验证:
  • 一个普通 HTML 页面
  • 一个需要 fallback 的页面
  • 一个非 HTML 页面

已完成的真实站点 smoke(当前版本)

已验证通过:
- GitHub HTML 页面:命中 .markdown-body
- GitHub API JSON:按 NON_HTML_RESPONSE 拒绝
- 微信公众号文章:命中 #js_content
- Substack 文章:正文提取 + JSON-LD 元数据有效
- PDF 文件:按 NON_HTML_RESPONSE 拒绝

已验证 fallback 链路可用,但内容质量不一定理想:
- X
- Reddit
- Medium(测试 URL 为 404 页面)
- Bloomberg(更偏首页/播放器内容)

失败样本:
- NYTimes 某文章页:当前版本未稳定提取出有效正文

说明:当前 smoke 证明了“核心链路可用”,但不代表所有媒体站点都已做专项适配。后续若要提升命中率和正文质量,应继续扩展域名级策略和等待/过滤规则。

限制

  • 登录态页面、强交互页面、复杂验证码页面仍可能失败
  • playwright-core 需要本机可用的 Chromium / Chrome / Edge 可执行文件
  • 部分站点作者、发布时间等元数据可能缺失,但正文仍优先抽取
  • 当前批量提取是“有限并发”而不是站点级调度,不适合高强度大规模采集
  • 域名级策略目前是轻量版本,不是完整站点适配器系统

后续可扩展

  • 增加更强的域名级策略与等待策略
  • 增加更多元数据标准支持
  • 增加 debug / verbose 日志输出到 CLI / MCP 日志流
  • 引入更系统化的站点画像和 fallback 分类
  • 发布到 npm 或独立 GitHub 仓库

常见问题

5 问
答案由本站依据条目字段整理,不引用上游原文
Web Extract 怎么安装?

资料没有给出安装命令,请到官方仓库或文档按说明接入;这类条目多数是生态应用,或尚未发布可安装包。

Web Extract 怎么在客户端里配置?

它的传输方式未标注,在客户端 MCP 配置里按官方文档填写启动命令和参数,保存后重启客户端生效。

Web Extract 收费吗?

本站不代收费用,也没有标注具体价格。是否收费取决于服务本身和背后的接口额度,正式使用前按官方说明确认。

Web Extract 需要 API Key 吗?

资料标注为无需认证,装好就能连;如果实际调用时报鉴权错误,按官方文档补上凭据。

Web Extract 能提供哪些能力?

资料显示约 2 个工具;能力标签包括 JavaScript、LLM工具、Markdown转换。具体工具清单以官方文档为准。

热门专题

按标签挑服务器
全部专题 →

服务器信息以作者仓库与官方文档为准;分类、传输方式与鉴权方式的中文说明为中文整理,最近核验 2026-05-17。