Medium Scraper MCP

MCP文档知识

提供方 hongkongkiwi · 包名 medium-scraper-mcp

文档知识 stdio · 本地进程 无需鉴权 社区 / 第三方
查看接入方式

一个用于搜索Medium文章、将其转换为Markdown格式并绕过付费墙的MCP服务器工具。

一句话选型结论

按资料字段整理

Medium Scraper MCP 属于文档知识类 MCP 服务器,stdio · 本地进程,无需鉴权,有可直接执行的安装命令。接入前先确认权限范围;涉及写入、删除或付款的操作,建议先在测试环境验证。

分类文档知识 传输方式stdio · 本地进程 鉴权无需鉴权 部署方式本地部署
GitHub 星标 1 仓库热度,无公开仓库时显示未标注
工具数 未标注 暴露给模型的工具数量
资源 / 提示词 0 / 0 资源与提示词模板数量
维护方 社区 / 第三方 核验等级 仅资料核对

工具与能力

文档知识
数量来自来源目录的标注,具体工具清单以官方文档为准
工具数量未标注暴露给模型可调用的工具个数
资源数量0可读取的资源条目
提示词数量0内置提示词模板数量

能力标签

适用场景

文章爬取TypeScript本地部署Markdown转换付费墙绕过MCP服务器内容提取

安装与配置

stdio · 本地进程 无需鉴权
客户端在本机拉起子进程,数据不出本机
npx medium-scraper-mcp

这条命令只是入口,具体启动参数请按官方文档补齐,不要直接照搬到别的服务器。

  1. 1
    准备运行环境

    stdio 服务在本地起进程,需要先装好 Node.js,再按安装命令拉取依赖。

  2. 2
    安装服务

    复制上面的安装命令执行;命令里带占位符的位置,换成自己的密钥或路径。

  3. 3
    写入客户端配置

    在客户端的 MCP 配置里填好启动命令和参数,保存后完全退出客户端再打开,让新配置生效。

  4. 4
    验证是否可用

    连接成功后随便调一个只读工具,确认能返回结果,再接入正式流程。

典型使用场景

3 类
按分类与标签整理的常见用法,具体以官方文档为准
文档检索问答

在你的文档库里按问题找答案。

知识库读写

把新资料写进知识库,随用随取。

内容整理

把零散资料归纳成结构化笔记。

选择建议

选之前先看这几条
按条目字段给出的判断,不替你决定用不用

值得选的地方

  • 有现成的安装命令,不用自己找入口,照着跑就能起服务。
  • 资料标注无需鉴权,装好就能连。

先想清楚的地方

  • stdio 方式要求本地装好运行时(如 Node.js),换机器要重新装一遍。
  • 资料没标注工具数量,实际能力要装好后确认。
  • 版本更新与行为细节以官方仓库为准。

更适合

  • 需要在文档知识场景里让模型直接调用外部能力的人。
  • 想先快速试一下、能接受在本地或自有环境跑服务的人。

不太适合

  • 完全不想在本地装环境的人。
  • 需要厂商级 SLA 和技术支持的生产环境。

同类对比

6 个同类
同分类里挑最接近的几条,字段以各自详情页为准
MCP 服务器工具数传输方式部署方式安装命令最后核验
Medium Scraper MCP当前 未标注 stdio · 本地进程 本地部署 有 2026-05-17
dify 未标注 stdio · 本地进程 本地部署 有 2026-04-11
open-webui 未标注 stdio · 本地进程 本地部署 有 2026-04-11
JeecgBoot 未标注 stdio · 本地进程 本地部署 有 2026-04-11
Cherry Studio 未标注 未标注 未标注 无 2026-05-17
mempalace 未标注 stdio · 本地进程 本地部署 有 2026-04-11

服务器档案

文档知识
字段来自项目仓库与公开索引,中文说明由本站标注
提供方hongkongkiwi上游标注的维护方 hongkongkiwi
分类文档知识本站按上游分类展示
连接方式stdio · 本地进程客户端在本机拉起子进程,数据不出本机
鉴权方式无需鉴权远程服务建议用最小权限凭据
维护方社区 / 第三方核验等级 仅资料核对
包名 / 运行时medium-scraper-mcp · Node.js本地安装时用到的包标识与运行时
部署类型本地部署上游给出的部署形态
最近核验2026-05-17上游最后核验时间

详细介绍

9.1 KB
来自项目仓库与上游目录的原文,未做删改

中型刮板MCP服务器

一个全面的模型上下文协议(MCP)服务器,用于搜索Medium文章,将其转换为降价,并使用代理服务绕过付费墙。

特性

🔍 文章检索

  • 按关键字和标签搜索媒体文章
  • 可配置的结果限制(1-50篇文章)
  • 丰富的文章元数据,包括标题、作者和片段

📝 Markdown转换

  • 将Medium文章转换为干净、可读的标记
  • 保留格式、代码块和图像
  • 可定制的内容包含(图像、代码块)

🚫 支付墙旁路

  • 自动付费墙检测
  • 多种代理服务:freedium.cfd、readmedium.com、archive.today
  • 可配置的代理首选项,具有自动回退功能
  • 智能内容验证

⚡ 统一接口

  • 单一工具,可执行多种操作
  • 智能参数验证
  • 全面的错误处理
  • 具有完全类型安全的TypeScript实现

安装

选项1:从npm安装(推荐)```bash

Install globally

npm install -g medium-scraper-mcp

Or run directly with npx

npx medium-scraper-mcp

For MCP configuration, use npx in your MCP client settings


### 选项2:从源代码安装```bash
# Clone repository
git clone https://github.com/hongkongkiwi/medium-scraper-mcp.git
cd medium-scraper-mcp

# Install dependencies
npm install

# Build the project
npm run build

# Run the server
npm start

发展```bash

Install dependencies

npm install

Run in development mode

npm run dev

Run tests

npm test

Lint code

npm run lint

Type check

npm run type-check


## MCP服务器工具

服务器为所有Medium操作提供了一个统一的工具:

### `medium_scraper`

一个统一的工具,用于搜索、转换和获取具有付费墙绕过功能的Medium文章信息。

**参数:**

- `operation` (必填):要执行的操作
- `"search"`:通过查询/标签查找文章
- `"convert"`:将文章转换为markdown
- `"info"`:获取文章元数据
- `query` (可选):搜索查询字符串(搜索时必需)
- `url` (可选):中等文章URL(转换/info需要)
- `tag` (可选):要过滤的中等标签(例如“python”、“technology”)-仅用于搜索
- `limit` (可选):最大结果数(默认值:10,最大值:50)-仅用于搜索
- `includeImages` (可选):在markdown中包含图像引用(默认值:true)-仅用于转换
- `includeCode` (可选):保留代码块(默认值:true)-仅用于转换
- `bypassPaywall` (可选):尝试绕过付费墙(默认值:false)-仅适用于转换
- `preferredProxy` (可选):首选代理服务(默认:“auto”)-仅用于转换
- `"freedium"`:使用freedium.cfd
- `"readmedium"`:使用readmedium.com
- `"archive"`:使用archive.today
- `"auto"`:自动尝试所有代理

**示例:**

#### 搜索文章```json
{
"name": "medium_scraper",
"arguments": {
"operation": "search",
"query": "machine learning",
"tag": "python",
"limit": 5
}
}

使用付费墙旁路将文章转换为降价```json

{
"name": "medium_scraper",
"arguments": {
"operation": "convert",
"url": "https://medium.com/@author/article-title-1234567890",
"includeImages": true,
"includeCode": true,
"bypassPaywall": true,
"preferredProxy": "auto"
}
}


#### 获取文章信息```json
{
"name": "medium_scraper",
"arguments": {
"operation": "info",
"url": "https://medium.com/@author/article-title-1234567890"
}
}

运行服务器

命令行接口命令模式```bash

Build and run

npm run build
npm start

Development mode

npm run dev

Verbose logging

npm run dev -- --verbose


### MCP配置

添加到MCP客户端配置中:

**对于npm安装:**```json
{
"mcpServers": {
"medium-scraper": {
"command": "npx",
"args": ["medium-scraper-mcp"]
}
}
}

对于全局安装:```json
{
"mcpServers": {
"medium-scraper": {
"command": "medium-scraper-mcp"
}
}
}


## 示例用法

### 搜索Python文章```json
{
"name": "medium_scraper",
"arguments": {
"operation": "search",
"query": "asyncio",
"tag": "python",
"limit": 3
}
}

使用付费墙旁路将文章转换为降价```json

{
"name": "medium_scraper",
"arguments": {
"operation": "convert",
"url": "https://medium.com/@author/understanding-asyncio-in-python-1234567890",
"bypassPaywall": true,
"preferredProxy": "auto"
}
}


### 获取文章信息```json
{
"name": "medium_scraper",
"arguments": {
"operation": "info",
"url": "https://medium.com/@author/understanding-asyncio-in-python-1234567890"
}
}

依赖项

运行时依赖关系

  • @modelcontextprotocol/sdk:MCP框架
  • axios:HTTP客户端
  • cheerio:HTML解析
  • turndown:HTML到Markdown的转换
  • zod:架构验证

开发依赖

  • typescript:TypeScript编译器
  • ts-node:TypeScript执行
  • jest:测试框架
  • eslint:代码linting
  • @types/*:TypeScript定义

项目结构```

src/
├── cli.ts # Command line interface
├── server.ts # MCP server implementation
├── medium-scraper.ts # Medium scraping logic
├── types.ts # TypeScript type definitions
└── index.ts # Main exports

dist/ # Compiled JavaScript files (generated)
├── cli.js
├── server.js
├── medium-scraper.js
├── types.js
└── index.js


## api参考

### 中型刮刀类

#### `searchArticles(params: SearchParams): Promise`

搜索Medium文章。```typescript
const articles = await mediumScraper.searchArticles({
query: 'typescript',
tag: 'programming',
limit: 10
});

convertToMarkdown(params: ConvertParams): Promise

使用可选的付费墙旁路将Medium文章转换为markdown。```typescript
const markdown = await mediumScraper.convertToMarkdown({
url: 'https://medium.com/@author/article-url',
includeImages: true,
includeCode: true,
bypassPaywall: true,
preferredProxy: 'auto'
});


#### `getArticleInfo(url: string): Promise`

获取文章元数据。```typescript
const info = await mediumScraper.getArticleInfo('https://medium.com/@author/article-url');

支付墙旁路

服务器包括智能付费墙旁路功能:

自动检测:

  • 检测HTML内容中的付费墙指示器
  • 识别优质内容障碍
  • 识别订阅提示

代理服务:

  • 自由流体动力学:直接代理服务
  • readmedium.com:特定文章代理
  • 今日档案:基于存档的代理
  • 自动模式:服务之间的智能回退

智能回退:

  • 先尝试直接访问
  • 检测到付费墙时回退到代理服务
  • 故障时自动切换服务
  • 内容验证以确保质量

许可证

MIT许可证

CI/CD管道

该项目使用GitHub Actions进行自动化测试、安全扫描和npm发布:

自动化测试

  • 多节点测试:在Node.js 18、20和22上运行
  • 类型检查:TypeScript编译验证
  • 代码linting:使用TypeScript规则的ESLint
  • 测试覆盖率:对报道进行恶作剧
  • 安全审计:npm漏洞扫描
  • 许可证合规性:自动许可证检查

自动发布

  • 请释放:基于传统提交的自动化版本管理
  • npm发布:发布时自动发布到npm
  • GitHub发布:自动生成发行说明

发布过程

  1. 功能开发:处理功能分支
  2. 拉取请求:向主要分支机构开放PR
  3. CI检查:所有测试和安全检查必须通过
  4. 合并:合并到主触发器自动释放
  5. 版本颠簸:发布请创建版本碰撞PR
  6. 发布:合并版本碰撞触发npm发布

约定式提交

对于自动发布,请使用常规提交格式:```
feat: add new search functionality
fix: resolve paywall bypass issues
docs: update installation instructions
chore: update dependencies


## 贡献

1. 复刻仓库
1. 创建要素分支
1. 进行更改
1. 如果适用,添加测试
1. 运行linting和类型检查
1. 提交拉取请求
1. 合并前确保CI检查通过

## 测试

该项目包括所有功能的Jest测试:```bash
# Run all tests
npm test

# Run with coverage
npm test -- --coverage

# Run tests in watch mode
npm test -- --watch

错误处理

服务器包括全面的错误处理:

  • URL无效:返回用户友好的错误消息
  • 网络错误:妥善处理连接问题
  • 内容解析:优雅地处理格式错误的HTML
  • 速率限制:尊重Medium的费率限制
  • 验证:使用Zod模式进行输入验证
  • 代理失败:代理服务之间的自动回退
  • 支付墙检测:旁路故障时性能下降
  • 内容提取:处理缺失或不完整的内容

错误类型

网络错误:

  • 连接超时(代理服务为15秒)
  • DNS解析失败
  • HTTP状态错误(4xx、5xx)

内容错误:

  • 缺少文章内容
  • 格式错误的HTML结构
  • 回答为空或不完整

验证错误:

  • URL无效(格式验证)
  • 缺少必要参数
  • 超出范围值(例如,限值>50)

支付墙旁路错误:

  • 所有代理服务均不可用
  • 内容质量验证失败
  • 代理服务超时

性能注意事项

  • 异步/等待:无阻塞操作,性能更佳
  • 连接复用:尽可能重用HTTP连接
  • 内存效率高:以增量方式流式传输响应和处理内容
  • 速率限制:内置延迟,避免淹没Medium的服务器

常见问题

7 问
答案由本站依据条目字段整理,不引用上游原文
Medium Scraper MCP 怎么安装?

在客户端按下面的安装命令接入:npx medium-scraper-mcp。对应的包名是 medium-scraper-mcp。装完在客户端配置里引用同一个包或端点。

Medium Scraper MCP 怎么在客户端里配置?

它的传输方式未标注,在客户端 MCP 配置里按官方文档填写启动命令和参数,保存后重启客户端生效。

Medium Scraper MCP 收费吗?

本站不代收费用,也没有标注具体价格。是否收费取决于服务本身和背后的接口额度,正式使用前按官方说明确认。

Medium Scraper MCP 需要 API Key 吗?

资料标注为无需认证,装好就能连;如果实际调用时报鉴权错误,按官方文档补上凭据。

Medium Scraper MCP 能提供哪些能力?

资料显示能力标签包括 TypeScript、内容提取、Markdown转换。具体工具清单以官方文档为准。

Medium Scraper MCP 需要什么运行环境?

运行时为 Node.js;属于本地进程,需要在本机装好运行环境。

Medium Scraper MCP 是本地还是远程?

它是本地进程(stdio),由客户端在本机拉起。传输方式为stdio · 本地进程。

热门专题

按标签挑服务器
全部专题 →

服务器信息以作者仓库与官方文档为准;分类、传输方式与鉴权方式的中文说明为中文整理,最近核验 2026-05-17。