Server Tester

MCP开发工具

提供方 gleanwork

开发工具 未标注 OAuth 授权 社区 / 第三方 ClaudeCursorWindsurf

一个用于Model Context Protocol(MCP)服务器的测试和评估框架,支持Playwright测试和数据驱动的评估数据集。

一句话选型结论

按资料字段整理

Server Tester 属于开发工具类 MCP 服务器,传输方式未标注,OAuth 授权,可直接接入 Claude、Cursor、Windsurf,没有现成安装命令,需按官方文档接入。接入前先确认权限范围;涉及写入、删除或付款的操作,建议先在测试环境验证。

分类开发工具 传输方式未标注 鉴权OAuth 授权 部署方式未标注
GitHub 星标 16 仓库热度,无公开仓库时显示未标注
工具数 未标注 暴露给模型的工具数量
资源 / 提示词 0 / 0 资源与提示词模板数量
维护方 社区 / 第三方 核验等级 仅资料核对

工具与能力

开发工具
数量来自来源目录的标注,具体工具清单以官方文档为准
工具数量未标注暴露给模型可调用的工具个数
资源数量0可读取的资源条目
提示词数量0内置提示词模板数量

能力标签

支持客户端

适用场景

测试框架TypeScript本地部署MCP协议Playwright自动化测试LLM评估

安装与配置

未标注 OAuth 授权
上游未给出传输方式
  1. 1
    准备运行环境

    按官方文档确认运行环境(常见为 Node.js 或 Python),装好后再执行安装命令。

  2. 2
    安装服务

    复制上面的安装命令执行;命令里带占位符的位置,换成自己的密钥或路径。

  3. 3
    写入客户端配置

    在客户端的 MCP 配置里填好启动命令和参数,保存后完全退出客户端再打开,让新配置生效。

  4. 4
    验证是否可用

    连接成功后随便调一个只读工具,确认能返回结果,再接入正式流程。

典型使用场景

3 类
按分类与标签整理的常见用法,具体以官方文档为准
代码与仓库操作

在对话里直接查代码、提 issue、走 PR,省掉来回切工具。

本地命令与脚本

把构建、测试、格式化这类重复命令交给模型执行。

接口联调与测试

让模型调你的接口、跑一遍用例,快速定位问题。

选择建议

选之前先看这几条
按条目字段给出的判断,不替你决定用不用

值得选的地方

  • 已适配 Claude、Cursor、Windsurf,换客户端不用重新研究配置。

先想清楚的地方

  • 没有现成安装命令,需要按官方文档自己填启动命令和参数。
  • 使用前要准备好OAuth 授权对应的凭据,并按最小权限配置。
  • 资料没标注工具数量,实际能力要装好后确认。
  • 版本更新与行为细节以官方仓库为准。

更适合

  • 需要在开发工具场景里让模型直接调用外部能力的人。
  • 已经在用 Claude、Cursor 的用户,接入路径最短。
  • 想先快速试一下、能接受在本地或自有环境跑服务的人。

不太适合

  • 不方便管理密钥或第三方授权的人。
  • 需要厂商级 SLA 和技术支持的生产环境。

同类对比

6 个同类
同分类里挑最接近的几条,字段以各自详情页为准
MCP 服务器工具数传输方式部署方式安装命令最后核验
Server Tester当前 未标注 未标注 未标注 无 2026-05-17
Git 838e2ec1 12 stdio · 本地进程 本地部署 有 2026-05-17
Markitdown MCP 2c653a5f 1 stdio · 本地进程 本地部署 有 2026-05-17
JavaGuide 未标注 stdio · 本地进程 本地部署 有 2026-04-11
awesome-claude-skills 未标注 stdio · 本地进程 本地部署 有 2026-04-26
Context7 831acf40 未标注 stdio · 本地进程 本地部署 有 2026-05-17

服务器档案

开发工具
字段来自项目仓库与公开索引,中文说明由本站标注
提供方gleanwork上游标注的维护方 gleanwork
分类开发工具本站按上游分类展示
连接方式未标注上游未给出传输方式
鉴权方式OAuth 授权远程服务建议用最小权限凭据
维护方社区 / 第三方核验等级 仅资料核对
包名 / 运行时未标注 · 未标注本地安装时用到的包标识与运行时
部署类型未标注上游给出的部署形态
最近核验2026-05-17上游最后核验时间

详细介绍

7.0 KB
来自项目仓库与上游目录的原文,未做删改

@gleanwork/mcp服务器测试仪

测试和评估框架 模型上下文协议(MCP) 服务器。针对MCP工具编写确定性Playwright测试,或运行数据驱动的eval数据集,包括基于LLM的工具可发现性评估。

剧作家测试

这 mcp Playwright fixture连接到MCP服务器(stdio或HTTP),并公开高级API用于调用工具和断言响应。自定义匹配器使断言可读。```typescript snippet=snippets/basic-test.ts
import { test, expect } from '@gleanwork/mcp-server-tester/fixtures/mcp';

test('read_file returns file contents', async ({ mcp }) => {
const result = await mcp.callTool('read_file', { path: '/tmp/test.txt' });
expect(result).toContainToolText('Hello, world');
expect(result).not.toBeToolError();
});

test('server exposes required tools', async ({ mcp }) => {
const tools = await mcp.listTools();
expect(tools.map((t) => t.name)).toContain('read_file');
});


Playwright测试快速、确定,专为CI设计。将其用于回归测试、模式验证和协议一致性。该框架包括MCP规范的内置一致性检查。

可用匹配:

|匹配器|描述|
| ------------------------ | ---------------------------------------------------- |
| `toMatchToolResponse` |响应与预期值完全匹配(深度相等)|
| `toContainToolText` |响应包含预期的子字符串|
| `toMatchToolSchema` |响应根据Zod模式进行验证|
| `toMatchToolPattern` |响应与正则表达式模式匹配|
| `toMatchToolSnapshot` |响应与保存的基线匹配|
| `toBeToolError` |响应是(或不是)错误|
| `toHaveToolResponseSize` |响应大小在范围内|
| `toSatisfyToolPredicate` |响应满足自定义函数|
| `toHaveToolCalls` |LLM调用了预期的工具|
| `toHaveToolCallCount` |LLM进行了N次工具调用|
| `toPassToolJudge` |LLM根据量规评估响应质量|

## 评估数据集

Eval数据集允许您将测试用例定义为JSON文件,并使用 `runEvalDataset()`每个案例都指定了一个工具调用和一个或多个断言。```json snippet=snippets/eval-dataset.json
{
"name": "file-ops",
"cases": [
{
"id": "read-config",
"toolName": "read_file",
"args": { "path": "/tmp/config.json" },
"expect": {
"schema": "file-content",
"containsText": ["version", "name"]
}
},
{
"id": "read-readme",
"toolName": "read_file",
"args": { "path": "/tmp/README.md" },
"expect": {
"snapshot": "readme-snapshot"
}
}
]
}
``````typescript snippet=snippets/run-eval-dataset.ts
import { test, expect } from '@gleanwork/mcp-server-tester/fixtures/mcp';
import { loadEvalDataset, runEvalDataset } from '@gleanwork/mcp-server-tester';
import { z } from 'zod';

test('file operations eval', async ({ mcp }, testInfo) => {
const dataset = await loadEvalDataset('./data/evals.json', {
schemas: { 'file-content': z.object({ content: z.string() }) },
});
const result = await runEvalDataset({ dataset }, { mcp, testInfo });
expect(result.passed).toBe(result.total);
});

支持的断言类型:

类型 描述
containsText 响应包括预期的子字符串
schema 响应根据Zod模式进行验证
regex 响应与模式匹配
snapshot 响应与保存的基线匹配
judge LLM根据量规评估响应质量
toolsTriggered LLM调用了预期的工具(LLM主机模式)

LLM主机模式

在LLM主机模式下,真正的LLM会收到服务器的工具列表和自然语言提示,然后决定调用哪些工具。这测试你的工具名称、描述和输入模式是否足够清晰,可以自主使用——这与工具是否返回正确的输出是一个不同的问题。```json snippet=snippets/mcp-host-dataset.json
{
"id": "find-config",
"mode": "mcp_host",
"scenario": "Find the application config file and return its contents",
"mcpHostConfig": {
"provider": "anthropic",
"model": "claude-opus-4-20250514"
},
"expect": {
"toolsTriggered": {
"calls": [{ "name": "read_file", "required": true }]
}
}
}


LLM主机模式进行真正的API调用并产生不确定的结果。使用 `iterations` 多次运行案例并测量通过率,而不是期望单次运行100%。请参阅 LLM主持人指南 用于配置和成本管理。

## 安装

需要Node.js 22+。```bash
npm install --save-dev @gleanwork/mcp-server-tester @playwright/test

Anthropic SDK仅用于LLM作为判断断言或使用Anthropics提供程序的LLM主机模式:```bash
npm install --save-dev @anthropic-ai/sdk


## 快速开始```bash
npx mcp-server-tester init

CLI向导创建 playwright.config.ts,示例测试,以及为您的服务器配置的示例eval数据集。请参阅 CLI指南 对于所有选项。

配置

将框架指向MCP服务器 playwright.config.ts:```typescript snippet=snippets/playwright-config.ts
import { defineConfig } from '@playwright/test';

export default defineConfig({
testDir: './tests',
reporter: [['list'], ['@gleanwork/mcp-server-tester/reporters/mcpReporter']],
projects: [
{
name: 'my-server',
use: {
mcpConfig: {
transport: 'stdio',
command: 'node',
args: ['server.js'],
},
},
},
],
});


对于HTTP服务器,设置 `transport: 'http'` 和 `serverUrl`。对于需要OAuth的服务器,请参阅 交通指南 和 CLI指南 用于身份验证设置,包括CI/CD令牌管理。

## 文档

- 快速开始 --详细的设置和配置
- 期望 --所有断言类型,包括快照清理程序
- LLM主机模拟 --工具可发现性测试
- API 参考
- 运输 --stdio和HTTP配置、OAuth
- CLI命令 --init、生成、登录、令牌
- UI报表程序 --用于测试结果的交互式web UI
- 发展 --贡献与建设
- 迁移指南(v0.12→ v1.0) --从1.0之前的版本升级

## 人工智能技能

安装人工智能技能,帮助您的编码助手生成测试、评估数据集和MCP主机评估:```bash
npx skills add -g gleanwork/mcp-server-tester

这将在全球范围内安装技能,以便在您的所有项目中都可以使用。包括四项技能:

技能 描述
mcp-tester-guide 框架参考——匹配器、配置、身份验证、反模式
write-mcp-test 生成直接模式剧作家测试
write-mcp-eval 生成数据驱动的评估数据集
write-mcp-host-eval 生成LLM主机模拟评估

与Claude Code、Cursor、Windsurf、Copilot和 40+其他AI代理.

示例

这 examples/ 目录包含完整的工作示例:

  • 文件系统服务器/ --Anthropic文件系统MCP服务器的测试套件:5个Playwright测试,11个eval数据集案例,Zod模式验证。
  • sqlite服务器/ --SQLite MCP服务器的测试套件:11个Playwright测试,14个eval数据集案例。
  • 剧作家的基本用法/ --最小的剧作家模式。

已知限制

目前不支持这些MCP协议功能。这些是经过深思熟虑的范围决策,而不是bug:

  • MCP资源(listResources, readResource)
  • MCP提示(listPrompts, getPrompt)
  • 服务器到客户端通知
  • 流媒体工具响应(callTool 等待完整的响应)

如果其中任何一个影响您的用例,请打开一个问题。

许可证

麻省理工学院

常见问题

6 问
答案由本站依据条目字段整理,不引用上游原文
Server Tester 怎么安装?

资料没有给出安装命令,请到官方仓库或文档按说明接入;这类条目多数是生态应用,或尚未发布可安装包。

Server Tester 怎么在 Claude、Cursor、Windsurf 里配置?

它的传输方式未标注,在客户端的 MCP 配置里填好启动命令和参数,保存后完全退出客户端再打开,配置才会生效。

Server Tester 收费吗?

本站不代收费用,也没有标注具体价格。是否收费取决于服务本身和背后的接口额度,正式使用前按官方说明确认。

Server Tester 需要 API Key 吗?

资料标注需要OAuth 授权认证,使用前准备好对应凭据,并按最小权限配置。

Server Tester 支持哪些客户端?

资料标注支持 Claude、Cursor、Windsurf;其他客户端只要能配置 MCP Server,也能用同样的命令或地址接入。

Server Tester 能提供哪些能力?

资料显示能力标签包括 测试框架、浏览器自动化、TypeScript、Claude、自动化测试。具体工具清单以官方文档为准。

热门专题

按标签挑服务器
全部专题 →

服务器信息以作者仓库与官方文档为准;分类、传输方式与鉴权方式的中文说明为中文整理,最近核验 2026-05-17。