MCP Data Check

MCP运维云端

提供方 GSA-TTS

运维云端 stdio · 本地进程 无需鉴权 社区 / 第三方 Claude
查看接入方式

用于评估MCP服务器对已知问题和答案的准确性的工具。

一句话选型结论

按资料字段整理

MCP Data Check 属于运维云端类 MCP 服务器,stdio · 本地进程,无需鉴权,可直接接入 Claude,有可直接执行的安装命令。接入前先确认权限范围;涉及写入、删除或付款的操作,建议先在测试环境验证。

分类运维云端 传输方式stdio · 本地进程 鉴权无需鉴权 部署方式本地部署
GitHub 星标 0 仓库热度,无公开仓库时显示未标注
工具数 未标注 暴露给模型的工具数量
资源 / 提示词 0 / 0 资源与提示词模板数量
维护方 社区 / 第三方 核验等级 仅资料核对

工具与能力

运维云端
数量来自来源目录的标注,具体工具清单以官方文档为准
工具数量未标注暴露给模型可调用的工具个数
资源数量0可读取的资源条目
提示词数量0内置提示词模板数量

能力标签

支持客户端

适用场景

服务器评估Python本地部署准确性测试问答系统性能分析

安装与配置

stdio · 本地进程 无需鉴权
客户端在本机拉起子进程,数据不出本机
pip install mcp-data-check

这条命令只是入口,具体启动参数请按官方文档补齐,不要直接照搬到别的服务器。

  1. 1
    准备运行环境

    stdio 服务在本地起进程,需要先装好 Node.js 等运行时,再按安装命令拉取依赖。

  2. 2
    安装服务

    复制上面的安装命令执行;命令里带占位符的位置,换成自己的密钥或路径。

  3. 3
    写入客户端配置

    在客户端的 MCP 配置里填好启动命令和参数,保存后完全退出客户端再打开,让新配置生效。

  4. 4
    验证是否可用

    连接成功后随便调一个只读工具,确认能返回结果,再接入正式流程。

典型使用场景

3 类
按分类与标签整理的常见用法,具体以官方文档为准
云资源查询

查实例、存储、账单等云上资源状态。

部署与发布

把部署、重启、回滚这类操作接进对话。

监控与告警

拉取监控指标,异常时让模型帮你判断。

选择建议

选之前先看这几条
按条目字段给出的判断,不替你决定用不用

值得选的地方

  • 有现成的安装命令,不用自己找入口,照着跑就能起服务。
  • 已适配 Claude,换客户端不用重新研究配置。
  • 资料标注无需鉴权,装好就能连。

先想清楚的地方

  • stdio 方式要求本地装好运行时(如 Node.js),换机器要重新装一遍。
  • 资料没标注工具数量,实际能力要装好后确认。
  • 版本更新与行为细节以官方仓库为准。

更适合

  • 需要在运维云端场景里让模型直接调用外部能力的人。
  • 已经在用 Claude 的用户,接入路径最短。
  • 想先快速试一下、能接受在本地或自有环境跑服务的人。

不太适合

  • 完全不想在本地装环境的人。
  • 需要厂商级 SLA 和技术支持的生产环境。

同类对比

6 个同类
同分类里挑最接近的几条,字段以各自详情页为准
MCP 服务器工具数传输方式部署方式安装命令最后核验
MCP Data Check当前 未标注 stdio · 本地进程 本地部署 有 2026-05-17
lobehub 未标注 stdio · 本地进程 本地部署 有 2026-04-11
TrendRadar 未标注 stdio · 本地进程 本地部署 有 2026-04-13
Ui Tars Desktop 8a825770 未标注 stdio · 本地进程 本地部署 有 2026-05-17
ruflo 未标注 stdio · 本地进程 本地部署 有 2026-04-13
FastGPT 未标注 stdio · 本地进程 本地部署 有 2026-04-11

服务器档案

运维云端
字段来自项目仓库与公开索引,中文说明由本站标注
提供方GSA-TTS上游标注的维护方 GSA-TTS
分类运维云端本站按上游分类展示
连接方式stdio · 本地进程客户端在本机拉起子进程,数据不出本机
鉴权方式无需鉴权远程服务建议用最小权限凭据
维护方社区 / 第三方核验等级 仅资料核对
包名 / 运行时未标注 · 未标注本地安装时用到的包标识与运行时
部署类型本地部署上游给出的部署形态
最近核验2026-05-17上游最后核验时间

详细介绍

5.5 KB
来自项目仓库与上游目录的原文,未做删改

mcp数据检查

根据已知问题和答案评估MCP服务器的准确性。

安装```bash

pip install mcp-data-check


或者从源代码安装:```bash
pip install -e .

用法

Python API

人为(默认)```python
from mcp_data_check import run_evaluation

results = run_evaluation(
questions_filepath="questions.csv",
api_key="sk-ant-...",
server_url="https://mcp.example.com/sse"
)

print(f"Pass rate: {results['summary']['pass_rate']:.1%}")
print(f"Passed: {results['summary']['passed']}/{results['summary']['total']}")


**开放人工智能**```python
from mcp_data_check import run_evaluation

results = run_evaluation(
questions_filepath="questions.csv",
api_key="sk-...",
server_url="https://mcp.example.com/sse",
provider="openai",
model="gpt-4o"
)

命令行

人为(默认)```bash
mcp-data-check https://mcp.example.com/sse -q questions.csv -k YOUR_API_KEY


**开放人工智能**```bash
mcp-data-check https://mcp.example.com/sse -q questions.csv -p openai -m gpt-4o -k YOUR_API_KEY

基线比较(MCP与无工具)```bash

Anthropic

mcp-data-check https://mcp.example.com/sse -q questions.csv --compare

OpenAI

mcp-data-check https://mcp.example.com/sse -q questions.csv -p openai -m gpt-4o --compare


每个问题都运行 `--repeats` 每种模式的次数(默认值5)。通过/失败由多数票决定。结果保存到 `./results/comparison_.json`.

选项:

- `-q, --questions`:问题路径CSV文件(必填)
- `-p, --provider`:要使用的LLM提供程序: `anthropic` (默认)或 `openai`
- `-k, --api-key`:所选提供程序的API密钥(默认为 `ANTHROPIC_API_KEY` 或 `OPENAI_API_KEY` 任何人)
- `-o, --output`:结果输出目录(默认: `./results`)
- `-m, --model`:用于评估的模型(默认值: `claude-sonnet-4-20250514`;使用例如。 `gpt-4o` OpenAI)
- `-n, --server-name`:MCP服务器的名称(默认值: `mcp-server`)
- `-r, --repeats`:每个问题的运行次数(默认值:5;多数票决定通过/失败)
- `-v, --verbose`:打印详细进度
- `--compare`:在有和没有MCP服务器的情况下运行每个问题,并报告增量

### 基线比较(Python API)

**人类**```python
from mcp_data_check import Evaluator

evaluator = Evaluator(server_url="https://mcp.example.com/sse", api_key="sk-ant-...")
questions = evaluator.load_questions("questions.csv")

comparison = evaluator.run_comparison(questions, repeats=5, verbose=True)

print(f"MCP pass rate:      {comparison.mcp_pass_rate:.1%}")
print(f"Baseline pass rate: {comparison.baseline_pass_rate:.1%}")
print(f"Delta:              {comparison.mcp_pass_rate - comparison.baseline_pass_rate:+.1%}")

evaluator.save_comparison(comparison, "./results")

开放人工智能```python
from mcp_data_check import Evaluator

evaluator = Evaluator(
server_url="https://mcp.example.com/sse",
api_key="sk-...",
provider="openai",
model="gpt-4o"
)
questions = evaluator.load_questions("questions.csv")

comparison = evaluator.run_comparison(questions, repeats=5, verbose=True)

print(f"MCP pass rate: {comparison.mcp_pass_rate:.1%}")
print(f"Baseline pass rate: {comparison.baseline_pass_rate:.1%}")


## CSV格式问题

CSV文件的问题必须有三列:

|列|说明|
|--------|-------------|
| `question` |向MCP服务器提出的问题|
| `expected_answer` |与预期答案进行比较|
| `eval_type` |评价方法: `numeric`, `string`,或 `llm_judge` |

例子:```csv
question,expected_answer,eval_type
How many grants were awarded in 2023?,1234,numeric
What organization received the most funding?,NIH,string
Explain the grant distribution,Most grants went to research institutions...,llm_judge

评估类型

  • 数字的:从回复中提取数字,并与5%的容差进行比较
  • 字符串:检查响应中是否出现预期字符串(不区分大小写)
  • llm_judge:使用所选模型从语义上评估响应是否正确

返回值

这 run_evaluation 函数返回一个字典:python { "summary": { "total": 10, "passed": 8, "failed": 2, "pass_rate": 0.8, "by_eval_type": { "numeric": {"total": 5, "passed": 4}, "string": {"total": 3, "passed": 3}, "llm_judge": {"total": 2, "passed": 1} } }, "results": [ { "question": "...", "expected_answer": "...", "eval_type": "numeric", "model_response": "...", "passed": True, "details": {...}, "error": None, "time_to_answer": 2.35, "tools_called": [ { "tool_name": "get_grants", "server_name": "mcp-server", "input": {"year": 2023} } ] }, ... ], "metadata": { "server_url": "https://mcp.example.com/sse", "model": "claude-sonnet-4-20250514", "provider": "anthropic", "timestamp": "20250127_143022" } }

结果字段

每个结果 results 数组包含:

字段 描述
question 最初提出的问题
expected_answer CSV的预期答案
eval_type 使用的评估方法
model_response 模型的完整响应文本
passed 评估是否通过
details 其他评估细节
error 如果评估失败,则显示错误消息
time_to_answer 重复的平均响应时间(秒)
tools_called 响应期间调用的MCP工具列表
repeat_count 问题运行的次数
repeat_pass_count 通过的运行次数(超出 repeat_count)

这 tools_called 数组包含以下对象:

  • tool_name:所调用的MCP工具的名称
  • server_name:提供该工具的MCP服务器的名称
  • input:传递给工具的参数

需求

  • Python 3.10+
  • 您选择的提供商的API密钥(Anthropic或OpenAI)

常见问题

8 问
答案由本站依据条目字段整理,不引用上游原文
MCP Data Check 怎么安装?

在客户端按下面的安装命令接入:pip install mcp-data-check。装完在客户端配置里引用同一个包或端点。

MCP Data Check 怎么在 Claude 里配置?

它的传输方式是stdio · 本地进程,在客户端的 MCP 配置里填好启动命令和参数,保存后完全退出客户端再打开,配置才会生效。

MCP Data Check 收费吗?

本站不代收费用,也没有标注具体价格。是否收费取决于服务本身和背后的接口额度,正式使用前按官方说明确认。

MCP Data Check 需要 API Key 吗?

资料标注为无需认证,装好就能连;如果实际调用时报鉴权错误,按官方文档补上凭据。

MCP Data Check 支持哪些客户端?

资料标注支持 Claude;其他客户端只要能配置 MCP Server,也能用同样的命令或地址接入。

MCP Data Check 能提供哪些能力?

资料显示能力标签包括 问答系统、Python、Claude、性能分析。具体工具清单以官方文档为准。

MCP Data Check 需要什么运行环境?

属于本地进程,需要在本机装好运行环境。

MCP Data Check 是本地还是远程?

它是本地进程(stdio),由客户端在本机拉起。传输方式为stdio · 本地进程。

热门专题

按标签挑服务器
全部专题 →

服务器信息以作者仓库与官方文档为准;分类、传输方式与鉴权方式的中文说明为中文整理,最近核验 2026-05-17。