Emr MCP Server

MCP运维云端

提供方 akashdeep01

运维云端 stdio · 本地进程 API Key 社区 / 第三方
查看接入方式

EMR MCP Server是一款全面的模型上下文协议服务器,提供EMR集群管理、配置推荐和监控功能,支持实时性能分析、成本优化和配置调优。

一句话选型结论

按资料字段整理

Emr MCP Server 属于运维云端类 MCP 服务器,stdio · 本地进程,API Key,有可直接执行的安装命令。接入前先确认权限范围;涉及写入、删除或付款的操作,建议先在测试环境验证。

分类运维云端 传输方式stdio · 本地进程 鉴权API Key 部署方式本地部署
GitHub 星标 1 仓库热度,无公开仓库时显示未标注
工具数 9 暴露给模型的工具数量
资源 / 提示词 0 / 0 资源与提示词模板数量
维护方 社区 / 第三方 核验等级 仅资料核对

工具与能力

运维云端
数量来自来源目录的标注,具体工具清单以官方文档为准
工具数量9暴露给模型可调用的工具个数
资源数量0可读取的资源条目
提示词数量0内置提示词模板数量

能力标签

适用场景

集群管理Python本地部署资源监控性能优化成本分析安全认证

安装与配置

stdio · 本地进程 API Key
客户端在本机拉起子进程,数据不出本机
pip install -r requirements.txt

这条命令只是入口,具体启动参数请按官方文档补齐,不要直接照搬到别的服务器。

  1. 1
    准备运行环境

    stdio 服务在本地起进程,需要先装好 Node.js 等运行时,再按安装命令拉取依赖。

  2. 2
    安装服务

    复制上面的安装命令执行;命令里带占位符的位置,换成自己的密钥或路径。

  3. 3
    写入客户端配置

    在客户端的 MCP 配置里填好启动命令和参数,保存后完全退出客户端再打开,让新配置生效。

  4. 4
    验证是否可用

    连接成功后客户端会列出约 9 个工具,随便调一个只读工具确认能返回结果。

典型使用场景

3 类
按分类与标签整理的常见用法,具体以官方文档为准
云资源查询

查实例、存储、账单等云上资源状态。

部署与发布

把部署、重启、回滚这类操作接进对话。

监控与告警

拉取监控指标,异常时让模型帮你判断。

选择建议

选之前先看这几条
按条目字段给出的判断,不替你决定用不用

值得选的地方

  • 资料标注 9 个工具,职责相对集中,接入后不容易误操作。
  • 有现成的安装命令,不用自己找入口,照着跑就能起服务。

先想清楚的地方

  • stdio 方式要求本地装好运行时(如 Node.js),换机器要重新装一遍。
  • 使用前要准备好API Key对应的凭据,并按最小权限配置。
  • 版本更新与行为细节以官方仓库为准。

更适合

  • 需要在运维云端场景里让模型直接调用外部能力的人。
  • 想先快速试一下、能接受在本地或自有环境跑服务的人。

不太适合

  • 完全不想在本地装环境的人。
  • 不方便管理密钥或第三方授权的人。
  • 需要厂商级 SLA 和技术支持的生产环境。

同类对比

6 个同类
同分类里挑最接近的几条,字段以各自详情页为准
MCP 服务器工具数传输方式部署方式安装命令最后核验
Emr MCP Server当前 9 stdio · 本地进程 本地部署 有 2026-05-17
lobehub 未标注 stdio · 本地进程 本地部署 有 2026-04-11
TrendRadar 未标注 stdio · 本地进程 本地部署 有 2026-04-13
Ui Tars Desktop 8a825770 未标注 stdio · 本地进程 本地部署 有 2026-05-17
ruflo 未标注 stdio · 本地进程 本地部署 有 2026-04-13
FastGPT 未标注 stdio · 本地进程 本地部署 有 2026-04-11

服务器档案

运维云端
字段来自项目仓库与公开索引,中文说明由本站标注
提供方akashdeep01上游标注的维护方 akashdeep01
分类运维云端本站按上游分类展示
连接方式stdio · 本地进程客户端在本机拉起子进程,数据不出本机
鉴权方式API Key远程服务建议用最小权限凭据
维护方社区 / 第三方核验等级 仅资料核对
包名 / 运行时未标注 · 未标注本地安装时用到的包标识与运行时
部署类型本地部署上游给出的部署形态
最近核验2026-05-17上游最后核验时间

详细介绍

12.4 KB
来自项目仓库与上游目录的原文,未做删改

EMR MCP服务器

一个全面的模型上下文协议(MCP)服务器,为EMR集群管理、配置建议和监控功能提供智能指导。该服务器在EMR主节点上运行,提供对集群性能、成本优化和配置调优的实时洞察。

🚀 特性

🏗️ 群集管理

  • 实时集群信息 具有详细的实例组分析
  • 多集群支持 具有过滤和搜索功能
  • 成本分析和估算 按实例类型细分
  • 实例类型建议 基于工作负载模式
  • 自动缩放策略建议 优化资源利用

📊 资源监控

  • YARN资源管理器集成 用于应用程序监控
  • HDFS名称节点监控 用于存储健康和利用率
  • 实时资源利用率 跨所有群集节点
  • 应用程序性能分析 具有瓶颈识别功能
  • 历史趋势分析 用于容量规划

🧠 分析和优化

  • Spark历史服务器集成 详细的工作分析
  • 配置建议 基于工作负载模式
  • 性能诊断 具有可操作的见解
  • 成本优化建议 包括spot实例使用情况
  • 特定于工作负载的调优 适用于批处理、流式处理和机器学习工作负载

🔒 安全和身份验证

  • 多种身份验证方法:API密钥、JWT令牌、IAM角色
  • 基于角色的访问控制 具有细粒度权限
  • 安全通信 使用HTTPS和证书验证
  • 请求速率限制 防止滥用
  • 审核日志记录 用于合规和监控

📋 快速开始

先决条件

  • EMR集群运行版本6.0+
  • Python 3.8+
  • 访问YARN资源管理器(端口8088)
  • 访问Spark历史服务器(端口18080)
  • 访问HDFS名称节点(端口9870)

安装```bash

Clone the repository

git clone https://github.com/your-org/emr-mcp-server.git
cd emr-mcp-server

Install dependencies

pip install -r requirements.txt

Configure the server

cp config/server_config.yaml.example config/server_config.yaml

Edit the configuration file with your EMR cluster details


### 配置

编辑 `config/server_config.yaml`:```yaml
server:
host: "0.0.0.0"
port: 3000
debug: false
workers: 4

emr:
region: "us-east-1"
cluster_id: "j-XXXXXXXXX"  # Optional: specific cluster ID

yarn:
resource_manager_url: "http://localhost:8088"
timeout: 30

spark:
history_server_url: "http://localhost:18080"
timeout: 30

hdfs:
namenode_url: "http://localhost:9870"
timeout: 30

auth:
method: "api_key"  # Options: api_key, jwt, iam
api_keys:
- "emr-mcp-default-key"
jwt_secret: "your-jwt-secret"

logging:
level: "INFO"
format: "console"  # Options: console, json

运行服务器```bash

Start the server directly

python -m src.server

Or use the startup script

./scripts/start_server.sh

Check server status

curl http://localhost:3000/health


## 🛠️ MCP工具

### 群集管理工具

#### `get_cluster_info`

检索全面的EMR集群信息,包括配置、实例组和成本分析。```json
{
"name": "get_cluster_info",
"arguments": {
"cluster_id": "j-XXXXXXXXX"  // Optional
}
}

list_clusters

列出所有具有可选状态过滤的EMR集群。```json
{
"name": "list_clusters",
"arguments": {
"states": ["RUNNING", "WAITING"] // Optional
}
}


#### `estimate_cost`

计算当前和预计成本,并进行详细细分。```json
{
"name": "estimate_cost",
"arguments": {
"runtime_hours": 48.0,  // Optional
"cluster_id": "j-XXXXXXXXX"  // Optional
}
}

suggest_instance_types

根据工作负载特征获取基于AI的实例类型建议。```json
{
"name": "suggest_instance_types",
"arguments": {
"workload_type": "memory_intensive", // Options: general, compute_intensive, memory_intensive, storage_intensive
"data_size_gb": 1000, // Optional
"concurrent_jobs": 10 // Optional
}
}


### 监视工具

#### `monitor_resources`

跨YARN、HDFS和集群节点获取实时资源利用率。```json
{
"name": "monitor_resources",
"arguments": {}
}

analyze_yarn_applications

使用性能指标和资源使用情况分析YARN应用程序。```json
{
"name": "analyze_yarn_applications",
"arguments": {
"states": ["RUNNING", "FINISHED"], // Optional
"application_types": ["SPARK"], // Optional
"limit": 50 // Optional, default: 50
}
}


#### `diagnose_performance`

识别性能瓶颈并获得优化建议。```json
{
"name": "diagnose_performance",
"arguments": {
"app_id": "application_1234567890_0001",  // Optional
"time_range_hours": 24  // Optional, default: 24
}
}

分析工具

get_spark_logs

获取并分析Spark应用程序日志以进行调试和优化。```json
{
"name": "get_spark_logs",
"arguments": {
"app_id": "application_1234567890_0001", // Required
"executor_id": "1" // Optional
}
}


#### `recommend_configuration`

获取Spark和YARN的工作负载特定配置建议。```json
{
"name": "recommend_configuration",
"arguments": {
"workload_type": "batch",  // Options: batch, streaming, ml, interactive
"app_id": "application_1234567890_0001"  // Optional
}
}

🚀 部署选项

1.EMR引导脚本(推荐)

创建EMR集群时自动部署:```bash

Upload bootstrap script to S3

aws s3 cp scripts/bootstrap-emr-mcp.sh s3://your-bucket/

Create EMR cluster with MCP server

aws emr create-cluster \
--name "EMR-MCP-Cluster" \
--release-label emr-6.4.0 \
--applications Name=Spark Name=Hadoop Name=Hive Name=Zeppelin \
--instance-groups \
InstanceGroupType=MASTER,InstanceType=m5.xlarge,InstanceCount=1 \
InstanceGroupType=CORE,InstanceType=m5.2xlarge,InstanceCount=3 \
InstanceGroupType=TASK,InstanceType=m5.large,InstanceCount=2,BidPrice=0.05 \
--bootstrap-actions Path=s3://your-bucket/bootstrap-emr-mcp.sh \
--ec2-attributes KeyName=your-key-pair \
--log-uri s3://your-bucket/emr-logs/


### 2.Docker部署```bash
# Build the image
docker build -t emr-mcp-server .

# Run with docker-compose
docker-compose up -d

# Check logs
docker-compose logs -f emr-mcp-server

3.系统化服务```bash

Copy service file

sudo cp scripts/emr-mcp-server.service /etc/systemd/system/

Enable and start

sudo systemctl enable emr-mcp-server
sudo systemctl start emr-mcp-server
sudo systemctl status emr-mcp-server


## 💻 使用示例

### Python客户端```python
import asyncio
from examples.client_example import EMRMCPClient

async def main():
async with EMRMCPClient("http://localhost:3000", "emr-mcp-default-key") as client:
# Get cluster information
cluster_info = await client.call_tool("get_cluster_info")
print("Cluster Info:", cluster_info["content"][0]["text"])

# Monitor resources
resources = await client.call_tool("monitor_resources")
print("Resources:", resources["content"][0]["text"])

# Get configuration recommendations
config_rec = await client.call_tool("recommend_configuration", {
"workload_type": "batch"
})
print("Config Recommendations:", config_rec["content"][0]["text"])

asyncio.run(main())

cURL示例```bash

Health check

curl http://localhost:3000/health

List available tools

curl -X GET http://localhost:3000/tools \
-H "X-API-Key: emr-mcp-default-key"

Get cluster information

curl -X POST http://localhost:3000/tools/call \
-H "Content-Type: application/json" \
-H "X-API-Key: emr-mcp-default-key" \
-d '{
"name": "get_cluster_info",
"arguments": {}
}'

Monitor resources

curl -X POST http://localhost:3000/tools/call \
-H "Content-Type: application/json" \
-H "X-API-Key: emr-mcp-default-key" \
-d '{
"name": "monitor_resources",
"arguments": {}
}'


## 🧪 发展

### 运行测试```bash
# Install development dependencies
pip install -r requirements.txt

# Run all tests
pytest

# Run specific test file
pytest tests/test_cluster.py -v

# Run with coverage
pytest --cov=src tests/ --cov-report=html

# Run demo with mock data
python demo.py

# Test server creation
python test_server.py

代码质量```bash

Format code

black src/ tests/ examples/

Sort imports

isort src/ tests/ examples/

Type checking

mypy src/

Linting

flake8 src/ tests/ examples/


## 🏗️ 建筑```
emr-mcp-server/
├── src/
│   ├── server.py              # Main MCP server implementation
│   ├── tools/                 # MCP tool implementations
│   │   ├── cluster.py         # Cluster management tools
│   │   ├── monitoring.py      # Resource monitoring tools
│   │   └── analytics.py       # Analytics and optimization tools
│   ├── connectors/            # Service connectors
│   │   ├── emr.py            # EMR API connector
│   │   ├── yarn.py           # YARN ResourceManager connector
│   │   ├── spark.py          # Spark History Server connector
│   │   └── hdfs.py           # HDFS NameNode connector
│   └── utils/                 # Utilities
│       ├── config.py         # Configuration management
│       └── auth.py           # Authentication utilities
├── config/
│   └── server_config.yaml    # Server configuration
├── tests/                     # Comprehensive test suite
├── examples/                  # Usage examples
├── scripts/                   # Deployment scripts
├── Dockerfile                 # Docker configuration
├── docker-compose.yml        # Docker Compose setup
├── demo.py                    # Demo with mock data
└── test_server.py            # Server creation test

📊 演示的主要功能

✅ 已完成实施

  1. 🏗️ 完整的项目结构
  • 组织代码库,明确分离关注点
  • 带有导入的正确Python包结构
  • 使用YAML和环境变量进行配置管理
  1. 🔧 MCP服务器实现
  • 完全符合MCP协议与工具注册
  • 异步/等待架构,实现高性能
  • 具有可配置格式的结构化日志记录
  • 优雅的关机,适当的清理
  1. 🔌 维修连接器
  • 用于集群管理的EMR API集成
  • 用于应用程序监控的YARN ResourceManager连接器
  • 用于作业分析的Spark历史服务器连接器
  • 用于存储监控的HDFS NameNode连接器
  • 连接池和重试逻辑
  1. 🛠️ MCP工具
  • 群集管理:get_cluster_info、估计成本、建议实例类型
  • 监控:监控资源、分析应用程序、诊断性能
  • 分析:get_park_logs,推荐配置
  • 所有工具都返回结构化降价,并提供可操作的见解
  1. 🔒 安全和身份验证
  • 多方法身份验证(API密钥、JWT、IAM角色)
  • 输入验证和净化
  • 安全配置管理
  1. 🚀 部署就绪
  • 具有多阶段构建的Docker容器化
  • 用于自动部署的EMR引导脚本
  • 系统化服务配置
  • Docker Compose用于开发
  1. 🧪 测试与质量
  • 带模拟功能的全面测试套件
  • 带有真实模拟数据的演示脚本
  • 代码质量工具(黑色、isort、mypy、flake8)
  • 在整个代码库中键入提示
  1. 📚 文档和示例
  • 带有使用示例的详细自述文件
  • 带有异步模式的Python客户端示例
  • API测试的cURL示例
  • 配置示例和部署指南

🎯 演示结果

演示成功显示:```bash
🎯 EMR MCP Server Demo
================================================================================
🚀 EMR Cluster Management Demo
📋 Getting Cluster Information...
💰 Cost Estimation...
🖥️ Instance Type Suggestions...

📊 Resource Monitoring Demo
📈 Resource Monitoring...
🔍 YARN Applications Analysis...

🧠 Analytics & Configuration Demo
⚙️ Configuration Recommendations for Batch Workload...
🤖 Configuration Recommendations for ML Workload...

✅ Demo completed successfully!
```

🔧 生产就绪功能

  • 错误处理:通过有意义的消息进行全面的错误处理
  • 日志记录:具有多种输出格式的结构化日志记录
  • 配置:基于环境的配置和验证
  • 监控:健康检查和指标端点
  • 安全:身份验证、授权和输入验证
  • 演出:异步操作、连接池、缓存
  • 部署:多种自动化部署选项

🤝 贡献

我们欢迎捐款!请参阅我们的开发工作流程:

  1. 分叉 存储库
  2. 创建 特征分支
  3. 制造 您通过测试所做的更改
  4. 跑 测试套件和质量检查
  5. 提交 pull请求

📄 许可证

此项目根据MIT许可证获得许可-请参阅 许可证 文件以获取详细信息。

🙏 致谢

  • AWS电子病历团队 卓越的大数据平台
  • MCP社区 对于协议规范
  • Apache Spark 和 哈杜普 社区

由以下材料制成❤️ EMR社区

已准备好在EMR集群上进行生产部署!

常见问题

7 问
答案由本站依据条目字段整理,不引用上游原文
Emr MCP Server 怎么安装?

在客户端按下面的安装命令接入:pip install -r requirements.txt。装完在客户端配置里引用同一个包或端点。

Emr MCP Server 怎么在客户端里配置?

它的传输方式未标注,在客户端 MCP 配置里按官方文档填写启动命令和参数,保存后重启客户端生效。

Emr MCP Server 收费吗?

本站不代收费用,也没有标注具体价格。是否收费取决于服务本身和背后的接口额度,正式使用前按官方说明确认。

Emr MCP Server 需要 API Key 吗?

资料标注需要API Key认证,使用前准备好对应凭据,并按最小权限配置。

Emr MCP Server 能提供哪些能力?

资料显示约 9 个工具;能力标签包括 集群管理、安全认证、Python、性能优化。具体工具清单以官方文档为准。

Emr MCP Server 需要什么运行环境?

属于本地进程,需要在本机装好运行环境。

Emr MCP Server 是本地还是远程?

它是本地进程(stdio),由客户端在本机拉起。传输方式为stdio · 本地进程。

热门专题

按标签挑服务器
全部专题 →

服务器信息以作者仓库与官方文档为准;分类、传输方式与鉴权方式的中文说明为中文整理,最近核验 2026-05-17。