Screen Intelligence Service

MCP运维云端

提供方 lukaizhi5559

运维云端 未标注 无需鉴权 社区 / 第三方

Screen Intelligence MCP Service 是一个快速、本地的屏幕语义理解服务,提供视觉覆盖层和UI自动化功能,适用于ThinkDrop AI等场景。

一句话选型结论

按资料字段整理

Screen Intelligence Service 属于运维云端类 MCP 服务器,传输方式未标注,无需鉴权,没有现成安装命令,需按官方文档接入。接入前先确认权限范围;涉及写入、删除或付款的操作,建议先在测试环境验证。

分类运维云端 传输方式未标注 鉴权无需鉴权 部署方式未标注
GitHub 星标 0 仓库热度,无公开仓库时显示未标注
工具数 未标注 暴露给模型的工具数量
资源 / 提示词 0 / 0 资源与提示词模板数量
维护方 社区 / 第三方 核验等级 仅资料核对

工具与能力

运维云端
数量来自来源目录的标注,具体工具清单以官方文档为准
工具数量未标注暴露给模型可调用的工具个数
资源数量0可读取的资源条目
提示词数量0内置提示词模板数量

能力标签

适用场景

屏幕分析JavaScript本地部署UI自动化视觉覆盖语义理解本地处理

安装与配置

未标注 无需鉴权
上游未给出传输方式
  1. 1
    准备运行环境

    按官方文档确认运行环境(常见为 Node.js 或 Python),装好后再执行安装命令。

  2. 2
    安装服务

    复制上面的安装命令执行;命令里带占位符的位置,换成自己的密钥或路径。

  3. 3
    写入客户端配置

    在客户端的 MCP 配置里填好启动命令和参数,保存后完全退出客户端再打开,让新配置生效。

  4. 4
    验证是否可用

    连接成功后随便调一个只读工具,确认能返回结果,再接入正式流程。

典型使用场景

3 类
按分类与标签整理的常见用法,具体以官方文档为准
云资源查询

查实例、存储、账单等云上资源状态。

部署与发布

把部署、重启、回滚这类操作接进对话。

监控与告警

拉取监控指标,异常时让模型帮你判断。

选择建议

选之前先看这几条
按条目字段给出的判断,不替你决定用不用

值得选的地方

  • 资料标注无需鉴权,装好就能连。

先想清楚的地方

  • 没有现成安装命令,需要按官方文档自己填启动命令和参数。
  • 资料没标注工具数量,实际能力要装好后确认。
  • 版本更新与行为细节以官方仓库为准。

更适合

  • 需要在运维云端场景里让模型直接调用外部能力的人。
  • 想先快速试一下、能接受在本地或自有环境跑服务的人。

不太适合

  • 需要厂商级 SLA 和技术支持的生产环境。

同类对比

6 个同类
同分类里挑最接近的几条,字段以各自详情页为准
MCP 服务器工具数传输方式部署方式安装命令最后核验
Screen Intelligence Service当前 未标注 未标注 未标注 无 2026-05-17
lobehub 未标注 stdio · 本地进程 本地部署 有 2026-04-11
TrendRadar 未标注 stdio · 本地进程 本地部署 有 2026-04-13
Ui Tars Desktop 8a825770 未标注 stdio · 本地进程 本地部署 有 2026-05-17
ruflo 未标注 stdio · 本地进程 本地部署 有 2026-04-13
FastGPT 未标注 stdio · 本地进程 本地部署 有 2026-04-11

服务器档案

运维云端
字段来自项目仓库与公开索引,中文说明由本站标注
提供方lukaizhi5559上游标注的维护方 lukaizhi5559
分类运维云端本站按上游分类展示
连接方式未标注上游未给出传输方式
鉴权方式无需鉴权远程服务建议用最小权限凭据
维护方社区 / 第三方核验等级 仅资料核对
包名 / 运行时未标注 · 未标注本地安装时用到的包标识与运行时
部署类型未标注上游给出的部署形态
最近核验2026-05-17上游最后核验时间

详细介绍

4.8 KB
来自项目仓库与上游目录的原文,未做删改

🎯 屏幕智能MCP服务

通过ThinkDrop AI的视觉覆盖,快速、本地、语义化的屏幕理解。

特性

  • 🔍 筛分试验:使用辅助功能API查询UI元素
  • 🎨 视觉叠加:通过亮点和指南显示AI“看到”的内容
  • 🖱️ UI自动化:单击、键入并与应用程序交互
  • 📊 发现模式:检查所有UI元素,如Playwright Inspector
  • ⚡ 快速:\<100ms屏幕分析(与3-4s视觉模型相比)

建筑```

Screen Intelligence MCP (Port 3008)
├── Accessibility Adapter (AX/UIA/AT-SPI)
├── Action Engine (@nut-tree/nut-js)
├── Overlay Manager (Visual feedback)
└── OpenCV Sidecar (Phase 4 - for canvas/games)


## 安装```bash
cd mcp-services/screen-intelligence-service
npm install

配置

复制 .env.example 到 .env 并配置:```bash
cp .env.example .env


## 用法

### 启动服务```bash
npm start

开发模式(带自动重新加载)```bash

npm run dev


## API终点

### 健康检查```
GET /service.health

能力```

GET /service.capabilities


### 筛分试验```
POST /screen/describe
Body: {
&quot;showOverlay&quot;: true,
&quot;includeHidden&quot;: false
}

查询元素```

POST /screen/query
Body: {
"query": "Send button",
"role": "button",
"highlight": true
}


### 单击操作```
POST /screen/action/click
Body: {
&quot;target&quot;: { &quot;x&quot;: 100, &quot;y&quot;: 200 },
&quot;showGuide&quot;: true
}

类型动作```

POST /screen/action/type
Body: {
"target": { "x": 100, "y": 200 },
"text": "Hello World",
"showConfirmation": true
}


### 显示叠加```
POST /screen/overlay/highlight
Body: {
&quot;element&quot;: { &quot;bounds&quot;: {...}, &quot;label&quot;: &quot;Send&quot; },
&quot;duration&quot;: 3000
}

展示吐司```

POST /screen/overlay/toast
Body: {
"message": "Action completed!",
"type": "success",
"duration": 3000
}


### 清除覆盖层```
POST /screen/overlay/clear

平台支持

macOS✅ (第二阶段完成)

  • 适配器: EnhancedMacOSAccessibilityAdapter
  • 技术:AppleScript+辅助功能API(AX)
  • 特性:元素缓存、查询方法、置信度评分
  • 需求:可访问权限
  • 授予权限:系统首选项>安全与隐私>隐私>辅助功能

视窗🚧 (TODO-实施指南可用)

  • 适配器: WindowsUIAAdapter (占位符)
  • 技术:UI自动化(UIA)
  • 实施方案:
  • node ffi-napi用于原生COM API
  • edge js for。NET UIA库
  • PowerShell网桥
  • 看: PLATFORM_IMPLEMENTATION_GUIDE.md 详细说明
  • 占位符: src/adapters/accessibility/windows.js

Linux🚧 (TODO-实施指南可用)

  • 适配器: LinuxATSPIAdapter (占位符)
  • 技术:AT-SPI(辅助技术服务提供商接口)
  • 实施方案:
  • 用于D-Bus通信的节点dbus
  • Python桥接到pyatspi2
  • X11自动化回退
  • 看: PLATFORM_IMPLEMENTATION_GUIDE.md 详细说明
  • 占位符: src/adapters/accessibility/linux.js

开发/测试✅

  • 适配器: MockAccessibilityAdapter
  • 目的:跨平台开发和测试
  • 自动回退:当平台适配器不可用时使用

绩效目标

运营 目标 愿景服务
屏幕描述 \<100ms 3-4s
元素查询 \<50ms N/A
叠加显示 \<20ms N/A
完整工作流程 \<500ms 5-8s

视觉反馈

配色方案

  • 🟢 绿色 (≥0.9):高置信度
  • 🔵 蓝色 (0.8-0.9):信心良好
  • 🟡 黄色 (0.6-0.8):不确定
  • 🔴 红 (\<0.6):信心低

覆盖类型

  1. 发现模式:显示所有检测到的元素
  2. 高亮:关注具体要素
  3. 指南:分步工作流程说明
  4. 面包:通知消息

发展

运行测试```bash

npm test


### 棉绒```bash
npm run lint

格式```bash

npm run format


## 与ThinkDrop AI集成

该服务将在主应用程序的MCP注册表中注册:```javascript
// In main app
const screenIntelligence = {
name: &#x27;screen-intelligence&#x27;,
url: &#x27;http://localhost:3008&#x27;,
apiKey: process.env.SCREEN_INTELLIGENCE_API_KEY,
enabled: true
};

路线图

第一阶段:核心服务✅

  • [x] MCP服务器设置
  • [x] 基本路线
  • [x] 健康检查
  • [x] 模拟适配器

第二阶段:可访问性(进行中)

  • [x] macOS AX适配器(基本)
  • []Windows UIA适配器
  • []增强的元素查询
  • []坐标转换

第三阶段:叠加系统

  • []电子叠加窗口
  • []突出显示渲染
  • []发现模式UI
  • []祝酒通知

第四阶段:OpenCV回退

  • []Python sidecar
  • []模板匹配
  • []变更检测
  • []JSON桥

第五阶段:行动

  • [x] nut.js集成(基本)
  • []验证
  • []引导模式
  • []多步骤工作流

第六阶段:整合

  • []更新parseIntent.cjs
  • []新建屏幕查询节点
  • []退回视觉服务
  • []端到端测试

许可证

麻省理工学院

常见问题

5 问
答案由本站依据条目字段整理,不引用上游原文
Screen Intelligence Service 怎么安装?

资料没有给出安装命令,请到官方仓库或文档按说明接入;这类条目多数是生态应用,或尚未发布可安装包。

Screen Intelligence Service 怎么在客户端里配置?

它的传输方式未标注,在客户端 MCP 配置里按官方文档填写启动命令和参数,保存后重启客户端生效。

Screen Intelligence Service 收费吗?

本站不代收费用,也没有标注具体价格。是否收费取决于服务本身和背后的接口额度,正式使用前按官方说明确认。

Screen Intelligence Service 需要 API Key 吗?

资料标注为无需认证,装好就能连;如果实际调用时报鉴权错误,按官方文档补上凭据。

Screen Intelligence Service 能提供哪些能力?

资料显示能力标签包括 本地处理、JavaScript、云端部署。具体工具清单以官方文档为准。

热门专题

按标签挑服务器
全部专题 →

服务器信息以作者仓库与官方文档为准;分类、传输方式与鉴权方式的中文说明为中文整理,最近核验 2026-05-17。