电脑全自动控制（Rebind Computer Use）
基于 Rebind（免费、跨平台的可编程输入层）与其官方 @rebind.gg/mcp-server，把"截图感知 + 键鼠控制"封装成一组 MCP 工具，让 Agent 在受信任的本机环境里像人一样全自动操控电脑。
相比 OpenAI Codex Computer Use：本技能不依赖任何付费账号、不受区域限制、无需 macOS 后台会话，只要有 Rebind（免费）与本机回环 WebSocket 即可在 Windows / macOS / Linux 上运行。
何时使用
- 用户要求"自动操作电脑 / 帮我把这套 GUI 流程跑完 / 全自动控制桌面 / 像人一样点这个"。
- 任务依赖图形界面、没有现成 API 或 CLI（老旧软件、系统设置面板、浏览器前台操作）。
- 需要跨应用接力：从 Excel 复制 → 粘贴到网页表单 → 保存截图归档。
前置条件（一次性配置）
- 安装 Rebind：从 https://www.rebind.gg/ 下载免费版（Windows / macOS / Linux 均支持，无需硬件）。
- 开启远程访问：在 Rebind 中加载并运行 Remote Access 脚本（
remote.luau推荐，或remote_access.lua，协议版本 ≥ 1.1.0）。它会在本机监听 WebSocket：ws://127.0.0.1:19561。若设置了 Auth Token，记下该 token（远程面板的 Auth token 字段，或remote_access.lua的AUTH_TOKEN）。 - 安装 bun 运行时：MCP 服务端通过
bunx拉起。确认bun --version可用；未安装则前往 https://bun.sh 安装。 - 接线 MCP：在所用 Agent 的 MCP 配置中加入下方"MCP 配置"片段并重启 Agent。
环境自检（强烈建议首次先跑）
运行 scripts/setup.ps1（Windows）或 scripts/setup.sh：
- 检查
bun是否可用； - 执行
bunx @rebind.gg/mcp-server --selftest验证服务端自测通过； - TCP 探测
ws://127.0.0.1:19561是否可达（即 Rebind 远程服务已开启）； - 输出应写入 Agent MCP 配置的 JSON 片段。
任一项失败，按脚本提示修复后再继续。
全自动执行工作流（感知-规划-行动 闭环）
对每条任务，按以下闭环执行，直到完成或被安全护栏拦截：
- 感知（Perceive）：调用
screenshot或screenshot_window获取当前屏幕；必要时zoom放大某区域。读取图像，识别目标元素坐标与状态。 - 规划（Plan）：基于截图与任务目标，决定下一步动作（点哪个按钮、输入什么文本、滚到哪个位置）。
- 行动（Act）：
-move_mouse+click（已校验点击）落点；或直接click直达坐标；
-type输入文本；key发送快捷键；scroll滚动视图；
-window聚焦 / 切换窗口；run_lua执行 Rebind Luau 片段做复杂编排；
-wait等待界面稳定后再进入下一轮感知。 - 校验（Verify）：再次截图确认动作生效；未达预期则回到规划，默认最多重试 5 次。
工具完整参数与 HID 点击细节见 references/tools-reference.md；安全护栏与人在环开关见 references/guardrails.md。
MCP 配置
{
"mcpServers": {
"rebind": {
"command": "bunx",
"args": ["@rebind.gg/mcp-server"],
"env": {
"REBIND_URL": "ws://127.0.0.1:19561",
"REBIND_TOKEN": "<若 Rebind 设了 Auth Token 则填，否则删除此行>"
}
}
}
}
安全护栏（必读）
- 仅限受信任的本机：Remote Access 服务只监听本机回环地址，绝不暴露到公网。
- 危险动作拦截：默认拦截磁盘格式化、清空回收站之外的批量删除、删除用户目录、
rm -rf、修改系统关键配置等破坏性指令，除非用户显式授权。 - 人在环可选：默认全自动；若任务涉及付费、对外发送、删除、密码输入，可在执行前插入一次确认（
references/guardrails.md提供开关变量）。 - 截图不外传：截图仅用于本地决策，不上传任何第三方。
