DSH 电脑操作能力激活与管理
为 DSH 原有的 computer-use(电脑操作)能力提供可视化激活与管理入口。
本插件不提供独立的电脑操作引擎,也不是为 DSH 另外实现一套 computer-use。它负责启用或停用 DSH 已有的能力、检查官方组件、查看运行状态和执行健康自检;实际桌面操作由 DSH 的官方 computer-use 组件及其 Cua Driver Native 提供方完成。
“DSH 原有能力”不等于每个安装都已预装全部可选组件。若当前安装缺少所需组件,本插件只会在用户确认后补装与当前 DSH 版本匹配的官方组件,而不是安装自行实现的电脑操作引擎。
A community activation and management UI for DSH's existing computer-use capability, not a separate computer-control engine. 非 DeepSeek 或 Cua 官方发行组件。
当前预发布版本:0.1.0-alpha.4,适配 DSH Desktop 0.2.2-rc.3。
> 本版声明范围为 Windows x64 + DSH Desktop 0.2.2-rc.3,旧版 rc.2 和 rc.1 不在本版声明范围内;rc.2 对应 alpha.3。0.1.0-alpha.1 存在热重载等待、取消恢复和遗留安装进程处理缺陷,不建议继续分发;0.1.0-alpha.2 已于 2026-11-07 发布,面向 0.2.2-rc.1。
更新记录 · 开发者说明 · 问题反馈
开启前后有什么区别
变化的是 AI 可调用的工具,不是模型本身。 未开启时,DSH 仍可使用已配置的代码、文件、终端和其他工具;开启并确认原生提供方运行后,AI 才能通过这套 computer-use 工具观察和操作 DSH 所在电脑的界面。
下表假设没有通过其他插件或提供方启用同类电脑操作工具;“未开启”不代表 DSH 的其他自动化方式全部失效。若你已通过官方配置或其他入口启用同一能力,本插件只是增加可视化管理页,不会再叠加一套桌面工具。
| 场景 | 未开启这套 computer-use | 开启且提供方已就绪后 |
|---|---|---|
| 代码、文件、终端及其他既有工具 | 按原有配置可用 | 保持原有能力,不由本插件新增 |
| 看应用界面 | 无法通过这套工具读取窗口状态或截图;可由你提供截图 | 枚举应用和窗口,读取可访问性控件树,按需获取窗口或桌面截图 |
| 操作应用 | 无法通过这套工具点击或输入;仍可能通过终端等其他途径自动化 | 点击、双击、滚动、拖动,输入文字,发送按键及快捷键 |
| 管理应用与窗口 | 无此原生工具入口 | 启动指定应用、查看窗口并调整窗口位置和大小 |
| 操作浏览器页面 | 仍可使用已有网页搜索、抓取或其他浏览器工具(若已配置) | 在受支持且完成授权的浏览器连接中读取页面、点击、填表,并按权限处理文件上传和下载 |
| 使用剪贴板 | 无这套工具的剪贴板入口 | 按任务读取或写入剪贴板中的文本,以及工具支持的图像或文件引用 |
这些都是 DSH 官方组件及其原生驱动提供的工具,不是本插件自行实现的能力。历史 alpha.2 验证记录中,Windows x64 + DSH 0.2.2-rc.1 启用后显示 56 个原生工具;本版以管理页实际运行状态为准,数量随宿主版本、提供方和注册状态变化,不承诺所有环境都有相同数量。
可以提出哪些请求
以下是开启后的典型请求示例,不代表所有应用和页面都已逐项实测:
- 查看应用状态:“找到我指定的应用窗口,读取当前界面;如果有报错,截图并帮我分析。”
- 操作图形界面:“打开指定应用,进入设置,查看当前选项;修改前先告诉我准备改什么。”
- 协助填写网页:“在我指定且已授权的浏览器页面填写这些内容,提交前停下来让我确认。”
- 完成后核对:“按要求点击和输入后,再读取界面,确认操作是否真正生效。”
目标应用、系统权限、页面控件和浏览器连接都可能限制操作。桌面工具作用于 运行 DSH 的电脑,不是默认控制打开远程 DSH 网页的另一台电脑。开启不等于自动操作桌面,不等于绕过登录、验证码、系统权限或 DSH 审批,也不保证每个窗口都能在后台操作。
这个插件本身做什么
插件提供的是下面这些管理入口,把 DSH 原有能力的启用过程集中到一个页面:
| 入口 | 行为 |
|---|---|
| 启用开关 | 检查本地组件;需要安装时请求确认,随后继续启用并自检 |
| 运行状态 | 区分保存的配置、实际工具提供方、可用工具和需要重启的状态 |
| 检查兼容组件 | 查询与当前 DSH 精确匹配的官方组件,不是最新版检测 |
| 安装匹配版本 | 只安装固定的三个组件,不接受任意包名或版本 |
| 健康自检 | 读取原生驱动诊断,展示检查项和清洗后的修复提示,不发送桌面操作或截图 |
界面支持中文、英文和窄屏布局。管理页面独立于可选驱动,停用电脑操作能力后仍可访问。插件自检只读驱动诊断,不会主动截图或发送鼠标键盘操作;上表的桌面行为由 AI 在后续任务中按授权调用原生工具完成。
安装
DSH 插件页面
- 在 DSH Desktop 打开 插件 → 添加插件。
- 将本地修复包在 DSH 所在机器 上的绝对路径填入 包名或地址,不要添加引号。
- 阅读第三方插件信任提示并安装,然后启用管理插件。
- 进入侧栏的 电脑操作能力,按需要打开开关;组件缺失时,确认安装并等待自检。
下载修复包:dsh-computer-use-manager-0.1.0-alpha.4.tgz。同页提供 SHA-256 校验文件,安装前核对版本和校验和。旧版发行包的兼容范围不同。
也可以安装本地源码目录。使用 Desktop 安装的 dsh 命令;为确保变更完整应用,先退出 DSH,执行后再打开:
dsh plugin --profile desktop add "C:\path\to\dsh-computer-use-manager-0.1.0-alpha.4.tgz"
远程浏览器电脑上的文件路径不能直接用于 DSH 主机。首次选择本插件不会自动开启电脑操作驱动,两个可选底层组件默认关闭。替换已安装的 Host 代码可能需要重启;刷新页面本身不能替代宿主重启。
开启流程
点击开关 → 检查本地组件 → 必要时确认并安装 → 启用 → 等待驱动就绪 → 自检
- 本地组件已兼容时,跳过联网查询与下载。
- 缺失或不兼容时,先验证当前 DSH 的匹配版本,再请求安装确认;确认五分钟有效、仅可使用一次。
- 安装、启动、需要重启和自检异常分别报告,不会一律显示为成功。
- 组件或当前 DSH 版本、兼容条件改变时,旧组件检查结果会失效;需要重新检查后再安装匹配版本。宿主升级到 rc.3 后,原 rc.2 官方组件也需在管理页检查并更新为 rc.3。
- 已确认的 HMR 等待条件消除后,会清除相应重启提示;仅观察到运行正常,不会抹掉未知的重启或修复原因。
- 取消或失败恢复不得把能力从关闭重新开启。已观察到的其他配置变化应保留;没有跨客户端原子事务或同值变更检测保证。
- 关闭管理页面不会取消已确认的 Host 操作;卸载插件则停止接收请求并取消其拥有的工作,不等待可能反向依赖卸载的 HMR 队列。已经交给官方管理器、无法取消的写入可能在卸载后完成,该实例不会继续排入新的变更。
安全与恢复边界
- 安装、启用和停用影响当前 DSH 配置下的所有会话。操作前请确认没有其他会话依赖该能力。
- 不自动授予系统权限、不绕过 DSH 审批、不自动重启 DSH;管理页自检不会操作桌面。
- 匹配组件安装始终针对当前宿主精确版本,禁用生命周期脚本的配置同时覆盖底层安装器的内部恢复命令。
- 持有配置写锁后,发现遗留安装运行记录就停止,不判断 PID、不删除记录,也不先备份或恢复配置。请通过 DSH 官方插件管理流程确认旧安装已结束并处理遗留状态。
- 对不能确认已完成并拥有恢复权的失败,不盲目写回旧配置;会明确报告需要官方修复或重启,而不是声称恢复成功。
- 普通重启保留配置;完整 Desktop 恢复可能取消自定义 bundle 的选择,此时需在插件页重新启用管理插件。
兼容性与验证
| 项目 | 范围 |
|---|---|
| 本版目标宿主 | Windows x64、DSH Desktop 0.2.2-rc.3 |
| 声明范围 | 精确 0.2.2-rc.3;旧 rc.2 / rc.1 不在本版范围内 |
| 原生驱动 | Cua Driver Native,组件版本与 DSH 匹配 |
| 后台回归 | 包括串行 HMR 队列、取消与新停用交错、遗留安装记录、安装所有权边界 |
| 浏览器回归 | 真实插件自有控件;后台使用隔离适配器,不能代替实机集成 |
| 尚未实测 | 第二台机器首装、macOS、Linux、其他 DSH 版本 |
实际测试数量和部署状态以本轮验证记录、运行输出和发布说明为准。模拟浏览器通过不代表当前 DSH 页面或另一台电脑已经通过验收。
更新与卸载
本插件是本地或 tarball 来源,不通过内置 Versions 页面自动升级。“检查兼容组件”只管理三个官方组件,不更新本管理插件。
在插件页卸载管理插件不会自动删除之前单独安装的电脑操作组件。先关闭电脑操作能力,再卸载管理插件,可以更清楚地核对停用结果。
开发与反馈
从源码仓库运行,不要在精简发行包中执行测试:
node --test core.test.js api.test.js package.test.js
浏览器回归入口位于 verification/run-ui.mjs,需要相应开发依赖和 Windows Edge。测试可能生成忽略提交的浏览器构建产物和截图;它不会连接真实组件安装或桌面控制接口。
反馈时提供 DSH 版本、操作系统、安装方式和已脱敏错误;不要上传密钥、完整配置、会话内容或未裁剪的桌面截图。
许可证
原创代码和插件图标采用 MIT License。内嵌控件图标的 Lucide / Feather 归属见 第三方声明。DSH、Cua Driver 和其他组件保留各自许可证。