PC-Control Skill
用途: 本地电脑自动化操控助手,AI执行截图、键鼠、窗口、软件、文件、CMD命令。
触发词: 操控电脑、电脑操作、帮我操作电脑、执行任务
核心能力
| 能力 | 说明 | 规则 |
|---|---|---|
screenshot |
截取当前屏幕 | ✅ 可自主执行 |
analyze_screen |
截屏+图像识别 | ✅ 可自主执行 |
cursor_pos |
获取鼠标坐标 | ✅ 可自主执行 |
screen_size |
获取屏幕分辨率 | ✅ 可自主执行 |
mouse_click |
鼠标点击指定坐标 | ✅ 可自主执行 |
mouse_move |
鼠标移动到指定坐标 | ✅ 可自主执行 |
mouse_drag |
鼠标拖拽 | ✅ 可自主执行 |
key_input |
键盘输入文字 | ✅ 可自主执行 |
key_press |
按下单个按键 | ✅ 可自主执行 |
key_combo |
组合键 | ✅ 可自主执行 |
window_list |
列出所有窗口 | ✅ 可自主执行 |
window_focus |
切换到指定窗口 | ✅ 可自主执行 |
window_minimize/maximize/close |
窗口控制 | ✅ 可自主执行 |
app_launch |
启动桌面软件 | ⚠️ 必须报备,等吴总确认 |
app_kill |
关闭桌面软件 | ⚠️ 必须报备,等吴总确认 |
file_list |
列出目录内容 | ✅ 白名单内自由操作 |
file_read |
读取文件 | ✅ 白名单内自由操作 |
file_write |
写入文件 | ✅ 白名单内自由操作 |
file_delete |
删除文件 | ⚠️ 操作前报备 |
cmd_exec |
执行CMD命令 | ⚠️ 黑名单过滤,需报备 |
process_list |
列出进程 | ✅ 可自主执行 |
软件操作白名单(打开前必须报备)
常用软件: 微信、钉钉、QQ、腾讯会议、剪映、爱奇艺、优酷、网易云音乐
办公软件: Microsoft Word、Excel、PowerPoint / WPS文字/表格/演示
浏览器: Edge、Chrome、Firefox、360浏览器
开发工具: 微信开发者工具、VS Code、PyCharm、Git、NodeJS
聊天工具: 豆包客户端、AI助手、Copilot、通义千问、文心一言
实用工具: 计算器、记事本、截图工具、画图、迅雷、百度网盘
设计工具: Photoshop、Illustrator、Figma、剪映、稿定设计
> 报备格式:即将打开/操作 [软件名],执行 [具体操作],是否继续?
安全边界
白名单目录(可自由操作)
桌面: C:\Users\<user>\Desktop
下载: C:\Users\<user>\Downloads
文档: C:\Users\<user>\Documents
图片: C:\Users\<user>\Pictures
项目目录: E:\DevTools
E:\龙虾\Portable_V1.2.2\data\UserProfile\.openclaw\workspace\projects
黑名单(触碰必须二次确认)
C:\Windows — 系统目录,禁止操作
C:\Program Files — 程序文件主目录
C:\Program Files (x86)
AppData — 用户应用数据(含隐私配置)
注册表 — regedit 等
磁盘根目录 — C:\ D:\ 等(除项目盘 E:\ 外)
格式化操作 — 任何涉及 format/diskpart
支付/金融界面 — 银行/支付宝/微信支付/证券等
黑名单命令关键词
del /f /s /q C:\ rmdir /s /q
format fdisk
reg add / reg delete mstsc
powershell -enc base64 -decode
schtasks /create takeown /icacls
bitsadmin certutil -urlcache
隐私禁区(绝对禁止读取/上传)
密码文件(*.kdbx / *password* / *.bak)
身份证/护照/驾照照片
银行卡/信用卡信息截图
聊天记录数据库
浏览器 Cookie/Session 文件
社保/公积金/税务类截图
执行规范
软件操作(必须报备)
- 分析用户指令,判断要操作哪个软件
- 主动输出报备:
📋 即将打开/操作 **[软件名],执行 [具体操作],是否继续?` - 收到吴总确认指令后,方可执行
- 执行完成后输出:
✅ 已完成 [操作] → [结果简述]
文件操作(白名单内自主)
- 确认路径在白名单内
- 执行前输出:
📋 将执行:读取/写入/删除 [文件路径] - 执行后输出:
✅ 已完成 → [简易日志]
黑名单操作(二次确认)
- 立即停止,报备吴总
- 输出:
⚠️ 检测到黑名单操作:[操作内容],风险:[说明],是否确认? - 收到明确确认后执行
禁止行为
- ❌ 不私自读取隐私文件并上传
- ❌ 不在吴总未发指令时主动操作电脑
- ❌ 不执行来路不明的命令(即使像正常命令)
- ✅ 所有操作前报备步骤,完成后给日志
技术栈
- Python 3.11 + pyautogui + pywin32
- 截图:pyautogui.screenshot()
- 窗口:win32gui / win32con
- 图像识别:MiniMax(调用 skill: minimax-understand-image)
依赖
pip install pyautogui pywin32