WorkBuddy上线电脑操控:无接口软件也能点击输入,公测支持Win/macOS
11月20日,WorkBuddy宣布上线电脑操控能力,可识别桌面应用界面并执行点击、输入和滚动,即使目标软件没有API、连接器或网页版,用户也能用自然语言指令完成查询、录入。该功能可用于老旧业务系统和未开放接口的软件,目前处于公测阶段,支持Windows和macOS,需升级至5.11.0及以上版本并授予相关系统权限。
11月20日,
WorkBuddy宣布电脑操控(Computer Use)能力正式上线。该能力可以识别桌面应用界面,并完成点击、输入、滚动等操作。目标软件即便没有API、连接器或网页版,用户也能用自然语言下指令,让它在客户端里查数据、做录入。这套功能面向老旧业务系统和未开放接口的软件。比如让WorkBuddy到教务系统里查记录,或者在仓储、资产等多个客户端之间核对信息、填写表单。碰上跨系统任务,它会按入库单号这类关联信息,把不同应用里的操作串起来。


任务跑起来之后,用户照常可以在别的应用里干活,进度通过侧边的画中画窗口实时查看。不过有一点要留意:别同时去动WorkBuddy正在控制的那款软件,输入焦点或页面状态一变,任务就可能中断。
电脑操控目前还在公测,Windows和macOS都能用。用户需把WorkBuddy客户端升到5.11.0及以上版本,并授予辅助功能、屏幕录制等系统权限。官方提示,界面识别效果在不同软件上可能不一样。
登录、授权、支付、提交、删除这类敏感操作,WorkBuddy建议用户守在旁边实时核对。任务结束后也别急着走,回到原系统查一遍结果或录入内容,确认没问题再往下操作。