豆包工作上线录制回放:不写代码,操作一遍就能复刻
豆包工作还在卷,我今天发现它居然偷偷上线了codex同款的录制操作生成技能,record & replay。简单回顾一下,这个技能有点像超级简单版的RPA(机器人流程自动化),不需要会编程,不需要调组件搭工作流,就是把你操作电脑的过程录制下来交给AI,AI自己去写步骤说明,自己在下一次复刻同款操作。更骚的是,比起cod
我这两天注意到,它悄悄上线了一个和 codex 同款的录制操作生成技能,record & replay。
这个技能大概可以理解成极简版的 RPA(机器人流程自动化)。不用懂编程,也不用拖组件搭工作流。你只要把在电脑上的操作过程录下来交给 AI,它会自己写出步骤说明,下次再照着复刻一遍同样的操作。
比 codex 更进一步的是,豆包工作加了个讲解功能,最长能录 30 分钟。操作的时候可以边做边说,告诉它这一步为什么这么选。这样就不用死记鼠标轨迹,也不必一次录到完美,压力小了不少。
我先拿控制 Grok Bot 自动收集 Github 项目更新来试了试水,
录好的 Skill 在执行时,和
Codex 的 Computer Use 不一样:中途我要是想用对应的那个窗口,它会主动断开。
按我在 Codex 上的经验,经常是我开了一个对话,那个对话要用我的浏览器,同时我又想开另一个对话,两边就撞上了。操作软件的时候尤其明显,浏览器还好,能靠其他 Skill 绕过去。
说具体点。
比如我要用 Codex 操控 Grok,在同样的环境里出一份日报。可我同时在录视频,或者在跟另一个 Agent 对话,它弹出来的页面就会打断我。我只能一遍遍把弹窗最小化再重试,结果操作就失败了。
所以暂停和重试这两套机制,各有各的好处和毛病。让我选的话,本机也就是我自己用的电脑,我希望它能自动暂停,这样不打断我手头的主要工作。换成远程的 Mac mini 上跑,重试更合适,反正挡不到我。
上次那篇文章里,我没提到这个录制回放技能会和已有的 Computer Use、Browser Use(浏览器自动化)搭配着用。
像豆包,它其实会先回一句当前状态是什么,再给出接下来的行动。那下一步最合适的做法,就是让它去做巡检。
我特意说「巡检」这两个字,是因为以前我可能会讲每隔 5 分钟、10 分钟去查一遍。可很多时候你并不确定时间间隔,那不如直接让模型自己去巡检,它们会自行判断合适的时间间隔,一直观察到任务完成为止。
总的看,录制回放技能是个互补的东西。
你想做的自动化没有 API,也不只是在浏览器里跑,操作的软件要跨好几个步骤,或者工作流要横跨多个软件,那我很推荐把它录成 skill。能配上解说就更好了。
拿一个很经典的 case 来说明有解说到底多重要,就用我自己的一个录屏 skill 举例,
之前图省事,我直接把当前操作的页面最大化就开始录屏,它每次都照着我这套操作复刻。问题是,这样只能录出跟我电脑屏幕尺寸一样大的视频,可我很多素材其实要 4:3 的。
这就牵扯到一个用文字不太好描述的操作,
我得把屏幕里除当前窗口之外的其他窗口都缩小。这个动作就从「把一个窗口扩大到全屏」变成了「把除了当前屏幕焦点之外的其他窗口都最小化」,从「某一个动作」变成「某一类动作」。因为我每次打开的软件并不一样。
这也是为什么,今天已经有那么多 Agent 具备 Computer Use 能力,也有了浏览器自动化的能力,我仍然觉得需要录制回放能力,原因就在这儿。
同时开多个录屏软件会互相冲突,所以后半段我是用 iphone 录的。能看到豆包工作碰上录屏软件这种透明条每次都在屏幕不同位置出现的情况,也能靠全屏截图放大确认去按键。
还有一个更离谱的操作,
我猜很多 Skill 不会专门去做,但它特别贴合我们的使用习惯。
做 Computer Use 或者浏览器自动化,大家最常见、一直想解决的,就是去我们日常用的那些平台上拿热门帖子、低粉爆款的内容等等。这里面绕不开的一道坎,就是怎么避免被限。
这套录制回放的skill,正好能把每个人身上那套独有的ADHD习惯用起来。
比方说今天要挖小红书的低粉爆款。你在网页上刷就行,不用卡死某个页面,也不用规定节奏,只要30分钟内做完就成。中途跑去刷某抖、刷X,甚至溜到某站看个视频,都没关系,越像你平时的样子越好。录完往豆包那儿一打包,一个几乎测不出来的信息获取skill就到手了。
多数Agent之所以被识别,问题出在操作太死板:页面固定,点击间隔也固定。我早先试过把每次点击设成15秒到60秒的随机间隔,撑久了照样被抓。后来查出来还是操作时长不对——谁在网页上刷某书一连刷一个多小时,怎么看都不像人。
我最初的想法是让它干5分钟、再停6分钟,把节奏弄得随机一点。可既然采集本来就横跨多个平台,那干嘛不干脆多平台一起采?我的做法是串起5个平台,其中真正要收数据的其实只有2到3个,夹在中间的那些平台,动作本身没有意义。
一边操作,我一边就是这么解释的。