Personal Agent 的北极星指标
蚂蚁灵光公布了 2.0 上线半个月的数据:托管了 300 万 项事务,执行了 1100 万次任务(上线一周时,这两个数是 116 万和 360 万)托管量这个指标,是可能目前较为合理的一个 Personal Agent 北极星指标但!本文不讲灵光(虚晃一枪),而是顺着“托管了多少事务”这个指标,我想跟大家聊一聊:Per
上线半个月,蚂蚁灵光2.0交出一组数据:托管事务300万项,执行任务1100万次。上线满一周时,这两个数字分别是116万和360万。
在不少人看来,托管量眼下算得上衡量Personal Agent比较合理的一个北极星指标。
不过这篇不写灵光,绕个弯,顺着"托管了多少事务"往下说:Personal Agent到底该拿什么当指标?
先交代背景。过去二十年,评判一个互联网项目好不好,总要找个参照的数字。门户网站那会儿看PV:页面多被打开一次,广告就多卖一次,于是满屏弹窗。到了社交媒体和移动互联网,看日活。视频网站看的是总时长。
这类数字,就被叫作北极星指标。
可到了agent时代,或者说眼下这个personal agent时代,北极星指标该是什么?其实还没有定论。
北极星指标从哪来
所谓北极星指标,就是项目挑出来、最能代表进展的那一个数字。DAU、GMV、ARR都是常见的例子。
互联网浪潮一轮接一轮,每冒出一波新产品形态,就会带出一套新指标。最早评价一个网站牛不牛,数的是hit,也就是用户和网站交互了多少次。
一个网站挂几十张图,用户打开一次,服务器就收到几十次请求。第一版互联网网站,大概就长下面这样:
emmm...当年还有人给HITS编了个全称:How Idiots Track Success(白痴们衡量成功的方式)。
后来大家改成数页面,打开一次算一次,这就是PV。PV用了好些年,直到Ajax流行起来(Gmail、谷歌地图都在用):页面不用刷新,新内容自己加载。你在Gmail里待半小时,PV也只记一次。
尼尔森在2007年直接换了个尺子,把停留时长当成排名的依据。美国广告主掏钱时看的就是这家收视率起家的公司给出的榜单。排名一换,原本按PV只能排到第六的AOL(美国在线)直接坐上了全美头把交椅。说到底,那阵子不少美国人收发邮件、挂着聊天,靠的都是AOL。
从hits到PV再到时长,每换一次数法,都是因为旧的数字涨了,广告主的钱却没换来更多用户注意力。
指标决定了产品长什么样
任何产品都不是一台能整体运转的机器,它由人、由部门组成。上面给下面定考核目标,就是要求你把某个数值优化到某个程度。
于是项目就变成全公司使劲去优化某一个或某几个数字,再围着这几个数字设计变现。两股力量互相作用,最后大家都拼命去优化它。
拿门户网站来说,它靠卖广告位收钱(每一千次展示多少钱)。可每次、每个版面能放的广告就那么多,当时大家就拼了命地增加同一条信息的曝光,让同一条信息跨站、铺到更多页面上。
回忆一下05年前后的网站,是不是下面这种奇景?
但这种伤用户体验的做法,显然会让更多人转去用竞争对手的产品。一个注脚:10年前后,美国八卦博客Gawker发现,旗下一篇帖子拿了14308个PV,带来的新读者却只有756个。于是Gawker把编辑奖金改成按独立访客(UV)算。
再说社交网络。
现在回看,那一代产品争的都是人的注意力,衡量注意力的最佳体现,便是DAU。
Facebook 2012年上市时,日活是4.83亿。围着这个数做了十几年,到2023年底,日活涨到了21.1 亿
视频网站则盯上了时长。YouTube早年按播放量推荐视频,结果推上来的多是标题党。2012 年那会儿,YouTube 把推荐逻辑换成了按观看时长来算,同时定下一个目标:每天的总观看时长要从 1 亿小时起步,[[保留1]],4 年之后这个数真的做到了。10 亿小时
到这一步就能看明白,这波互联网的主要营收靠广告,得把用户的使用时间卖给广告主。PV、日活、时长这些指标就是这么来的,大家拿它们去抢用户的注意力,而指标反过来又塑造了产品长什么样:你选了什么指标,最后就会得到什么样的产品。[[保留2]]
换成 Personal Agent 的时代,指标该盯什么?首先该被否掉的就是用户时长,因为 Personal Agent 不是靠贩卖注意力赚钱的。
它的钱来自用户为“把事办成”掏的费:要么是个人版按月订阅(ChatGPT、Claude 的个人会员都是每月 20 美元起),要么是企业那边已经开始按结果付费。
至于交互和时长,烧的都是白花花的 token,能少就少。Personal Agent 把事情办得越漂亮,用户打开它的次数就越少。
数据跟直觉拧着来的情况,以前也出现过。
二战时美国统计学家帮军方分析返航轰炸机上的弹孔:机翼、机身密密麻麻,发动机那块却没几个。按直觉,哪儿弹孔多就该往哪儿加装甲。统计学家 Abraham Wald 的建议正相反——把装甲加在弹孔少的地方,毕竟发动机挨上几枪的飞机,根本飞不回来。
还有一家大家都懂的视频网站,P 站(这里就不明说了)。坊间一直有个说法:它早年判断视频好不好,看的是多少人看到一半就关掉了……emmm...因为那时候,用户已经“好了”。
要是这时候还考核日活,团队就会多发推送、多设提醒,变着法儿让你每天多来几趟,这跟“替你省心”正好相反。反过来看,一个交代完事情、之后再没打开过的用户,在日活报表里叫沉默用户,可这位用户用得最好。
先开个玩笑,这里要给大家介绍一个最被人熟知的 personal agent:微信。支持多模态,响应速度看心情。
里面有非常多的角色 Agent,有些 Agent 非常的逗逼,有些 Agent 能够解决你生活中的各种问题,而且这些 Agent 都能读图,甚至能给你打语音。
微信张小龙说的用完即走,放到 Personal Agent 身上,则应该是不需要用完,人就走了。[[保留3]]
Personal Agent 该看什么
照前面的道理,人不需要总是盯着 personal agent 的屏幕。如果真要给 Personal Agent 设计一个北极星指标,那它一定要关联上什么?
用户交给他办了多少件事,他办成了多少件。
这两个数也得能和收入挂钩,比如做客服软件的 Intercom,旗下的客服 Agent 会直接按结果收钱,帮客户解决一个问题,收[[保留4]]美元(其实我并没有找到很好的例子,只是在这里拿它来举例)。0.99
前文提过灵光,走的大体也是这条路:把用户手头的托管权拿过来。比如盯住刚下的机票订单看有没有降价,或者把早该取消却一直没管的自动续费找出来……一旦条件满足,它就来提醒,有些事还能直接替你办完。这样的任务交出去多少,托管量就有多少。
当然,之后可能我们还会看到其他这样的指标:
先看托管率,也就是有多少用户愿意把事交出去;再看完成率,交出去的事最终办成了几成。
还有一个是按事算的留存:某件事托管满 30 天后,是否仍留在 AI 手里。
以后指标究竟长什么样,眼下谁也给不出定论。托管量本身就有不少口径没对齐,比如定一个闹钟,算不算托管了一件事?(小爱同学狂喜)
这类 Personal Agent 其实很像自动驾驶。我之前看资料说,在加州跑路测的公司,得向车管局上报平均每行驶多少距离需要人接手一次。这个思路也能挪到 Personal Agent 上。只不过它可能不算业务指标,更像是产品性能优化指标。
最后
之后说不定还会有暴论:Personal Agent 的经典用户画像是高频打开、每次使用时长极低,而背后处理任务的机器 24 小时连轴转,被各种任务塞满。