Looki孙洋:Personal Agent最重要的不是Agent,而是Personal
作者|Yoky微信|yokyliu617Personal Agent 火了,但纯软件的 Personal Agent 很快暴露出一个问题:它知道的还不够 personal。它可以读邮件、查日历、操作浏览器,知道用户在数字世界里做过什么;但用户离开屏幕后见了谁、去了哪里、正在讨论什么,它往往一无所知。越想让 Agent
Personal Agent 火起来之后,纯软件方案很快就露了怯:它对这个人的了解,还远远不够 personal。读邮件、查日历、操作浏览器,这些它都行,用户在数字世界里留下的痕迹它也都清楚;可人一旦离开屏幕,见了谁、去了哪儿、正聊着什么,它就全然不知。越想让它读懂一个具体的人,这块空白就越扎眼。
于是,Personal Agent 开始往软件之外走。行业里的判断也慢慢合到一处:得找一个能长期跟着人的硬件主体,当作 PA 获取外界信息的入口。说白了,就是给 Agent 安上眼睛、耳朵和感知器官。
沿着这个思路盘了一圈,忽然发现:这不就是 Looki 在做的事吗?
在 Personal Agent 还没成为热词的时候,Looki 就已经把一台第一视角设备挂到了胸前。它最初靠 Vlog、漫画和生活回顾让用户认识产品,可这些功能底下真正在持续打磨的,是怎么拿到一个人的现实数据,再把画面、声音和长期经历转成 Agent 能用的 Context。
大多数公司从软件起步,回头给 PA 找一具身体;Looki 反过来,从身体起步,一点点往记忆、洞察和 Agent 层长。这条逆向生长的路,背后是创始人孙洋对个人 AI 的另一套判断。
1
Personal Agent 得和人看到同一个世界
纯软件 Personal Agent 的天花板,其实在用户离开屏幕那一刻就碰到了。邮件能读、日历能查、浏览器能操作,但它不知道用户这会儿跟谁坐在一起、在聊什么,也分不清一句话是会议室里随口一提,还是已经拍板成了决定。
孙洋管这种缺失叫“同源感知”:人和 AI 看见、听见的是同一个现场,面对同一组 Ground Truth,然后各自作出判断。手机更像“手的延展”,叫车、点外卖、完成操作都合适;Personal Agent 想成为“大脑的延展”,前提是先和人经历同一件事。
硬件存在的理由也在这里。孙洋讲过一次 looki 的“aha moment”:他出差落地上海浦东机场,正要去买磁悬浮列车票。人往售票机走的时候,Looki 忽然提醒他,拿当天的登机牌买票能享受优惠。它把“刚坐航班到浦东机场”的行程信息,和“正走向磁悬浮售票机、准备买票”的眼前场景对到了一起,在刚刚好的时机,给了一条他未必知道、却正好用得上的建议。
可硬件采回来的是连续画面,PA 要的却是稳定的状态和变化信号。Looki 把 Loom 时序感知模型摆在感知链路最前面,让它先答几个高频问题:眼下是什么场景,事件还在不在继续,眼前的变化值不值得再往下理解。它是硬件感知与上层 Memory、Agent 之间的“第一层智能”,也让设备采什么、系统什么时候调用更强的模型,变成一道软硬件一起优化的问题。
这些问题,随便一个大模型都答得上来。真正的差别在于,纯软件 PA 得等用户先意识到需求、掏出手机、把 Prompt 组织好;持续在场的硬件却能先看到需求正在成形。举个例子:几个人走进商场里的餐厅,手机
所以,给 PA 做硬件,不是再造一台更小的手机。执行这件事,中国的 App 已经做得够好了;硬件真正稀缺的价值,是把还没数字化的现实变成数据源。孙洋说得直白:“Personal Agent 最重要的不是 Agent,而是 Personal。”要读懂一个具体的人,“近的会打败远的”——PC 比手机远,手机又比可穿戴设备远。
不过“离人近”不等于随便塞一块硬件到用户身边就行。昨天梳理 PA 的硬件形态时,大致能看出三条路线:独立主机供电稳、能长期跑模型,可它留在家里或桌上;磁吸在手机背后的设备借了手机的携带率,还能补上专用麦克风和常显界面,但非工作日随时可能被拆下来;真正能跟着人移动、持续采集现实信息的,还是可穿戴设备。
可穿戴内部也各有分工。戒指拿得到生理信号,耳机和项链容易采到声音,但同源感知不能只靠听觉。视觉要贴近人的第一视角,位置几乎只剩眼镜和胸前设备。Looki 团队早先花了半年研究眼镜,最后发现重量、续航和实时视觉感知,当时只能兼顾其中两项,于是选了重约 31.8 克的胸前设备。眼镜更接近双眼,却挑重量、挑镜片、挑穿戴习惯;胸前设备的视野没那么精准,却更容易覆盖不戴眼镜的人。说到底,卡住产品形态的不是想象力,是光学、功耗和人体工学。
这样一来,佩戴本身成了第一道算法。设备只有被戴在身上,后面的模型才有数据可算。孙洋给硬件团队的要求是:先把所有 AI 功能忘掉,做一件就算没电、用户也不愿意摘下来的东西。它得足够轻、足够像日常穿戴,镜头和麦克风还要尽量少给周围人压迫感。
这条路也不是 Personal Agent 火了之后才重新包装的。Looki 在 2024 年的两块产品白板上,早就写下“主动式 AI”“Context 感知”“History Memory”和“AI in Physical World”;记忆、认知、情绪一路指向决策执行,Agent 后面当时还标着“待成熟”。第一代产品仍带着明显的相机逻辑,用 Vlog、漫画等功能帮用户理解产品;下一代的取舍会更激进——砍掉为传统拍摄服务的冗余,让设备从“给人拍”的相机,变成主要“给 AI 看”的感知器官。
到这儿,硬件的必要性才算说全:它不负责替用户把所有事做完,而是以足够低的摩擦一直在场,让 PA 和用户看到同一个世界。少了这层入口,所谓 Personal 多半只是软件对已有账号数据的再加工;有了它,Agent 才有机会从“认识数字化的你”,走向“认识正在生活的你”。
1
Always On 之后,真正的难题才开始
可穿戴解决了数据从哪来,Always On 却马上带出第二个问题:数据太多了。一天的画面、声音和环境变化,不会自动变成记忆,先来的是一场夹着大量重复、空白和隐私的数据洪水。
孙洋在现场画了一条处理链。设备先产生原始的视觉和声音Footage,数据经过隐私防火墙、去噪和场景识别,再被切成Event和Moment、打上标签。这些结果用来建立索引、更新Memory,最后才从“记录”中抽取洞察,决定是否触发一个Action。按他的说法,完整链条就是“记录—索引—洞察—行动”。
这张图最关键的地方,在于它没有把摄像头直接接到大模型上。Looki把这一层自研能力叫作Loom时序感知模型:第一视角图像先由视觉编码器提取特征,再由轻量Transformer聚合连续窗口,输出场景类别、置信度和序列表征。高置信、场景稳定的输入由小模型完成“轻思考”;一旦出现切换、变化信号或不确定情况,系统才把任务路由给视觉语言模型。哪怕只有音频,把全天数据全量丢给通用模型,成本也很难成立。
第一视角画面抖动是时序建模要过的第一关。人低头、转身,画面跟着变,场景本身却没换。Loom对连续预测做Viterbi时序平滑,把各窗口的概率和场景转移约束放在一起,找出一条更合理的标签路径。有一个含91个窗口的用户日样例,标签跳变从33次降到13次,连续场景段由34段收敛到14段,跳变少了约61%。这个数字量的是稳定性,跟准确率提升无关;可场景状态稳不稳,直接关系到后面的事件组织和Agent调度会不会被误触发。
系统把Scene、Activity和Event拆成三层。餐厅属于场景,吃饭属于活动,一次朋友聚会才算有时间边界的事件;同一个场景里,用手机、用餐、社交可以同时进行,一件事也可能横跨多个场景。拆开之后,“标签变了”就不会被直接当成“新事件来了”,不同粒度的信息也能各自进入Memory和下游任务。
稳定不等于一成不变。同一间办公室里,人从独自工作转成一场交流,Scene标签也许一直没动,但新信息已经冒出来了。Loom的做法是比较相邻窗口的特征相似度和场景概率分布,把“标签没变、观测却明显变了”的窗口挑出来留下。视觉变化算不算事件,留给后续模型去判断;时序模型的任务是先别把这个信号丢掉。
再往下一层是Memory。软件Agent打交道的邮件、网页和日历,自带标题、时间和结构;第一视角的视觉和声音却是连续的、混乱的,没有天然边界,属于非结构化数据。现成的RAG或记忆方案没法直接搬过来,Looki得先从日常生活里认出人、关系、生活状态和事件,再判断哪些内容值得写进长期记忆。
存得多并不等于存得好。人眼一直在看,真正进到脑子里的只有一小部分;PA也得有一套遗忘机制。前置模型先把大部分无用信号滤掉,留下Event和Moment,记忆系统再不断更新对用户的理解。用户在产品里能看到、能编辑的,只是其中一部分。
到了洞察和行动阶段,系统要同时读两份信息:一份是刚发生的原始感知,属于“现在时”;另一份是攒下来的整体记忆,属于“过去式”。光看当下,一张图可能只是有人在车里吃汉堡;把声音、人物关系和过往路线放进来,它才可能被读成家庭时光,或者变成一条值得主动推送的信息。
再往下,下游的小模型还得拿主意:这会儿该推一条消息、一张漫画、一段视频,还是什么都不做。主动服务真正难的地方不是生成内容,而是猜准意图。走进餐厅的人是想堂食还是取外卖?猜错了,贴心就成了打扰。
这套系统还连着一条反向链路。一次洞察要是漏了重点,团队得继续往前查:是Memory到洞察这一段的Thinking出了毛病,还是更早的场景识别压根没记住关键数据?缺的是某类记忆,就回头到前置模型补识别能力。模型判断也能反过来调设备的采集配置:硬件拿到观测,Loom给出场景和变化线索,软件组织事件、调度服务,结果再回流到后续采集。软硬件就是这么一条持续优化的回路,不是两条各走各的流水线。
可见Always On不是让摄像头一直亮着这么简单。硬件管连续采集,前置模型管遗忘,Memory把碎片拼成一个人的历史,Agent再决定什么时候出手。Looki过去看着是在做Vlog、漫画和生活回顾,底下真正搭起来的,是这套把原始生活数据变成Context的基础设施。
1
当硬件开始服务不同的Agent
把这条链拆开看,软硬件的分工就清楚了。最底下是可穿戴设备,负责看和听;中间的感知、事件与记忆层把连续信号整理成Context;最上面是通用Agent和各种服务,管研究、办公、消费与执行。
硬件之外,中间还会长出一层边缘计算。孙洋设想的完整架构是“端—边—云”:身上的轻量设备负责持续感知,家里的Always On节点承担高频降噪、隐私脱敏和初步的多模态融合,云端再处理更复杂的推理。原始数据不必直接上云,最频繁的那部分计算也从昂贵的大模型调用里拆了出来。
Looki并非完全不做软件Agent。它有自己的场景模型、Memory和部分下游Agent,也会判断什么时候推漫画、消息或洞察;但它没打算把所有能力都塞进一个无所不能的通用PA。孙洋的看法是,叫车、点外卖、回邮件这些高频任务,大厂已经有App、数据和服务生态,创业公司不必再做一遍。
更合适的位置,是把硬件获得的Event、Memory和实时感知开放出去,让Claude、Codex或其他PA在需要时调用。Looki已经开放Skills、Plugin、API和MCP,也与WorkBuddy打通了Context;Loom在自家软硬件上打磨成熟后,也计划进一步开源。孙洋用一句话概括这种关系:“不存在谁接给谁,未来是agent-to-agent的talk。”用户选择哪个PA,是上层问题;硬件负责不缺席,中间层负责持续认识这个人。
换句话说,PA 将来不一定非得装在一副完整的身板里。戒指管生理信号,胸前设备管第一视角,手机管交互和执行,家里的主机管算力和长期记忆,几件硬件拼起来,就是一具分布式身体。Looki 要卡住的正是离现实世界最近的那一环:把人当下经历的生活,变成任何 Agent 都读得懂的数据。
这个位子能不能守住,不看卖了多少台硬件,看有没有足够真实的第一视角数据去发现问题、搭起评测体系。孙洋在采访中给出的数字是,Looki 已累计约 20 万小时第一视角多模态数据。普通用户未经授权的数据不会拿去训练,真正进入后训练的,是加入“超级伙伴计划”、签了授权协议的那部分数据。硬件带来真实场景,授权数据反过来改善场景、记忆和意图模型,模型再抬高产品价值,这才是它想转起来的那套循环。
下一代产品会把这种分工推得更彻底。据孙洋透露,新硬件将换用功耗更低的平台,目标是声音一直在线、视觉按大约每秒一帧采样,同时体积更小、重量更轻,让“摄像机”的存在感淡下去。它不再冲着拍一段给人看的高规格视频去,而是靠足够稳的信号,让 AI 别漏掉上下文。
这条路当然还没走完。Always On 成不成立,先看续航;用户肯不肯一直戴,要看重量和穿搭;设备能不能进办公室、进家门,卡在隐私;主动服务是贴心还是冒犯,则取决于意图预测准不准。开放给不同 PA 之后,记忆能不能迁移、权限能不能收回,也会成为新的边界。
不过行业的走向已经越来越明朗:模型能力越是拉不开差距,Personal Agent 之间的区别就越不在于它能调用多少工具,而在于它了解的是哪个版本的你。
软件公司在给 Agent 找身体,Looki 反过来,从一具身体起步,把感知、记忆和连接层补齐。两条路看着相反,其实都在往同一个点上靠。软件和硬件,迟早要在某处碰头。