Looki推Loom模型:第一视角感知能否撑起AI长期记忆
Looki推出的Loom模型系列不再只是被动回答问题,而是通过视觉和音频连续感知用户的第一视角生活。它将零散的观测数据组织成带有时间戳和证据的经历片段,并分层存储为可检索的长期记忆。相比传统的大语言模型,Loom更擅长处理“我上周把钥匙放哪了”这类需要回溯具体生活场景的问题,且在推理成本和记忆准确性上展示了新的技术路径
从“问答机器”到“生活伴侣”
这几年,向AI抛个问题、等它从海量训练数据里生成答案,已经成了习惯。可要是问它“我上周三下午把车钥匙放哪了”,或者“上次开会老板对那个方案具体说了什么”,多数通用大模型只能两手一摊——它们只有“知识”,没有“经历”。
Looki新近发布的
Loom模型系列,想补上的正是这块空缺。它并非又一个写代码、生成图片的通用工具,而是一套专门理解第一视角生活的多模态系统。核心逻辑不复杂:像人一样用眼睛(视觉)和耳朵(音频)持续感知世界,把看到听到的内容整理成一段段有始有终的“经历”存进记忆,需要时帮你回想,时机合适还会主动提醒。
听着像科幻片里的植入芯片,其实Loom眼下靠可穿戴设备或手机等终端采集数据来实现。它不求无所不知,只求对你个人生活“知根知底”。
Loom是如何“记住”生活的
Loom的技术架构没堆晦涩术语,而是清楚切成三步:感知当下、组织经历、存储记忆,分别交给Loom Sense、Loom Moment和Loom Memory。
第一步:Loom Sense,判断“此刻正在发生什么”
生活是连续的流,AI却得把它离散成可理解的事件。Loom Sense干的活,就是实时判断用户当下处于什么状态——在开会、做饭,还是通勤路上?
传统视频理解模型往往逐帧看,画面一抖、一遮挡或光线一变,判断结果就忽左忽右。Loom Sense借鉴了类JEV(Joint Event Verification)方案并做了改进:除了当前画面和声音,还会参考“上一窗口”的状态。前一秒判定你在“跑步”,下一秒画面稍模糊,它不会立刻跳到“站立”,而是结合时间信息和上一状态做平滑处理。
技术上它引入“双约束损失”机制。说白了,活动持续期间压住概率的无故抖动、保持状态稳定;活动真正切换的边界时刻则加强监督信号,确保及时响应变化。这套设计让Loom Sense在事件检测上的F1分数达到88.6,既稳又快。更关键的是,它通过共享编码复用计算资源,多事件判断的计算开销线性可控,不像某些闭源方案那样昂贵。
第二步:Loom Moment,把碎片织成“经历”
光知道“此刻在做什么”不够,还得弄清这件事从何时开始、到何时结束、具体发生了什么。这是Loom Moment的工作。
以往流程多是“先分割,再描述”:算法先把视频切成段,再让大模型逐段总结。毛病在于误差会累积——分割点切错了,后面的描述就张冠李戴。
Loom Moment换成“联合生成”策略,把“在哪里分界”和“这段是什么”并成一个生成任务。模型一次性接收多模态观测数据、真实时间戳及相关上下文,同步输出经历的起止时间、内容描述,以及支撑这些描述的“证据”。
有个关键细节:Loom严格区分“看见的”“听见的”和“推断的”。看到你翻冰箱(看见),听到你叹气(听见),进而推断你可能在找吃的却没找到(推断)。这样区分能防住AI无据编造,让每段记忆都可追溯、可核验。训练分两阶段走,先学边界和事件类型,再加入描述与证据归因的监督,确保模型不光会切分,还能把故事讲清楚。
第三步:Loom Memory,像大脑一样分层存储
原始视频和音频全存下来,存储空间和检索效率都会是灾难。Loom Memory因此采用分层存储结构,模仿人类记忆的遗忘和整合机制。
记忆分成四层:
- 经历:原始的、带证据的Moment片段。
- 摘要:对经历的简要概括。
- 待整合记忆:尚未完全固化的短期记忆。
- 快照:经过冲突消解和遗忘机制处理后形成的长期稳定记忆。
原始经历始终保留,以保证可核性,日常检索则主要靠上层的摘要和快照。用户提问时,系统采用“Agentic Memory Navigation”(代理式记忆导航)策略,并非简单关键词匹配,而是围绕问题按“从概况到细节”的树状路径逐级定位;某个分支信息不够,它会动态调整搜索方向,用最少的记录命中回答所需的信息。
官方数据显示,长时序记忆评测中,Loom的信息处理量只有mem0和A-Mem的14.5%和30.5%。这意味着它在保持高精度的同时,把计算和存储成本大幅压了下来。
主动智能:不只会等人提问
多数AI助手都属“召之即来、挥之即去”的被动工具,Loom却提出了“主动智能”这个思路。它会把当前情境(Sense)、过往记忆(Memory)和用户目标放在一起权衡,再决定要不要介入、以什么方式介入。
举个例子:你正准备出门,Loom Memory记得你平时这个点会找雨伞,Sense又检测到外头下雨,它就可能弹窗提醒:“记得带伞,昨天你把它放在玄关柜上了。”
这种端到端联合建模把文字、图像、视频、音频连同召回的历史证据一起送进模型,一次输出情境理解、行动选择、帮助内容和证据引用。Sense、Moment和Memory的结果则当作辅助信号,反过来约束最终决策。分工也说清楚了:模型层管理解与决策,系统层管存储与权限隔离,用户对隐私泄露的担心因此能缓解一些。
为什么Loom比通用大模型更适合“记事儿”
要看懂Loom的定位,不妨拿阿里的Qwen3.8-Omni-Flash等通用音视频模型对照一下。
Qwen3.8-Omni-Flash是能力很强的通用模型,支持1M tokens的超长上下文,开发者可以用它处理大规模音视频文件,比如转录会议记录、分析监控视频。问题是它没有内置长期记忆机制,每次交互彼此独立,或者得靠外部向量数据库方案;输出一般也只是文本结论,不直接锚定原始证据。
Loom则不同,它是冲着“个人生活记录”来的。它不追求处理几小时的长视频,盯的是连续的生活流。核心优势有这么几条:
- 经历切分更精准:边界与内容联合建模,F1@tIoU指标上表现更好,事件从哪儿开始、到哪儿结束,它抓得更准。
- 记忆有证据:每个回答都能回溯到具体时间点和感官证据,看到了什么、听到了什么都有据可查,这对个人备忘很关键。
- 主动服务:什么时候该沉默、什么时候该提醒,它能自己判断,不用永远等用户下指令。
- 成本更低:推理成本较闭源方案降低约94%,个人设备上长期跑也就有了可能。
当然,Qwen3.8-Omni-Flash的强项在通用性和开放性,适合企业级应用和二次开发;Loom眼下主要通过官网提供体验,更偏向C端用户的个人助理场景。
实际应用场景:它到底能帮什么忙?
原理讲得再多,最后还得看用起来顺不顺手。下面几个典型场景,能看出Loom是怎么应付生活里的麻烦事的。
会议与讨论的无缝续接
你有没有碰上过这种情况:上周开会讨论方案,当时说好“等周五数据出来再定”,这周接着聊,大家已经想不起当时的语境了。Loom能自动把上次的未决条件带出来,甚至回放当时的关键对话片段,讨论直接往下接,背景不用重新铺一遍。
物品与决定的“后悔药”
“我钥匙放哪了?”“这个计划为什么搁置了?”这类问题日常里天天冒出来。用Loom,你可以直接拿自然语言问,系统会从你的经历里找到当时的画面和对话证据。比如它可能放出一段视频:你走进书房,顺手把钥匙搁在书架第二层。靠视觉证据找回,比纯文字备注靠谱得多。
生活经历的自动回顾
年底要写年终总结,或者只是想看看过去一年走过哪些地方?Loom能顺着时间脉络,从摘要一路排到具体的Moment,自动组织成有据可查的回顾。不光告诉你去了哪儿,还能调出当时的美食照片、同伴的对话,回忆一下子立体起来。
个人偏好的隐性学习
“我喜欢吃辣”“我偏好安静的酒店”,这些不用你手动填。Loom会从你多次的用餐选择、旅行预订里归纳出偏好,形成记忆快照。下次问餐厅推荐,它照这些隐性偏好给建议,比泛泛甩一家大众点评高分店更贴合。
零负担的临时备忘
通勤路上冒出一个工作灵感,或者聊天时蹦出一件待办,多数人往往嫌麻烦、懒得打开笔记App,就这么放过了。Loom靠连续感知把这些瞬间自动接住,沉淀成记忆。等你坐回电脑前,它可能来一句:“刚才在路上你想到的那个关于营销活动的点子,需要现在记录下来吗?”
隐私与伦理:房间里的大象
技术再亮眼,“第一视角连续感知”也绕不开隐私这道坎:数据谁能看?存在哪儿?一旦被黑客攻破又怎么办?Looki在介绍里提到“系统层负责存储与权限隔离”,算是透出对数据安全的在意。可按常见做法,这类个人化AI更稳妥的路子是端侧处理或本地加密存储——敏感的多模态数据尽量留在用户设备上跑,只把必要的加密摘要传上云端,甚至完全离线运转。问题是,素材里并没细说Loom的数据到底怎么流、加密又怎么做,用户上手之前,这件事得先弄清楚。
“主动智能”的边界同样得小心划。AI该介入生活到什么程度?提醒太频繁,会不会反倒成了打扰?这些体验上的分寸怎么拿捏,直接决定Loom是个贴心的助手,还是个招人烦的监控者。
结语
Loom这一步,把AI从“通用知识引擎”往“个人生命日志”推了一把。它不再想着回答世上所有问题,只专注读懂你一个人的生活。Sense、Moment和Memory三层接力下来,搭出的是一个可追溯、可检索、还能主动服务的个人数字分身。
眼下它还在早期,隐私保护和用户体验都有一堆细节要磨。但这条技术路径——联合生成经历、分层记忆导航、低成本推理——给个人AI助手蹚出了新方向。往后也许不用再刻意“记录”生活,AI已经替你记着。你要做的,不过是偶尔问一句:“嘿,你还记得那天吗?”