Looki 自研模型 Loom Model 发布 :让生活成为 AI 能理解的上下文

资讯 AI 开发者社区 作者:编程导航 全文 11378 字 · 约 29 分钟读完 配图 16 张 分类模型发布多模态

文 / Looki AI Research(Yilin Shoukui Dayu Jianhong) 编辑/ Bocong 引言 当 AI 开始走出屏幕、进入真实生活,如何持续理解一个人的日常经历,并将这些经历转化为未来可以调用的上下文,正在成为个人智能发展的关键课题。 今天,Looki 正式发布自研多模态模型系列Lo

所属频道 模型发布
Looki 自研模型 Loom Model 发布 :让生活成为 AI 能理解的上下文(配图 1)

文 / Looki AI Research(Yilin Shoukui Dayu Jianhong)

编辑/ Bocong

引言

当 AI 开始走出屏幕、进入真实生活,如何持续理解一个人的日常经历,并将这些经历转化为未来可以调用的上下文,正在成为个人智能发展的关键课题。 今天,Looki 正式发布自研多模态模型系列Loom。 真正的个人智能,不仅需要感知眼前正在发生什么,更需要理解一段经历的来龙去脉,并在未来的某个时刻,让过去的信息重新发挥价值。 围绕第一视角感知、生活经历理解与长期记忆,Loom 构建了从连续感知、经历组织到跨时间记忆调用的完整技术链路,将真实世界中碎片化的多模态信息,转化为可理解、可关联、可追溯的个人上下文。 Loom 的发布,标志着 Looki 在个人智能底层模型能力建设上迈出重要一步,也让 AI 从感知和记录生活,进一步走向理解生活,并在恰当的时机主动提供帮助。 欢迎访问 loom.looki.tech,体验 Loom 模型能力。

从"记录下来"到"在需要时想起来"

一个普通的工作日,早上通勤时,你突然想到一个值得记下来的方案;中午和同事讨论项目,临近结束时,有人说:"这个方案先保留,等周五的数据出来再决定。"几天后,大家再次谈起同一个问题。如果 AI 能在这时带出上次讨论中的内容,你就不必重新翻找聊天记录,也不必从头复述背景,讨论可以直接接着上次继续。 从"记录下来"到"在需要时想起来",中间隔着一整条技术链。系统需要先理解正在发生什么,再把连续的观测组织成一段经历,保留其中真正有用、并且能够被证据支持的信息;当新的情境出现时,还要判断过去的哪一部分与当下有关,以及现在是否适合提供帮助。 这和问答式的 AI 交互模式不同。问答式 AI 建立在明确、同步的一问一答之上:用户打开应用,输入需求,提供材料,等待模型回答。但真实生活不会按照固定问题的格式发生。很多真正重要的上下文从未被主动提问,很多未来有用的线索也不会在发生当下显得重要。一次谈话中的决定、一件物品被放在哪里、某个计划为什么暂时搁置,往往要等到几天之后,才会重新显现出价值。 Looki 自研模型 Loom Model 发布 :让生活成为 AI 能理解的上下文(配图 2)
问答式 AI 无法处理真实生活中用户未主动提出的需求
仅仅把原始观测"记录下来",并不等于形成了"可用上下文"。如果不经过结构化的状态提取、归因与跨时空连接,海量的第一视角观测只会沉淀为无法调用的数据噪音,给存储和检索带来沉重负担。 Looki 希望让 AI 更多地承担发现需求、组织上下文和选择帮助时机的工作,让人继续专注于生活本身。这也是我们构建Loom的出发点。Loom 是 Looki 面向第一视角生活理解构建的多模态模型系列:它从设备采集的视觉、声音和时间信息出发,将零散的观测组织成事件与经历,并进一步连接长期记忆和主动服务。Loom 意为织机——我们希望把不同感官、不同时间里的线索织在一起,形成 AI 可以理解、检索和调用的个人上下文。 在 Loom 的设计中,理解生活不是一个单独的任务,而是一个逐层构建上下文的过程:
  • Loom Sense (感知):回答“此刻发生了什么”。例如,用户一边用餐一边与同事讨论项目,“用餐”和“交流”可以同时发生;一次低头或短暂遮挡,也不应让系统立即认为活动已经结束。准确、连续的事件判断,是组织生活时间线、识别活动变化和触发后续服务的基础。Loom Sense 通过自然语言问题定义需要关注的事件,结合连续的视觉、音频观测与上一窗口状态,输出稳定、及时、能够被后续系统直接使用的事件判断;
  • Loom Moment(经历):回答“这一段经历包含什么”。例如,同一次午餐可能从闲聊转入项目讨论,最后形成“方案先保留,等周五的数据出来再决定”的意见。仅标记“用餐”或“交流”,无法保留讨论内容和决定成立的条件;按固定时长切片,又可能把结论与条件分开。Loom Moment 将视觉、音频、时间和相关上下文放在同一条时间线上,联合组织片段边界与内容描述,形成有起止时间、有关键内容、也有可追溯证据的经历,为后续回顾和检索提供依据。
  • Loom Memory(记忆):回答“过去的经历何时仍然有用”。例如,几天后用户再次讨论同一方案,真正有用的历史信息是“上次为什么没有决定、还在等待什么”,而不只是一条“曾经讨论过该方案”的摘要。Loom Memory 将经历、时间、相关对象、未决状态和原始证据联系起来,通过检索与工具调用找到与当前问题相关的过去,让用户能够接着已有背景继续思考,减少反复翻找记录和复述上下文的负担。
  • 从感知理解到主动智能:回答“如何决定何时介入并提供帮助”。例如,当同一方案再次被讨论时,AI 可以考虑带回此前的等待条件;而在用户处理无关事情时,这条信息就应留在后台。帮助的价值不仅取决于内容是否正确,也取决于出现的时机。我们希望让最终任务反向约束感知、经历组织与记忆调用,通过联合建模逐步学习何时提醒、何时询问、何时继续观察,让帮助自然地融入正在进行的生活。
Looki 自研模型 Loom Model 发布 :让生活成为 AI 能理解的上下文(配图 3)
从“感知、经历、记忆”走向“主动智能”
这三层能力对应着从事件、经历到记忆的递进关系:Sense 让系统知道生活正在发生什么,Moment 让系统理解一段经历如何展开,Memory 则让过去的经历在新的情境中继续发挥作用。它们共同构成 Loom 面向个人上下文的基础,也为更主动的 AI 服务提供输入。 但第一视角生活理解有一个容易被忽略的困难:真实生活数据往往包含大量噪声和冗余,并不是完整、干净、均匀采样的视频。走动、转身和遮挡会造成画面抖动、视角突变和关键信息缺失,长时间记录中也充斥着重复画面与无关背景声。视觉与音频的采样节奏、片段长度和覆盖时段并不一致,系统需要在时间上对齐两种模态,才能将零散线索还原为连贯的经历。同时,一顿饭可能交织着闲聊、工作讨论和临时决定,一段完整的经历也可能跨越多个文件和时间窗口。 因此,模型需要处理不同问题:
  • 它要理解近期观测中的动作和场景变化,又要保持同一用户在连续时间里的判断稳定;
  • 它要能够处理不同模态各自提供的线索,又要区分哪些内容是看见的、听见的,哪些只是基于上下文做出的推断;
  • 它还要在有限的计算、存储和传输预算下,决定什么应该被持续观察,什么可以等待下一次确认。
这也是 Loom 试图解决的核心问题:如何把稀疏、异步、存在噪声的第一视角观测,转化为可信、连续、可调用的个人上下文? 接下来,我们将从 Loom Sense 开始,说明模型如何在连续观测中判断事件;再进一步介绍 Loom Moment 如何把事件组织成可回顾的经历,以及 Loom Memory 如何让这些经历在新的情境中继续参与理解和帮助。

Loom Sense:让连续观测成为事件判断

如果说 Loom 的最终目标是理解一段生活,那么第一步就是判断:此刻正在发生什么。 这个任务可以是一种场景或者事件分类,但真实场景比"一张图片对应一个标签"复杂得多。画面中的“坐在桌边”,可能是工作、用餐,也可能只是短暂休息。声音可以提供另一组线索:持续的讨论、餐具碰撞或周围环境的变化,有助于判断用户正在经历什么。但听见他人说话,也不意味着用户一定在参与交流,模型仍需结合画面、声音来源和前后状态进行判断。 Loom Sense 因此将近期的视觉与音频观测、真实时间信息和上一窗口状态共同作为判断依据。用户可以同时处于“用餐”和“交流”状态;短暂转身造成的视觉证据减少,也不应立刻结束一段仍在继续的活动。Loom Sense 要输出的是能够被后续系统直接使用、又能随新证据及时更新的事件状态。

从固定类别走向问题条件化判断

连续事件判断需要在表达能力、响应速度和计算成本之间取得平衡。我们比较了三种路线: Looki 自研模型 Loom Model 发布 :让生活成为 AI 能理解的上下文(配图 4) Loom Sense 使用了类 Jev 的问题条件化判别方案:采用自然语言问题定义事件,模型同时接收视觉、音频观测、时间信息、事件问题与候选答案,直接读出候选答案的分数,而不是先自回归生成文本再提取标签。 这种设计让 Loom Sense 具备了更灵活的泛化与扩展能力。模型判断的依据不仅是预先定义的类别,还包括问题所描述的条件。例如,围绕同一段观测,系统既可以判断“是否正在用餐”,也可以进一步关注“是否正在与他人一起用餐”,并允许“用餐”与“交流”等事件同时成立。自然语言成为统一的任务接口,使已有的视觉理解能力能够服务于不同的事件定义。


对于第  个事件问题  及其候选集合 ,这一判断可以写成:

其中, 是近期观测, 是时间信息, 是上一窗口状态, 是调节分数分布的温度; 是一个候选答案,例如“是”或“否”; 是模型为该答案给出的原始分数, 是在当前候选集合内归一化后的概率; 表示模型参数, 表示当前时间窗口。


这一机制的核心优势在于候选答案集合的非排他性:候选答案仅在当前问题的候选集合内进行 Softmax 归一化比较。因此,针对不同问题的判断是完全独立的——系统可以同时判定“正在用餐”与“正在交流”均为 True。


在同一个时间窗口内,系统可能需要同时判断“是否正在用餐”“是否正在交流”等多个事件。这些判断使用同一组观测,因此可以复用观测的编码结果,再针对不同问题计算候选答案的分数。若需要判断  个事件问题,其计算开销可近似表示为:

其中, 表示当前窗口的输入观测, 表示需要判断的事件问题集合, 是问题数量。 表示对这组观测进行共享编码的计算开销; 表示在已有编码结果上,针对第  个问题完成条件化判断、计算候选答案分数所需的增量开销。这种设计使得系统在动态增加关注的事件数量时,仅按  线性增加极小的读出开销,而无需为每个事件重复运行昂贵的视觉编码器,显著降低了连续观测下的整体计算复杂度,使连续感知能够在关注更多事件时复用已有计算。


让状态连续,也让真实变化及时发生

单次识别只需要回答一个窗口,连续感知还需要解释窗口之间的关系。

例如,用餐过程中短暂看不到餐具,可能只是用户转身;当用户起身离开,又应及时结束用餐状态。独立窗口容易反复跳变,一味延续旧状态则会错过真实边界。


因此,Loom Sense 将上一窗口的预测特征与结果保留下来,参与当前窗口的判断:

其中, 表示事件判断模型; 是当前窗口的事件预测结果, 是更新后传递给下一窗口的状态。

这里的历史状态为当前判断提供上下文,新的观测决定这一状态是否仍然成立。真实时间间隔也参与其中:短暂遮挡和长时间没有新证据,需要区别处理,避免旧状态在证据不足时被无限延续。

与这一结构相对应,训练目标需要同时约束活动内部的稳定性和活动边界的响应:

其中, 监督当前事件判断; 衡量相邻预测分布的差异,可采用 KL 散度; 表示当前窗口接近真实活动边界的程度,其范围为 ,越接近 1,表示越接近活动切换边界; 是相邻窗口对同一事件问题的预测分布; 是两项辅助约束的权重。

在活动持续时, 对应的约束抑制无依据的概率抖动;接近真实边界时,延续约束减弱, 则加强对状态切换的监督。稳定和及时更新由此成为同一个训练目标中的两项要求,而不是只在输出之后统一做平滑。


Looki 自研模型 Loom Model 发布 :让生活成为 AI 能理解的上下文(配图 5)
引入时序状态传递和 Loss 约束提升状态判定的时序稳定性

通过该损失约束,Loom Sense 能够有效抑制单帧扰动引起的假切换,保证状态判定的平滑连续。

用数据覆盖“像什么”与“发生了什么”的差异

架构提供了问题与状态的入口,领域数据决定模型能否正确使用它们。Loom Sense 将训练样本组织为“观测窗口—事件问题—候选答案—监督标签”,并围绕实际错误补充不同类型的数据:

Looki 自研模型 Loom Model 发布 :让生活成为 AI 能理解的上下文(配图 6)

这些设计共同服务于泛化:相同事件换一种说法、换一个人或换一个环境,模型仍应关注事件成立的证据。对训练中未覆盖的新事件,则需要单独验证,不能仅凭自然语言接口推断其识别质量。

围绕这些任务,Looki 持续建设贯通数据积累、样本筛选与标注、模型训练和回归评测的研发基础设施。评测中暴露的误判、漏判与状态跳变,帮助我们定位薄弱场景,并补充不同用户、环境和活动阶段下的训练样本;新的训练结果再经过评测验证,推动下一轮数据与模型迭代。这一持续改进的过程,让 Loom Sense 逐步减少对特定场景背景和固定问法的依赖,提升在不同人物、视角与环境中的事件理解能力。

在精度、速度与成本上验证整条链路

在覆盖近 20 个事件类别的内部业务数据集评测中,Loom Sense 整体 F1 达到88.6(百分制),优于本轮测试中的开源与闭源参照模型;单次检测平均耗时为0.51 秒。在图示成本测算条件下,相对其中的闭源参照方案,推理成本降低约94%。

Looki 自研模型 Loom Model 发布 :让生活成为 AI 能理解的上下文(配图 7)

这组结果说明了完整方案在当前任务中的精度与运行效率。

Looki 自研模型 Loom Model 发布 :让生活成为 AI 能理解的上下文(配图 8) Looki 自研模型 Loom Model 发布 :让生活成为 AI 能理解的上下文(配图 9)

Loom Sense 示例,非用户数据



Loom Moment:把生活组织成可回顾的经历

Loom Sense 可以判断“正在用餐”“正在交流”,但几天后用户想知道“上次为什么没有确定方案”,这些事件标签还不够。系统需要保留讨论的内容、结论和条件,也需要知道它们发生在什么时间、由哪些观测支持。

Loom Moment 的任务是:将连续的多模态观测组织成具有时间边界、内容描述和证据关联的经历片段。 这一步决定了生活记录能否被准确回顾,也决定了 Loom Memory 未来能够找回什么。

例如,同一顿午餐可能先是闲聊,随后转入项目讨论,最后形成“方案先保留,等周五的数据出来再决定”的意见。画面可能始终相似,但经历的内容已经改变;如果只留下“几个人吃饭”的摘要,真正有价值的条件就会消失。

Looki 自研模型 Loom Model 发布 :让生活成为 AI 能理解的上下文(配图 10)

仅有事件标签无法形成有效记忆,Loom Moment 提供经历的起始时间、详细描述等内容



联合生成建模,而非"先分割再描述"

固定时长切片可能把一句决定与它的条件分开;仅根据画面变化切分,可能错过同一场景中的话题和活动变化。一旦上游过早确定边界,下游描述就只能在既定片段中寻找信息,难以修复被截断的语境。

Loom Moment 将“在哪里分开”和“每段包含什么”联合建模:

其中, 是视觉观测, 是音频片段, 是真实时间信息, 是前续上下文,以及与当前经历相关的用户记忆,如已知人物与实体、用户资料、近期活动和未决事项等; 是输出的经历片段集合; 表示参数为  的经历理解模型, 是输出片段数, 是片段编号;每个输出片段包含起止时间 、内容描述  与支撑证据 。

这一建模把"经历在哪里分开"和"每段经历包含什么"统一到同一个多模态生成任务中:模型一次接收视频、图像、音频、真实时间信息以及与当前片段相关的上下文,在一份结构化结果中输出多段经历的起止时间、内容描述和关键证据。联合生成的优势在于,片段边界与内容描述能够相互约束和增强,避免先分割再描述导致的误差累积。


时间是输入结构,证据是输出约束

需要注意,时间信息在这里不是一个附加字段,而是理解的一部分。设备采集到的图片可能并不连续,音频片段也可能以不同的时间范围到达;如果模型只看到素材本身,而没有看到它们在时间线上的位置,就很难区分“先拿起物品、再放到桌上”和“只在桌上看到了物品”这两种经历。Moment 需要把视觉和音频放回同一时间坐标,判断哪些观测属于同一个片段,哪些变化已经足以形成新的片段。

这也意味着,模型必须清楚区分不同证据来源:需要区分“看见”“听见”和“根据上下文推断”等。画面可以支持“几个人围坐在桌边”,声音可能进一步支持“有人讨论一个延期的方案”;但仅凭场景看起来像会议,并不能证明某句话确实被说过。日历、地点或用户过去的记录可以帮助模型理解语境,却不能替代当前观测成为事实依据。

Looki 自研模型 Loom Model 发布 :让生活成为 AI 能理解的上下文(配图 11)

Loom Moment 将多模态数据流“压缩”成带有时间边界、详细描述与证据锚点的结构化数据



从边界学习到证据约束的内容生成

为兼顾时间结构和描述质量,我们采取两阶段训练任务:
· 第一阶段聚焦片段起止时间与事件类型,建立基本的经历边界;
· 第二阶段加入密集描述和证据归因,在保留时间结构的同时学习更完整的事实表达。

对应的多任务训练目标为:

其中, 监督片段起止, 监督结构化字段组织, 监督内容描述, 对事实的来源位置与模态归属进行约束; 用于调节结构化输出、内容描述和证据约束在训练中的相对权重。

这四项对应着不同错误:边界偏移会切断语境,字段缺失会妨碍后续使用,描述遗漏会损失重要事实,证据错配则会让看似合理的记录无法核验。将它们拆开监督,也便于在评测中定位问题来自哪里。

在此基础上,我们进一步探索三类面向真实设备输入的数据设计,让模型不仅能描述完整素材,也能识别信息不足和来源冲突:

Looki 自研模型 Loom Model 发布 :让生活成为 AI 能理解的上下文(配图 12)


例如,如果“等待周五数据”只出现在音频中,移除该音频后的目标描述就不应继续包含这项条件。这样的对照将“证据是否充分”变成训练问题,而不是只在提示词里要求模型不要编造。

这些方案也为自适应关键帧选择提供了监督方向:选帧应当保留活动边界、关键动作和支撑重要事实的画面。在相同计算预算下,优先保留有用证据,才能让更少的帧支撑更丰富、也更可靠的 Moment。

Looki 自研模型 Loom Model 发布 :让生活成为 AI 能理解的上下文(配图 13)


Loom Moment 示例,非用户数据


用边界、事实与证据共同衡量效果

一段流畅的描述,不一定对应一段准确的经历。它可能漏掉中间发生的活动,也可能把另一个时间段的内容写进当前片段。因此,Loom Moment 的评测需要同时回答三个问题:经历有没有分对,重要事实有没有留下,描述能不能回到支持它的证据。

分割能力评测关注的是整段经历,而不只是相邻画面的变化。我们以 Segment F1@tIoU 衡量模型分割出的区间质量。tIoU 是预测片段与参考片段在时间上的交并比:

其中, 是预测时间区间, 是参考时间区间; 表示区间时长。因此,分子是重叠时长,分母是两者覆盖的总时长。

在给定阈值下,每个预测片段与参考片段最多匹配一次,再根据命中、误报和遗漏计算 F1。我们报告 0.5、0.7、0.9 三档阈值:阈值越高,对经历起止与完整性的要求越严格。将一段经历切成许多碎片,或把多个活动合成一段,都不能仅靠“内容大致相关”获得高分。

Looki 自研模型 Loom Model 发布 :让生活成为 AI 能理解的上下文(配图 14)


上表展示了在 “分割+描述”任务评测中,Loom Moment 在三档 tIoU 阈值下的 Segment F1 均高于所比较的开源 Qwen Omni 模型和闭源 Gemini Flash 模型。

内容描述评测进一步检查“留下了什么”和“依据在哪里”。 先对齐预测与参考片段,再比较描述是否保留主要活动、主体和重要阶段,使用 LLM-as-a-Judge 得到描述文本一致性、证据归因正确性等不同维度进行综合打分,并额外统计证据归因准确率,分别评估“与参考描述是否一致”和“原始材料能否支持”,避免把文字相似当作事实已经核实。

Looki 自研模型 Loom Model 发布 :让生活成为 AI 能理解的上下文(配图 15)


上表展示了在文本描述和证据归因上,Loom Moment 在文本一致性上优于所比较的开源 Qwen Omni 模型,距离闭源 Gemini Flash 模型仍有一定差距,但在证据归因上会更加准确。

我们希望衡量的,是模型能否将一段生活组织成时间上完整、内容上准确、依据上可追溯的经历,使后续 Memory 找回的不只是摘要,还有能够重新核验的上下文。



Loom Memory:让过去在正确的时刻回来

“过去一年,我都去过哪些地方?看过什么风景,吃过哪些美食?” 要回答这个问题,需要从一年的音视频记录中找回分散在不同旅程里的片段:一处风景留在画面里,一道菜的名字出现在谈话中。系统需要将这些线索与各自的时间、地点对应起来,组织成有据可查的旅行回顾。

时间跨度越长,找到相关片段、分清它们之间的关系就越困难。 相似的场景会反复出现,关键线索却可能只停留几秒;画面和声音还需要结合前后语境才能理解。检索既要覆盖不同月份的经历,也要避免把相似的地点、活动和谈话混在一起。

Loom Moment 将音视频记录组织为有时间、有内容、有依据的经历。Loom Memory 在此基础上,连接不同时间尺度的记忆,按问题查找并回溯相关片段,让长期积累的生活记录能够在需要时被调用。

分层存储,让记忆持续积累与更新

长期记录需要同时保留具体细节与整体脉络:一次旅行中的所见所闻,以及几个月里不同旅程的概况。Loom Memory 用四个层次组织记忆:

  • 经历(Moment):保留具体发生的事情、时间与相关证据,是查找细节的基础。

  • 摘要(Summary):将经历整理为日、周、月的回顾,呈现一段时间内的活动脉络与变化。

  • 待整合记忆(Pending Memory):承接从经历中提炼的新信息,以及对话、反馈带来的补充与纠正,保留来源和时间,等待与已有记忆一起整理。

  • 记忆快照(Snapshot):结合已有记忆、新信息与近期摘要,形成对用户的最新理解,包括个人情况、对助手的偏好和近期生活重心。



其中,经历与摘要按时间组织生活记录,保留从整体回顾到具体细节的查找路径;待整合记忆与快照负责吸收新信息,更新对用户的理解。随着用户持续使用,系统会主动更新快照,并通过冲突消解与遗忘机制,结合信息来源、时间和用户纠正处理不一致的内容,逐步清理重复、过时或已不再适用的信息。快照的更新与遗忘作用于对用户的当前理解,原有经历仍然保留,供后续查找和核对。

另外,用户在 App 中的每一次操作与反馈,也都会成为个人记忆的一部分。 这些互动中与用户相关的新信息,会进入待整合记忆,参与后续快照更新。例如,用户补充“这次出行是探亲”,就为理解这段经历提供了背景;提出“以后回顾旅行时多展示照片”,则为后续回答提供了明确偏好。用户可以在日常使用中,持续补充和修正 AI 对自己的理解。

沿着时间脉络,按问题选择查找路径

回顾一年的旅行,Loom Memory 可以先从月度摘要中定位出行时段,再沿各次旅程深入到周、日摘要,最后找到记录风景、美食的具体经历与画面。这种树状检索从概况逐步缩小到相关片段,减少对无关记录的翻阅。

Loom Memory 通过自主记忆导航(Agentic Memory Navigation),让 AI 围绕当前问题规划路径,在不同时间尺度的记忆之间选择、深入与关联:

  • • 问具体事件,例如“上次到京都的第一晚吃了什么”,时间和地点已经提供了线索,可以直接缩小范围,找到记录那次用餐的 Moment。
  • • 问画面细节,例如“那份菜单上有哪些菜”,则从用餐经历继续定位到具体画面,查看文字描述中可能没有保留的细节。
  • • 问个人偏好,例如“旅行时我更喜欢哪类餐厅”,优先使用记忆快照中已经形成的偏好;如果快照缺少相关信息,再横向查找多次旅行中的用餐经历,结合反复出现的选择、谈话与反馈,寻找支持偏好判断的规律。

  • 搜索策略也会随结果调整。如果摘要只记录了一次出行,却不足以回答沿途看过什么,模型就继续查找对应经历;如果已有记录足以回答,就不必展开更多分支。最终,找到的片段按主题汇集,保留相关细节、时间与来源,作为上下文交给 Looki Agent,由它结合用户的问题进一步分析、组织回答,再向用户呈现。

    用真实经历检验记忆的效果

    为了检验 AI 能否从长期记录中找回有用的信息,我们在用户知情、同意的情况下,通过问卷围绕用户的真实经历提问,并结合经过严格脱敏处理的音视频记录,构建了长时序音视频记忆评测基准。

    评测既考察个人偏好理解、往事回忆和音视频细节查找,也考察这些记忆能否支持“此刻是否适合提醒用户”等帮助时机的判断。问题既涉及单次经历中的具体事实,也涉及多次经历之间的联系,用来检验系统能否找到所需证据,并据此作答。

    我们将这套记忆方案(looki memory)与 mem0、A-Mem 两种 AI 记忆方案进行比较,关注回答质量与信息处理量。后者以 Token 为计量单位,统计每题平均输入与输出的信息量。



  • looki memory 的综合得分达到 79.0,比 mem0 和 A-Mem 分别高出 18 分和 15 分,平均每题的信息处理量仅为两者的 14.5% 和 30.5%。更好的回答质量与更低的信息处理开销,为线上服务提供了兼顾效果与成本的基础,让长期记忆检索能够成为日常可用的能力。



从感知理解到主动智能

Sense、Moment 和 Memory 分别处理事件、经历与跨时间上下文。把它们拆开,有利于定义任务、组织数据和快速迭代;但用户真正需要的帮助,通常不会以"先完成事件分类,再完成片段描述,最后执行检索"的顺序出现。一个正在发生的情境,可能同时包含画面、声音、文字、时间关系、用户目标和过去的相关经历。

当这些信息经过多个中间模块时,系统需要在模块之间传递状态和结果。中间表示可能丢失动作细节、决定成立的条件或证据之间的关系。

多模态联合建模消除多个中间模块的信息损耗


因此,我们希望进一步构建一个更加端到端的多模态模型:文字、图片、视频、音频和按需召回的历史证据共同进入模型,模型同时理解当前情境、判断是否需要介入,并生成有依据的帮助内容。以时刻  为截点,可以将这一目标抽象为:

其中, 表示视觉观测, 表示音频, 表示时间信息, 是当前检索到的上下文, 是用户目标;输出  是对当前情境的理解, 是行动选择, 是帮助内容, 是支撑判断的证据引用;下标  表示截至当前时刻的观测。

行动选择可以包含继续观察、保持安静、提醒用户、提出澄清问题,或者调用工具完成下一步操作。模型需要学习的,不只是"发生了什么",还包括"现在是否值得介入,以及应该以什么方式介入"。

在训练任务目标上,Sense 的事件判断、Moment 的片段理解、证据定位和 Memory 的检索结果,都可以成为最终帮助任务的辅助信号。一个可行的多任务目标可以写成:

其中, 约束输出与证据之间的对应关系, 则学习是否介入以及介入方式; 是各辅助训练任务的权重。


需要说明的是:上述的多模态端到端架构,不等于把所有工程基础设施塞入神经网络,模型与系统层应有明确的共生边界:

  • • 模型层职责:理解多模态复杂情境、跨模态关联证据、概率化决策介入时机、生成精准帮助内容。
  • • 系统层职责:承载海量数据的长期存储、安全与隐私权限隔离、高效向量与图谱检索索引,以及底层工具与 API 的可靠执行。
  • 模型层与系统层的分工配合


    在隐私与数据安全方面,这一边界尤为关键。第一视角设备采集的是用户最私密的生活数据,因此 系统层在物理存储和权限隔离上实施严格管控,Looki 绝不会使用用户的个人隐私数据来训练我们的基础模型。端到端架构下的模型推理,仅在用户授权的本地或安全可信环境中处理当前任务所需的最小上下文;用户的长期生活记录、身份关联和敏感信息由系统层进行加密隔离,模型无法越权访问。安全与隐私不是附加功能,而是系统层与模型层协同工作的前提。



  • 总结与展望:让 AI 在需要时出现,让人专注于生活

    从连续观测中的事件判断(Loom Sense),到将事件打包为带证据的生活经历(Loom Moment),再到跨越时间尺度的记忆召回与主动决策(Loom Memory),最后走向全模态端到端的联合建模——Looki Loom 正在构筑一条面向个人上下文的技术路径。


  • 这一架构演进的核心思路,是将 AI 从"被动等待提问的工具"转变为"理解生活背景的情境助手"。它改变了人与 AI 的交互范式:用户不再需要牺牲专注力去手动记录、标记或翻找历史,AI 已经在底层将碎片化的感官线索织成连贯的个人上下文。


  • Looki Loom 尊重事实与可核验的证据,希望在恰当的时机提供无感或极具价值的帮助。我们将继续在真实设备、真实数据与真实场景中打磨这一系列——将碎片线索织成上下文,让 AI 在需要时出现,让人继续专注于生活本身。


  • 最后,欢迎在 loom.looki.tech 体验我们的模型。网站仍在持续迭代和完善中,更多功能也将陆续上线。































本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 谷歌发布Gemini 4 Hydrogen:跑分超Argon,搜索免费用

    一觉醒来,谷歌又发 Gemini 4 模型了。11 月 12 日,谷歌正式发布 Gemini 4 Hydrogen,并同步推出了多模型智能调度系统 Orchestrator。这是一个 Flash 级别的大模型(也是 Gemini 3.8 Flash 的继任者),原生多模态,输入、思考和输出共享 100 万 token

    来源 腾讯网
  2. Datadog Scout 模型:AI SRE 如何定位生产故障根因?

    作者 | Renato Losio译者 | 平川Datadog 发布 Scout,一个用于排查生产问题的模型。它在 Bits Investigation(该公司的 AI SRE 产品)中运行,能够接收告警、查看遥测数据并给出问题根因推测。Datadog 工程师和少量客户正在使用其封闭预览版。公告中描述的大部分工作都与成

    来源 腾讯网
  3. 六款国产AI模型现Blackwell硬件痕迹:约12000块受管制GPU

    2026年11月12日发布的法证报告显示,DeepSeek-V4、Kimi K3等六款中国模型权重初始化痕迹指向NVIDIA Blackwell GPU,涉及约12000块算力资源。此前同实验室旧版模型均匹配Hopper特征。报道从权重可验证硬件痕迹出发,拆解取证机制,分析对评测透明度与管控交叉领域的影响,并给出战略层

    来源 AI 行业观察
  4. 李彦宏提智能组织:AI进公司后,组织怎么才能不变老

    智能体的普及带来一个副作用:个体的力量被放大,公司“变老”显性化文|吴俊宇编辑|谢丽容过去五年的百度世界大会,主题几乎都落在技术和产品上:模型、芯片、云、自动驾驶、智能体。这是一种很典型的百度叙事。一家技术公司,用一年一度的发布会展示自己的技术进展。其中一些技术条线,比如模型、芯片、云、自动驾驶,百...

    来源 腾讯网
  5. Humanlaya投1亿元招专家:不懂AI也能拿翻倍薪酬

    不会写代码、没用过AI工具,也有机会拿到AI公司的高薪邀约。 前沿AI数据实验室Humanlaya发布「攀登者计划」,宣布投入一亿元,拟招募金融、医疗、工业、法律等领域的实战专家。全职加入者,有机会获得较过往收入翻倍的薪酬。 不少公司相继推出领域专家招募计划,邀请科学家与行业人才参与模型研发。这些招募背后,是模型走向真

    来源 AI 行业观察
  6. 亚马逊云科技中国团队:AI落地为何个人提效企业不增效

    【TechWeb】11月13日消息,2026年AI正从“回答问题”走向“完成工作”。但对企业而言,把AI创新转化为业务价值,难点已不只是模型和工具,而是如何让AI真正进入核心业务流程、数据体系和组织的日常运行。 近日,亚马逊云科技中国团队分享了助力企业把AI创新转化为实际业务价值的实践和经验总结:AI规模化落地需要业务

    来源 AI 行业观察
  7. Matrix-Game4.0上线Reactor:单张RTX5090跑480p、60FPS实时游戏

    昆仑万维宣布其10月发布并开源的Matrix-Game4.0正式上线实时世界模型平台Reactor,为开源后首次平台化开放,可在浏览器进入城堡、古埃及与城市赛车三个世界「边玩边生成」。Reactor总部位于旧金山,以统一SDK与API、全球分布式GPU网络支持几行代码接入,11月7日官宣上线。 Matrix-Game4

    来源 AI 开发者社区
  8. 谷歌发布Gemini 4 Hydrogen:幻觉降5倍、速度翻倍,不叫Flash了

    谷歌发布Gemini 4 Hydrogen,定位高效执行引擎,主打速度与准确性。相较上代Flash,任务速度提升2.5倍,幻觉率降低逾5倍。该模型已全球上线,覆盖搜索、Gemini应用及API等多平台。谷歌同步推出Orchestrator功能,动态调度Carbon与Hydrogen协作,降低24%配额消耗。

    来源 华尔街见闻
  9. 亚马逊云科技Continuum跑通漏洞修复流程,AI攻防失衡怎么破

    【TechWeb】11月13日消息,人工智能正在改变网络安全行业。随着新一代AI模型具备自主挖掘漏洞的能力,漏洞发现正从“几年一遇”变为“一年几遇”,甚至走向工业化批量发现。 研究机构Epoch AI的数据显示,仅2026年6月,全球高危及关键漏洞数量约为1500个,是此前月度历史纪录的3.5倍。10月刚刚爆出的PHP

    来源 AI 行业观察
  10. 亚马逊云科技Continuum:AI攻防提速下漏洞修复如何跑通

    Amazon Continuum:把“发现—排序—验证—修复”跑通今年10月,亚马逊云科技宣布针对代码漏洞的Amazon Continuum正式可用,该服务能够以机器速度发现、优先级排序、验证并修复安全风险。在发现阶段,Continuum分析代码库并形成候选漏洞发现,记录支持每个候选的源代码证据。江学森介绍,Conti

    来源 TechWeb
  11. 亚马逊云科技:AI落地为何个人提效企业不增效,黄金三角怎么补

    亚马逊云科技中国团队的经验是,以业务战略为中心,围绕场景、数据和人才构建“黄金三角”。亚马逊云科技产品专家团队总经理崔玮表示,智能体输出是否可信、执行是否有边界,除了安全思路,更重要的准确性来自企业内部数据。安全能力方面,亚马逊云科技持续深化“安全赋能AI”和“AI赋能安全”。

    来源 TechWeb
  12. 亚马逊云科技:AI落地为何个人提效易企业增效难?

    【TechWeb】11月13日消息,2026年AI正从“回答问题”走向“完成工作”。但对企业而言,把AI创新转化为业务价值,难点已不只是模型和工具,而是如何让AI真正进入核心业务流程、数据体系和组织的日常运行。近日,亚马逊云科技中国团队分享了助力企业把AI创新转化为实际业务价值的实践和经验总结:AI规模化落地需要业务战

    来源 腾讯网
  13. 亚马逊云科技中国团队谈AI落地:黄金三角闭环怎么走

    亚马逊云科技中国团队的经验是,以业务战略为中心,围绕场景、数据和人才构建“黄金三角”。亚马逊云科技产品专家团队总经理崔玮表示,智能体输出是否可信、执行是否有边界,除了安全思路,更重要的准确性来自企业内部数据。安全能力方面,亚马逊云科技持续深化“安全赋能AI”和“AI赋能安全”。

    来源 TechWeb
  14. 黄仁勋卸任英伟达总裁与CEO:33年掌舵告终,涉情报风波与私德指控

    人工智能行业的权力格局在近日迎来了一场堪称“地震”的剧烈震荡。英伟达官方发布正式公告宣布,创立公司长达33年、几乎将个人影响力与品牌深度绑定的灵魂人物黄仁勋,正式卸任公司总裁、首席执行官和董事职务,消息一出立即引发全球科技界的高度关注与股价波动。 从地缘博弈到巨额暗流:算力危机下的“Megaspeed”谜局 要理清这场

    来源 AI 开发者社区
  15. 三星联合Google推AI眼镜:12月10日开售,30款设计售395美元起

    Samsung Electronics宣布推出与Google合作开发的智能眼镜系列,产品将于2026年12月10日正式开售,并于11月12日启动预订。该系列搭载Google Gemini,联合Gentle Monster和Warby Parker推出共30款设计,支持免提AI交互,可回答有关周围环境的问题、翻译文字,并

    来源 AI 开发者社区
  16. 阿里发布Qwen4:核心能力升级,千问App接入预览版

    人工智能赛道迎来核心架构的全新迭代。阿里近日正式宣布,全新一代千问大模型 Qwen4即将迎来全面发布。作为技术架构上的重大升级,新一代模型在多个关键维度实现了显著的性能飞跃。 多维能力全线进化,多项实际任务表现亮眼 从官方披露的核心亮点来看,Qwen4在多项底层能力上迎来了深度进阶: 知识理解: 拓宽了底层数据库与语义

    来源 AI 开发者社区
  17. 亚马逊云科技江学森:AI漏洞年产千级,Continuum如何闭环修复?

    【TechWeb】11月13日消息,人工智能正在改变网络安全行业。随着新一代AI模型具备自主挖掘漏洞的能力,漏洞发现正从“几年一遇”变为“一年几遇”,甚至走向工业化批量发现。研究机构Epoch AI的数据显示,仅2026年6月,全球高危及关键漏洞数量约为1500个,是此前月度历史纪录的3.5倍。10月刚刚爆出的PHP2

    来源 腾讯网
  18. 谷歌Gemini 4 Hydrogen上线:速度翻倍,幻觉降5倍

    谷歌以一款面向普通用户和开发者的高效能模型,全面扩大Gemini 4系列的覆盖半径。继本周推出旗舰模型Carbon之后,谷歌周四发布Gemini 4 Hydrogen,以"为所有人带来前沿智能"为核心定位。该模型主打速度与执行效率,放弃沿用的"Flash"品牌命名,以Hydrogen取而代之。谷歌表示,Hydrogen

    来源 腾讯网
  19. Ring Drone Cam取消手动操控,AI Pilot全权接管飞行

    科技媒体 Android Headline 昨日(11 月 12 日)发布博文,报道称由于在演示过程中连续出现 2 次坠机故障,亚马逊旗下智能家居品牌 Ring 确认其首款安防无人机摄像头 Drone Cam 不再开放手动操控功能。

    来源 IT之家
  20. 文心5.5 Flash Preview实测:编程提速,网页游戏双场景交付

    在11月12日开幕的百度世界大会2026上,这家曾开国内AI先河又略显波折的巨头发布了一系列前沿新品。其中尤为引人注目的,就是最新基础模型文心5.5 Flash Preview(ERNIE 5.5 Flash Preview)。百度基础模型研发部负责人孙天祥也首次公开亮相,介绍了这款新模型的参数规模和核心优化方向。按照

    来源 腾讯网
  21. 谷歌Gemini眼镜395美元起:隐私优先能否避开Glass老路?

    谷歌正式发布首款搭载Gemini AI的智能眼镜,起售价395美元。产品由谷歌联合三星、Gentle Monster和Warby Parker共同打造,主打隐私保护,试图避免Google Glass当年的覆辙。在Meta Ray-Ban智能眼镜打开市场后,谷歌携大模型能力重返可穿戴赛道,智能眼镜的AI助手之战正式打响。

    来源 AI 科技快讯
  22. Meta开放Muse电话代办:付费用户可让AI代打美国企业电话

    Meta宣布,旗下消费级AI助手Muse的电话代办功能现已向所有付费订阅用户开放。该功能允许Muse代表用户拨打美国企业电话,此前于今年9月启动小范围测试,仅向部分申请获得权限的早期用户开放。 Meta希望通过电话代办能力,将AI助手进一步融入消费者日常生活。Meta首席AI官、Superintelligence La

    来源 AI 开发者社区
向下滚动自动加载更多