WeituAI打造能记忆会思考的流式多模态大脑

资讯 AI 行业观察 全文 4463 字 · 约 12 分钟读完 配图 4 张 分类多模态

WeituAI打造能记忆会思考的流式多模态大脑

所属频道 模型发布
WeituAI打造能记忆会思考的流式多模态大脑(配图 1)
机器之心发布


戴着 AI 眼镜出门前,问 AI 一句 “刚才把钥匙放在哪里了”;一场会议结束后,让 AI 助手回顾 “白板上的方案和最开始相比改了哪些地方”;戴着可穿戴摄像头设备的维修师傅正在进行检修的时候,被视频大脑提醒到 “刚才关闭阀门的动作没有完成,请重新检测一遍”。这些日常生活和工业需求,都要求 AI 把眼前画面与此前的内容联系起来。Weitu AI 打造的流式多模态视频大脑,正是为了让任何带摄像头的设备能持续高效准确地理解环境,并将看过的信息转化为可用于回想和进行复杂推理决策的记忆。


香港多模态人工智能公司 Weitu AI 目前已服务全球数十家企业,以及全球约 600 万个人用户。团队希望将多模态技术进一步带入日常生活,办公和工业场景,让各个场景的多模态设备具备持续感知,推理和决策的能力。


据 Weitu AI 团队介绍,流式视频大脑要解决的核心问题,是在视频不断到来的过程中,可以高效地理解场景的变化,不断地产生记忆,并通过实时的理解和不断更新的记忆来实现复杂的推理和决策。对用户而言,这意味着随着这样流式视频大脑的应用,所有需要不断感知环境和交互的各种多模态设备,会先迎来物理世界的 ChatGPT 时刻。


时空压缩的高效学习架构带来持续的多模态感知


现实中的视频持续产生,模型的计算资源与记忆容量却十分有限。如果把全部画面长期保留并反复参与计算,会增加处理负担;过度抽帧或只保留很短的时间窗口,又可能漏掉关键的时序变化。比如,“钥匙被放入书包侧袋” 的动作只持续片刻,十分钟后用户寻找钥匙时,这个细节才显得尤为重要。


Weitu AI 打造视频原生的多模态架构。这样的架构可以实现流式视频信号的高效压缩和感知学习。设计思路是让计算围绕当前需要理解的变化展开。在构建视频原生的表征与记忆机制时,团队构建了 Dual Sparse Memory(双层稀疏记忆)的学习架构:先从时间维度自动筛选出相关片段,再从片段内部提炼关键的时空特征,避免大量无关的画面信息占用学习的计算资源。


第一步是时序块级稀疏学习,也就是时序上的压缩感知。面对 “会议开始时白板上写了什么” 这类回溯性问题,模型先将注意力集中到相关的历史时间片段,大幅缩小后续的计算范围。第二步是空间域上的稀疏学习:进入这些片段后,模型自动聚焦并提取关键的视觉细节(例如画面主体内容及其变化),而非让整帧场景的所有信息都参与同等强度的计算。


这套机制把 “何时看过” 和 “哪些细节有用” 同时放进网络进行学习。其目标是在保留关键特征的同时,控制注意力计算与缓存开销,让持续视频理解更适合长期运行的各种硬件设备。比如,对各类硬件系统而言,计算效率直接关系到响应体验、部署成本以及端云协同方案的可行性。


不断更新的记忆帮助复杂推理


高效的压缩感知和计算解决持续理解的问题,而不断更新的记忆模块则可以帮助模型解决更加复杂的推理。Weitu AI 的模型,除了理解当前画面外,还包括了 Long-term Memory Module(长期记忆学习模块),将较早的视觉与时空信息压缩为紧凑的表征,并随新画面的到来持续更新。


这类记忆承载的是可供模型使用的历史信息,包括物体的位置变化、动作的先后关系,以及场景中的重要状态。模型既要记住 “钥匙曾在桌面上” ,也要保留 “后来被放进包侧袋” 这一带有时间和空间变化的信息。例如,在工业场景中,这样的能力可以用于理解过去的操作演示的步骤。


WeituAI打造能记忆会思考的流式多模态大脑(配图 2)

流式视频大脑的记忆架构示意


Weitu AI 团队介绍道,团队将记忆视为经过选择与压缩的智能表征。记忆模块要学习的不仅仅在于当前的信息的压缩感知, 也包括能支持未来理解和推理的信息。就像人类在思考时,也常常通过回想,来找到记忆作为推理的信息。这为视频模型的记忆设计提供了启发。


例如,当用户问 “钥匙和书本是不是放在一起了”,系统需要将不同时间看到的物品位置和收纳动作联系起来,再判断它们是否被放在同一个位置。这让记忆参与复杂的推理和判断。压缩记忆无法保留原始视频的全部细节,模型需要学习并不断地在有限容量内持续更新,让记忆模块尽可能参与后续的复杂推理。


不仅如此, Weitu AI 团队还探索了流式视频大脑的新场景,比如对视频状态的预测和判断,以及对正在发生的事件或者动作的状态做出准确的预测。Weitu AI 团队提到 “ 比如,当 AI 系统在观看咖啡冲煮过程时,需要准确地区分 “正在倒水” 和 “这一步已经完成”,才能回答步骤顺序、动作是否完成等问题。把状态变化与时间关系一起纳入记忆,有助于理解一个事件或者动作如何发生,以及何时进入下一阶段。这类问题也是研究上非常有趣的新问题,即如何预测尚未完成的动作的时间边界, 这个相当于是对未来的状态的预测。”


在流式视频与记忆评测中展现优势


近期评测显示,Weitu AI 流式视频大脑在连续视频理解领域展现出显著的架构优势。在考察 “过去记忆、当前感知与未来预测” 三大时间维度、共 16 项子任务的权威基准 OVBench [1] 上,Weitu AI 流式视频大脑的综合得分达到 69.9,较行业经过充分验证的通用多模态强基线 Gemini 3.1 Pro(58.8)高出 11.1 ;与此同时,在高度贴近 AI 眼镜等可穿戴设备持续感知场景的 Meta S-EMBER 基准 [2] 上(该测试采用第一人称视角日常视频,要求模型仅依据提问时刻之前看到的内容作答),Weitu AI 流式视频大脑取得了 58.23 的得分,同样较基准对齐的 Gemini 3.1 Pro(54.41)高出 3.82 。


这些结果显示,Weitu AI 的模型在流式视频理解和带有记忆评测的基准上都展现出优势。这样带来的产品价值,可以让更多的 AI 设备更好地理解不断变化的场景并通过当前画面结合记忆来进行推理和决策。


WeituAI打造能记忆会思考的流式多模态大脑(配图 3)


WeituAI打造能记忆会思考的流式多模态大脑(配图 4)


如图的两个例子展示了模型的 “时空记忆” 问答能力:在连续的视频流中,模型能够随时响应用户的提问,融合当前视觉信息与相关历史记忆画面,精准回答问题。


让持续感知与记忆走进更多应用场景


流式多模态大脑的应用空间,覆盖各类需要持续理解环境并作出响应的设备与产品。从 AI 眼镜、可穿戴摄像头到其他视觉终端,这套能力有望融入日常生活、办公、教育、零售与工业场景,为用户提供与当前活动紧密相关的即时帮助。


例如,在学习折纸或烹饪时,AI 助手可以结合已经完成的步骤提示下一步;在购物时,可以将眼前商品与此前看过的款式、规格和标签进行比较;在办公演示结束后,可以帮助用户回顾操作顺序和方案变化;在工业检修过程中,则可以结合此前的操作与当前设备状态,提示需要进一步检查的环节。这些场景共享同一种能力需求:将当前观察与历史记忆联系起来,理解任务的进展,并为接下来的判断提供依据。


这样的能力也可以应用于视频创作。在视频持续生成与编辑的过程中,模型可以结合当前画面、创作进度和此前内容,持续评估作品与创作目标的契合程度,围绕镜头衔接、叙事节奏和视觉风格提出优化建议,并动态规划后续的生成、剪辑与修改步骤。通过将持续感知、记忆与推理融入创作流程,有望减少反复生成和修改带来的时间与计算成本,让作品更加符合创作者的表达意图,同时保持内容连贯与风格一致。


为通用大模型提供持续感知世界的入口


通用大模型的能力进展,正在拓展 AI 参与复杂任务的空间。OpenAI 的 GPT-6 系列在复杂任务处理、计算机操作与成本效率等方面取得进展;Anthropic 则在 Claude Fable 5.2 的发布中,展示了模型控制机器人完成拧开瓶盖、绘图等任务的能力。


在 Weitu AI 看来,随着通用模型的推理与任务规划能力增强,如何高效、实时地感知环境变化,并将相关历史信息带入当前判断,将成为机器人应用的重要基础。例如,家用机器人在寻找物品或整理房间时,需要持续确认物品是否移动、操作是否完成、任务条件是否变化,并结合此前的观察调整行动。持续更新的感知与记忆,能够为这些判断提供必要的上下文。


Weitu AI 希望推动其流式多模态大脑成为各类通用大模型提供持续感知世界的入口:由视频大脑持续处理画面、追踪场景状态并更新记忆,为复杂推理与任务规划提供及时、紧凑且与任务相关的视觉和多模态信息。这相当于为通用大模型提供一双能够持续观察、保留相关记忆的 “眼睛”,有望减少其反复处理冗长视觉存储的负担。


这一定位也赋予了流式多模态大脑两类应用价值:既可以直接支持具体场景,也可以作为感知与记忆模块,与其他通用模型协同。未来,当这套能力进一步与机器人的运动控制和执行系统结合,有望帮助机器人在家庭、办公及服务环境中持续理解任务过程,并根据环境变化调整后续行动。


从视频出发,融合更多模态信息


Weitu AI 介绍,流式视频大脑是团队探索多模态交互智能的起点。未来,团队希望在这一模型架构上持续融合更多模态的信息,使感知、记忆与推理能力能够适应不同设备和场景的需求。


例如,在工业场景中,视频可以与温度、压力、振动等传感器信号结合,共同反映设备运行与环境变化。不同信号提供了互补的信息:画面呈现操作过程和外观变化,传感器则反映温度波动、压力变化或振动异常。模型需要将这些信息在时间与空间上关联起来,理解它们之间的联系,并形成可供后续判断使用的记忆。


持续感知变化,将重要信息压缩为时空记忆,再结合当前感知与历史记忆进行推理和决策,是 Weitu AI 打造流式多模态大脑的核心思路。从今天的摄像头、AI 眼镜和可穿戴设备,到未来的机器人与工业多模态系统,团队希望通过可扩展的模型架构,让更多设备具备持续理解环境的能力,也为通用大模型提供快速、准确感知世界的入口。


Weitu AI 欢迎各行业伙伴洽谈合作,不断探索流式视频大脑在全球更多场景中的应用。 申请体验和试用模型的商业用户,请使用企业邮箱发送需求至 business@weitu.ai,我们将尽快与您联系。


关注 Weitu AI 更多进展,欢迎订阅下方公众号。



[1] Huang Z, Li X, Li J, et al. Online video understanding: Ovbench and videochat-online [C]//2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2025: 3328-3338.

[2] Wang X, Zhao X, Rodriguez P, et al. S-EMBER: A Large-Scale Benchmark for Streaming Egocentric Memory Retrieval [J]. arXiv preprint arXiv:2607.02689, 2026.



本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关 AI 工具

AI 导航
OpenAI最新发布的多模态AI大模型 GPT - 4o是OpenAI最新推出的先进人工智能模型。它具备强大的多模态推理能力,能处理语音、文本和视觉… AI 写作 · openai.com 多模态跨尺度生物医学成像 以亚纳米分辨光电融合技术为代表的多模态高分辨分子成像装置、以毫秒分辨显纳成像为代表的多模态活体细胞成像装置、… 知识管理 · bjmu.edu.cn 深思考Dongni多模态大模型 Dongni多模态大模型搜索引擎通过结合文本、图像等多模态数据,为用户提供了一个功能强大、操作简便的搜索工具 大模型与开发平台 · dongni.ai 达闼RobotGPT多模态大模型 达闼RobotGPT多模态大模型是一个创新的AI工具,它通过整合多模态数据处理能力,为机器人在多样化的应用场… 大模型与开发平台 · dataarobotics.com Wordware Wordware是一个集成开发环境(IDE),其最大亮点在于零代码开发,任何人无需编程知识,通过日常语言就能… AI 写作 · wordware.ai Seko Seko是商汤科技(SenseTime)推出的行业首发创编一体的AI短视频创作Agent。Seko可以根据用… AI 智能体 · sensetime.com 腾讯混元大模型 腾讯混元大模型由腾讯全链路自研,在文本和多模态模型性能方面表现卓越,处于业界领先水平。其混元 API 整合了… 大模型与开发平台 · tencent.com 蛙蛙写作 蛙蛙写作是由杭州引力智航科技有限公司开发的一款AI智能写作工具。产品定位为帮助不同类型的作者,提供个性化的写… AI 写作 · wawawriter.com

相关推荐 按相关度与热度排序

全部资讯 →
  1. 腾讯Hy4 flash发布,速度大幅提升,单任务成本仅为Hy4二十分之一

    本文来源:时代财经 11月16日,腾讯混元最新语言模型Hy4 flash发布,模型总参数量为224B(其中 64B Engram 参数),激活参数仅为12B,支持多模态和1M上下文长度。Hy4 flash是迄今为止最高性价比的Hy模型:每百万Token输入0.5元、输出2元,命中缓存时仅需0.02元,单任务成本仅为Hy

    来源 腾讯网
  2. NEO-VLA:像素直出动作,具身模型怎么吃透视觉细节?

    让机械臂把网球稳稳放到易拉罐上,既要识别物体,也要判断网球是否对准罐顶,以及何时松开夹爪。这些看似简单的操作,往往依赖细微的视觉信息。问题在于,动作模型能否充分利用这些信息?近日,来自南洋理工大学 S-Lab、商汤研究院与 Ropedia 的研究团队提出 NEO-VLA,将原生视觉语言模型引入机器人动作学习。图像经过轻

    来源 腾讯网
  3. 腾讯WorkBuddy接入Gemini4Carbon:百万Token上下文向Pro用户开放

    腾讯WorkBuddy国际版11月15日宣布接入谷歌Gemini4Carbon大模型,面向复杂推理和长周期任务,目前仅向Pro计划用户开放。该模型面向长周期智能体工作流,适用于复杂知识工作、软件工程、网络安全及科学推理,支持文本、图像、音频和视频多模态输入,输入输出合计上下文窗口最高达100万Token。

    来源 AI 产业速递
  4. Hy4 flash 发布:224B 总参数、12B 激活,API 价格大幅下调

    今天,我们正式推出 Hy4 flash,这是迄今为止最高性价比的 Hy 模型,总参数量为224B(其中64B Engram 参数),激活参数 12B,支持多模态和1M 上下文长度,API价格相比 Hy4 大幅降低。 我们通过一系列工作在极致优化成本的同时兼顾智能水平和实用性: 在预训练阶段,Hy4

    来源 AI 开发者社区
  5. 是石科技发布多模态服务:视频生成提速2.48倍且画质无损

    AI视频批量生产面临速度与质量的矛盾。是石科技新推出的多模态模型服务,通过自适应缓存加速、显存协同优化及Token压缩技术,在保持画质的前提下将推理速度提升2.48倍。同时引入Context Engine解决多素材结构化衔接难题,旨在降低企业级视频生成的算力成本并提高并发处理能力。

    来源 AI 应用前沿
  6. 腾讯发布Hy4 flash:支持1M上下文,激活参数12B

    11月16日,腾讯发布定位于日常办公及智能体任务的Hy4 flash模型。该模型总参数量224B(含64B Engram参数),单次激活参数12B,支持多模态输入和最高1M上下文长度,解码速度超过150 tokens/s。腾讯内部评测显示其综合表现略高于Hy4 preview,WorkIndex测试中平均单任务成本约为

    来源 凤凰科技
  7. 暴涨889%、半年破百亿,字节阿里百度火拼新战场

    2021年,才云科技创始人张鑫投奔字节跳动,在云计算圈掀起一阵不小的波澜。 彼时的行业共识是,字节要下场啃IaaS( Infrastructure as a Service,基础设施即服务,一种云计算服务模式)这块硬骨头,直接和盘踞老大位置多年的阿里云硬碰硬。张鑫深耕容器云的背景,也被外界视作字节决心搭建“完整云版图”

    来源 AI 行业观察
  8. Anthropic阿莫迪谈IPO:算力是最深层难题,估值不虚高

    美国当地时间11月13日午间,Anthropic联合创始人兼CEO达里奥·阿莫迪与摩根大通CEO杰米·戴蒙(Jamie Dimon)在纽约举行了一场IPO主题对话。 对于正准备登陆公开市场的Anthropic而言,这场对话不仅是一次上市推介,也是外界观察其商业模式、竞争策略和长期发展规划的窗口。 阿莫迪把Anthrop

    来源 AI 行业观察
  9. 人大快手团队论文:AI看视频为何分不清先后,EventLens给出解法

    你有没有遇到过这样的情况:给AI看一段切菜做饭的视频,问它"先放了油还是先放了菜",它答得支支吾吾,甚至把顺序说反了?这不是个段子。这是2026年多模态大模型普遍存在的问题。你可能觉得奇怪,现在的AI视频理解模型连考试都能考高分,怎么会连"先后顺序"这种小学生都懂的事都搞不清楚?答案藏在一个容易被忽略的事实里:...

    来源 腾讯网
  10. 英伟达机器人工程师Darrell Dai辞职:称黄仁勋离任方式令人失望

    【TechWeb】11月16日消息,英伟达机器人工程师Darrell Dai(戴达瑞)已通过个人X账号宣布辞职。他在帖子中解释,离职的核心原因是对公司前CEO黄仁勋(Jensen Huang)的离任方式感到失望,认为公司在此事上缺乏透明度和充分说明,导致员工意见“未被听见”。 戴士钦表示,他眼中的黄仁勋不只是英伟达 C

    来源 AI 行业观察
  11. Omni-LLM研究:模型明明知道答案,为何最终答错

    你有没有经历过这种场景:明明脑子里有答案,话到嘴边却说不出来,或者说出来的跟想的完全是两码事。考试的时候这种感觉最熟悉,你盯着那道题,隐约觉得见过这个知识点,但就是组织不出语言把它写在答卷上。2026年的一篇研究发现,现在最前沿的多模态AI,也就是那些能同时看图、听声音、读文字的全能型大模型,居然也有这个...

    来源 腾讯网
  12. 腾讯混元Hy4 flash发布:224B参数,输入每百万Token 0.5元

    今天,腾讯混元发布最新语言模型Hy4 flash。Hy4 flash总参数量为224B(其中64B为Engram参数),激活参数仅为12B,支持多模态和1M上下文长度。Hy4 flash是迄今为止最高性价比的Hy模型,每百万Token输入0.5元、输出2元,命中缓存时仅需0.02元,价格相比Hy4大幅降低。目前,Hy4

    来源 腾讯网
  13. 腾讯混元Hy4 flash发布:0.5元/百万Token,计划开源

    新京报贝壳财经讯(记者韦英姿)11月16日,腾讯混元发布最新语言模型Hy4 flash,总参数量224B(含64BEngram参数),激活参数12B,支持多模态与1M上下文长度。定价为每百万Token输入0.5元、输出2元,命中缓存时0.02元,低于Hy4。

    来源 网易科技
  14. CataX AI完成4000万元种子轮融资,启明创投孵化并独家投资

    【TechWeb】11月16日消息,近日,上海凯思达生物医药科技有限公司(下称CataX AI)宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。 CataX AI创立于上海,是一家智能体(Agent)原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-

    来源 AI 行业观察
  15. Gemini Decision 1发布:毫秒级批量判断,不闲聊

    谷歌推出首个专用决策模型Gemini Decision 1,主打“不生成文本,只做判断”。它能在150-250毫秒内,基于同一份多模态输入一次性回答上千道是非题或选择题,并输出置信度。这种跳过Token解码的架构,让它在模型路由、内容审核等需要快速二选一或多选一的场景中,比传统大模型更快且更便宜。

    来源 AI 应用前沿
  16. 华为云开源具身世界模型CloudRobo-WM1.2,两项评测登顶

    今天,华为云“行业AI梦工厂”发布并开源昇腾原生的具身世界模型CloudRobo-WM1.2,采用共享世界模型骨干网络实现预测增强的世界表征,基于世界模型原生DualAct架构,实现了世界模型原生动作生成,在RoboTwin 2.0、LiberoPro 2.0 评测中均位列第一。

    来源 TechWeb
  17. 华为云开源CloudRobo-WM1.2:具身世界模型登顶两项评测

    今天,华为云“行业AI梦工厂”发布并开源昇腾原生的具身世界模型CloudRobo-WM1.2,采用共享世界模型骨干网络实现预测增强的世界表征,基于世界模型原生DualAct架构,实现了世界模型原生动作生成,在RoboTwin 2.0、LiberoPro 2.0 评测中均位列第一。

    来源 TechWeb
  18. 巨人网络AI实验室并入技术中台:研运赋能与投资布局同步推进

    【TechWeb】11月16日消息,巨人网络今日确认,已调整AI实验室组织架构,相关团队与技术能力整合至公司技术中台。此次调整旨在进一步将AI技术与游戏业务场景深度结合,公司将继续加大AI战略投入,深化研运赋能、应用创新及产业生态布局。 巨人网络表示,在AI技术发展早期,公司组建AI实验室,围绕自研模型、音视频生成工具

    来源 AI 行业观察
  19. 苹果N50智能眼镜:2027年6月亮相,年底出货?

    据彭博社资深科技记者马克·古尔曼 2026年11月15日发布的“Power On”通讯,苹果首款智能眼镜计划在2027年6月的苹果全球开发者大会上正式发布,并预计在2027年年底之前开始出货。报道称,N50 智能眼镜不具备AR显示功能,主要依赖Siri语音助手、摄像头和传感器提供AI辅助功能,应用场景包括识别景物、翻译

    来源 TechWeb
  20. 苹果N50智能眼镜曝光:2027年6月WWDC发布,年底前出货

    据彭博社资深科技记者马克·古尔曼 2026年11月15日发布的“Power On”通讯,苹果首款智能眼镜计划在2027年6月的苹果全球开发者大会上正式发布,并预计在2027年年底之前开始出货。报道称,N50 智能眼镜不具备AR显示功能,主要依赖Siri语音助手、摄像头和传感器提供AI辅助功能,应用场景包括识别景物、翻译

    来源 TechWeb
  21. Lattice三季度营收2.91亿美元:FPGA在AI数据中心找到新位置

    AI数据中心的快速扩张,正在为FPGA带来新的市场机会。 11月2日,Lattice公布2026财年第三季度业绩,营收达到2.91亿美元,同比增长118%;其中,FPGA收入同比增长约90%。公司CEO Ford Tamer表示,数据中心AI需求的加速,是推动业务增长的重要因素。 这组数据让FPGA重新进入产业视野。过

    来源 AI 行业观察
  22. DeepSeek App与网页版设使用限额:长对话7天不活跃不再保留

    有用户在使用DeepSeek时被提示因“算力不足,不再支持超过7天不活跃的长对话”,并对单次输入文字的上限进行了调整,缩短至4万字左右。值得注意的是,截至发稿,DeepSeek尚未就此次限额发布单独的正式公告,也没有给出额度恢复的时间表。对于依赖DeepSeek进行日常工作的用户而言,明确额度规则和恢复预期,与获得算力

    来源 TechWeb
  23. DeepSeek App与网页版设使用限额:长对话7天不活跃即失效

    有用户在使用DeepSeek时被提示因“算力不足,不再支持超过7天不活跃的长对话”,并对单次输入文字的上限进行了调整,缩短至4万字左右。值得注意的是,截至发稿,DeepSeek尚未就此次限额发布单独的正式公告,也没有给出额度恢复的时间表。对于依赖DeepSeek进行日常工作的用户而言,明确额度规则和恢复预期,与获得算力

    来源 TechWeb
向下滚动自动加载更多