DeltaStreamer:让AI边看直播边记变化,还能回放找细节

资讯 腾讯网 作者:科技行者 全文 4947 字 · 约 13 分钟读完 分类手机

你有没有试过一边刷手机一边看剧,结果同事突然问你"刚才那个穿红衣服的人去哪了",你愣住了。你明明一直"看着"屏幕,但那个信息就是没存进脑子里。这正是今天几乎所有视频AI系统的真实状态。当一段视频像直播一样源源不断涌进来,系统没办法等到"看完全片"再回答问题。它必须边看边记,还得在不知道未来会被问什么的情况下...

所属频道 AI 硬件与终端

刷手机时顺带看剧,同事忽然问“刚才那个穿红衣服的人去哪了”,人一下就卡住。屏幕一直在看,信息却没进脑子。

如今的视频AI系统,差不多都是这个状态。

视频像直播一样不断涌进来,系统没条件等“全片看完”再作答。它得边看边记,还得在不知道之后会被问什么的前提下,判断哪些画面值得留下。南开大学、字节跳动等机构的论文提出了DeltaStreamer系统,想啃下的就是这块听着简单、做起来极难的骨头。

流媒体视频理解

很多图像和视频大模型走的是另一条路:先拿到完整视频,通盘分析一遍,再回答问题。好比考试前把整本书翻完再动笔,时间充裕得很。

现实里没这么从容。监控摄像头在直播,机器人在实时感知环境,自动驾驶系统持续观察路况——视频一帧一帧流进来,提问可能出现在任何时刻,甚至事件过去很久才被问起。系统只能靠“已经看过的部分”,不能偷看未来,也无法预知该重点记住什么。

流媒体视频理解

现有方案大致分三条路。一条是做

三条路都在使劲琢磨“怎么把东西塞进有限的记忆预算”,可它们身上有同一个要命的短板。

头一个毛病:这些方法记下的往往是“当前长什么样”,而非“发生了什么变化”。连续几帧内容常常高度相似,系统若每帧都生成差不多的描述,重复文字就会疯狂挤占有限的记忆空间,真正标志事件转折的关键瞬间,反倒被一堆雷同描述淹没。

第二个毛病更棘手:某一帧画面过去之后,能留下的证据只有当初记下的那点文字。当时没写进某个细节,事后问题恰好问到它,也补不回来了——原始画面已经不在系统的“视野”里。

两件事合在一起说明:现有系统在“记忆预算”的管理上费了大功夫,却很少去想“怎么记录变化”“怎么找回遗漏的证据”这两个更根本的问题。

论文团队给出的解法,说白了很朴素:让系统像人一样看视频。

人追剧时怎么做?不会把每一帧死记硬背下来,而是盯住“发生了什么变化”——谁进门了、谁打开了一个东西、剧情在哪里转折。这些变化撑起了记忆的骨架。等有人问起某个具体细节,比如某个角色衣服是什么颜色,记不清了怎么办?会在脑子里“倒带”,回放那段记忆去确认。

DeltaStreamer把这两件事变成了系统能力:持续观察时主动记录变化,被提问时能“回放”历史画面核实细节。

变化感知记忆

DeltaStreamer的第一个核心设计叫

delta(增量/变化)

具体做法是:系统处理每个采样帧时,不单独描述这一帧,而是把它和前一帧摆在一起,让一个视觉语言模型同时产出两样东西——这一帧的结构化场景描述,涵盖人物、物体、动作、画面中的文字、场景信息;以及与上一帧相比究竟变了什么。

视觉语言模型(VLM)

有个细节容易被忽略,却很关键:论文专门设计了一套“

这个思路类似写旅行日记。每天事无巨细地记“今天天气晴,我吃了早饭,走了很多路”,本子很快写满,回头翻却找不到重点。真正有价值的日记,记的是“今天在路口遇到一只会说话的鹦鹉”这种突变。若不这么记,只按流水账写每天的状态,几周后翻日记想找“那只鹦鹉是什么时候出现的”,就得把整本从头翻到尾,因为每页看着都差不多。

论文的消融实验也印证了这一点。在

有分层、可溯源的记忆结构:记忆不是一个黑箱,而是一张带地址的地图

光把变化记下来还不够。视频越看越长,记忆也会跟着无限膨胀。DeltaStreamer的做法是用一套三层的有向无环图结构来组织记忆。

三层记忆结构

这套结构最妙的地方在于

这就像图书馆的索引系统。一本厚厚的书,没有目录也没有索引,想找某个具体段落只能从头翻到尾;换成有分级的目录,从“总目录”到“章节标题”再到“具体页码”层层嵌套,定位就快了,找到原文的能力也没丢。DeltaStreamer如果只留摘要、不留下指向原始观察的指针,摘要一旦漏掉某个细节,这个细节就永远消失了——现有多轮对话方法的痛点正在这里。

除此之外,系统还维护了一个

消融实验显示,把分层记忆换成扁平记忆,分数从66.07掉到61.25;去掉有向无环图结构,分数掉到62.73;去掉

贝叶斯在线变点检测(BOCPD)

这套方法的意义在于,系统不必在“记住大概”和“保留细节入口”之间非此即彼,两者可以兼顾。

问题驱动的规划:带着明确目标去翻找证据

前面两个设计解决的是“怎么记”,接下来要解决的是“问题来了之后怎么找”。

这就是

规划器生成的是一份结构化的计划,几个关键字段都在里面:需要什么证据、证据的时间锚点在哪里、这是谁的视角(比如是不是第一人称问题)、需要什么类型的信息(时间顺序、空间方位还是数量统计)、证据大概藏在过去、现在还是未来,以及有没有“无法回答”这个选项。

计划一旦生成,就会一路带在后续所有推理步骤里,不是问完一次就扔掉。论文把这个叫做“

想象你去图书馆找一本很冷门的书。每走到一个书架前都重新想一遍“我到底要找什么”,效率低,还容易跑偏。出发前在纸条上写清楚“找20世纪30年代关于航海的德语小说,作者姓氏以M开头”,这张纸条就能一路带着,每到一个区域拿出来核对,不用每次重新思考目标是什么。没有这张持久化的计划,系统在翻查记忆的过程中很容易逐渐偏离最初的问题核心,尤其是需要连续调用多个工具的时候。

消融实验把规划器拆得很细。不用规划器时,总分是59.30,幻觉检测(HLD)子任务只有45.28分;仅加入计划生成这一步,总分升到63.85,HLD飙升到65.83;再加上“计划持久化”这一步,总分到64.77;加上视角字段(POV),到65.14;最后加上完整的证据指南,到66.07,HLD达到69.89。

这里有个特别值得玩味的细节,

更有意思的是交叉实验:delta记录、分层记忆、规划器这三个组件,两两组合、三者全开,结果各不相同。单独开启分层记忆再叠加delta,只带来0.93分的提升;同时开启规划器之后,叠加delta的提升幅度一下子跳到4.95分。几个组件之间不是简单的加法关系,而是存在协同效应:记忆再丰富,也得系统知道该找什么才真正发挥作用;规划能力同样受益于明确的变化记录和可追溯的来源信息。三者全开的组合,分数全面超过了所有单独和两两组合的设置。

回溯验证与targeted replay:当文字记忆靠不住的时候,回去看原始画面

记忆系统设计得再精巧,文字描述终究有局限。一段话不可能把画面里的所有细节都写进去,总会有取舍。那怎么办?

DeltaStreamer给出的答案是

这个机制有两个触发入口。一是智能体自己意识到需要某个视觉细节而当前记忆里没有,主动请求;二是系统内置了一个基于规则的

验证器

说白了,这套机制跟法庭上核对证据是一回事。证人各说各话(对应文字记忆),法官不会随手挑一方信了,得去调监控(对应回放原始帧)才能弄清到底发生了什么。少了“调录像”这一步,系统面对互相打架的记忆描述,只能硬着头皮选一个,准确率当然要打折扣。

消融实验把这件事的分量摆了出来。工具全开时总分66.07;拿掉replay,分数降到63.28,在全部工具移除实验里跌幅排第一。作为对照,去掉物体追踪(tracking)是65.31,去掉放大裁剪(zoom)是64.16,都没replay掉得这么狠。有些信息文字记忆打从一开始就没记下来,只能回到像素级的原始画面去补。

论文里有个很生动的例子。一个场景中,有人问“刚才走过的那辆车是什么颜色”,系统发现记忆里确实记录了“一辆车经过”,但颜色信息没有写进去。系统于是主动触发回放,跳回那个时间点重新审视画面,最终确认答案是绿色。文字记忆和像素证据在这里正好互补:delta记录保证了“有辆车经过”这件事不会被遗忘,replay保证了遗漏的细节还有机会被补上。

数据说话:在两个权威基准上的实测表现

设计思路讲了不少,最后还得拿实测成绩说话。

在

OVO-Bench

在

StreamingBench

论文同样没有回避弱点:在“主动输出”(PO,Proactive Output)这一子任务上,DeltaStreamer仅得10.40分,成绩偏弱。可见“证据找得准”与“该在什么时机开口”是两种能力,把证据收集做好,并不等于能自动解决“何时主动回应”这个更难的时序判断。

这种自我批评并不多见,不少论文更愿意只讲长处。也正因如此,这个短板反倒让整项研究的可信度多了几分。

记忆规模的统计里还有些耐人寻味的信息。OVO-Bench上,每个样本平均积累70.85次视觉观察,单条观察描述平均1279个字符,delta字段平均155个字符;任务完成时,工作记忆平均存下131.91条记录,生成11.68个情景摘要。回放工具则很少被动用,平均每个问题只调用0.17次。这正好对应论文的设计初衷:回放属于“按需使用”的精细手段,非常规操作;多数情况下靠记忆检索加当前画面就能作答,只有碰上真正棘手的细节才启用这个成本较高的工具。

写在后面

读这篇论文时,打动我的不是技术细节本身,而是它选定的参照系:人怎么看视频。这话听着像理所当然,可真要拆成能落地的系统设计,难度比想象中大得多。

有个细节我琢磨了很久。论文写道,系统遇到第一人称视角的问题,例如“我和谁说过话”,得先判断“我”是谁。这看似很小的技术点,背后却牵着一个不浅的认知问题:画面中央那个清晰完整的人,很可能并非提问者本人——提问者戴着摄像头,自己的身体往往只在画面边缘露出手脚。这种“主体不在画面中心”的错位,正是不少AI系统容易答错之处,论文为此专门设计了一套视角判断逻辑。很多看着简单的问题,拆开来全是陷阱。

另一个意外来自消融实验里的交叉效应。单独加入delta记录,提升不到1分;可一旦配上规划器,提升就接近5分。评价一个技术组件“有没有用”,容易掉进孤立评估的误区。组件的价值也许恰恰取决于另一个组件是否同时在位,脱离协同关系单看,很容易低估它真正的分量。

论文也留下一个未解的问题,就是前面说的“主动输出”时机判断。知道答案,和知道什么时候该把答案说出来,是两种完全不同的能力。前者考验信息收集与推理,后者更像社交直觉和场景判断。系统能把证据找得滴水不漏,却仍不知道答案该在何时主动蹦出来,这个gap怎么填,恐怕不是多堆几层记忆就能解决的。

Q&A

Q1:DeltaStreamer是什么?

A:DeltaStreamer是一个面向流媒体视频理解的智能体框架。它模仿人看视频的方式,持续记下画面中的变化;用户提问后,它主动规划证据收集路径,必要时回放历史画面,把文字记忆里漏掉的细节找回来。

Q2:DeltaStreamer和普通视频AI模型有什么区别?

A:普通视频模型大多要先拿到完整视频再分析,DeltaStreamer则专为帧一帧一帧实时到达、问题随时可能冒出的场景而设计。它持续更新结构化记忆,记录帧与帧之间的具体变化,而不只是静态描述每一帧内容。

Q3:DeltaStreamer在实际测试中表现如何?

A:OVO-Bench基准上总分达到66.07%,超过Gemini 3 Flash等强模型;在

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. OpenAI下场造机!首款AI手机细节曝光,直接叫板传统手机厂商

    【TechWeb】供应链最新消息显示,富士康旗下的富智康集团已拿下OpenAI手机项目订单,负责整机组装环节。据财联社报道,OpenAI的首款手机预计最快2027年底、最迟2028年正式亮相,除组装外,立讯精密、领益智造、瑞声科技等多家苹果供应链厂商也将参与零部件供应。截至目前,富士康方面尚未对上述消息作出回应,产品的

    来源 腾讯网
  2. MAI-Gym:给手机和电脑装一个会自己练习的AI管家

    你有没有想过一件事:为什么让AI下棋、做数学题、写代码都已经能靠自学进步了,但让AI帮你订张火车票、整理一份文件,却还是经常手忙脚乱?这背后有个挺反直觉的事实。2025年前后,强化学习已经在数学、编程这些领域跑通了一套成熟打法:给模型出题,让它反复尝试,答对了给奖励,答错了不给,模型就这样一点点学会推理。这...

    来源 腾讯网
  3. Meta掌上AI设备Muse Charm定价约300美元,指纹一碰即唤醒

    Meta将AI入口从手机移到口袋。The Information称,其掌上AI设备Muse Charm定价约300美元(约2008元),附赠最长12个月Verizon 5G流量,无Wi-Fi也能连云端。设备约2英寸小屏显示定制Muse虚拟形象,指纹一碰即可绕过手机解锁,真正交互开关藏在指纹处。

    来源 AI 产业速递
  4. 三星安卓笔记本曝光:One UI 9.5 测试版现 Now Brief 等 AI 功能

    IT之家 11 月 20 日消息,科技媒体 sammyguru 昨日(11 月 19 日)发布博文,通过挖掘 One UI 9.5 首个 Beta 测试版,发现了三星安卓笔记本的更多线索,有望适配智能简报 Now Brief、主动建议功能 Now Nudge 等 AI 功能。 IT之家今天援引 Android Auth

    来源 AI 行业观察
  5. 《万妖》进影院,红果布局电视端,AI视频的下一站是大屏?

    11月20日起,杭州等地的部分电影院将迎来一批习惯在手机上追剧的观众。 他们要看的不是新上映的电影,而是AI漫剧《万妖图录传》的特别篇《云州异客》。这部已经连载了十多季的作品,第一次把故事搬上大银幕,官方把这次放映定位为一场“限时派对”,看看有多少观众愿意为此走进电影院。 这并不是最近AI内容向大屏幕发起的唯一一次尝试

    来源 AI 行业观察
  6. 一张照片就能骗过!苹果iPhone Duo人脸解锁遭博主实测“打脸”

    【TechWeb】本周,苹果向iPhone Duo推送了iOS 27.3 Beta 2开发者固件,新增了一项基于前置摄像头的人脸解锁功能。由于iPhone Duo并未配备Face ID所需的TrueDepth硬件,这一功能被视为苹果用软件手段弥补硬件缺位的尝试。然而日前有博主发布实测视频称,仅凭一张照片就成功解锁了iP

    来源 腾讯网
  7. iPhone Air2、iPhone 18标准版确认春季发布,前者升级幅度巨大

    随着新机发布时间临近,苹果供应链已开始为下一代iPhone量产做准备。据ETNews披露,三星显示和LG Display均已着手准备OLED面板生产计划,两家供应商的生产安排一致指向2027年3月的新品发布窗口——标准版iPhone 18与超薄机型iPhone Air 2,将跳过今年秋季,在2027年春季与消费者见面。

    来源 TechWeb
  8. iPhone 18标准版与Air 2定档2027年春季:Air 2升级双摄、更薄机身

    随着新机发布时间临近,苹果供应链已开始为下一代iPhone量产做准备。据ETNews披露,三星显示和LG Display均已着手准备OLED面板生产计划,两家供应商的生产安排一致指向2027年3月的新品发布窗口——标准版iPhone 18与超薄机型iPhone Air 2,将跳过今年秋季,在2027年春季与消费者见面。

    来源 TechWeb
  9. 内存涨价传导至手机供应链:二手拆机内存价格打5折

    【TechWeb】持续上涨的内存价格,正在悄悄改变手机行业的供应链格局。据数码博主透露,内存厂商预计2027年内存价格仍将持续上涨,这轮涨价行情可能延续至2028年上半年,直到下半年才逐步进入平稳期。而为了应对成本压力,部分小品牌和山寨手机厂商已经开始在百元机、千元机上使用拆机二手内存——更值得关注的是,2027年部.

    来源 腾讯网
  10. 华为鸿蒙智家无界交互定档11月24日,预热“住进未来家”

    IT之家 11 月 19 日消息,华为官方今日宣布,新一代华为鸿蒙智家无界交互将在 11 月 24 日发布,号称“住进未来家”。华为官方暂未公布新一代鸿蒙智家无界交互的具体功能,不过预热海报中展示了人车家生态场景。图中的女主人公手持平板似乎正在控制窗帘开关等,而男主人公和小朋友正在看电视。预计无界交互将进一步优化智能.

    来源 腾讯网
  11. Recapture:用合成数据解决文档AI训练的“扫描件荒”

    训练视觉语言模型时,干净的数字文档太多,真实的皱褶扫描件太少。Recapture 这个开源工具能把平整的PDF页面变成逼真的手机拍照或扫描仪图像,自动保留标注框。不用真的去打印再拍摄,就能批量生成带噪声的训练数据,解决数据集混合难题。

    来源 AI 应用前沿
  12. iPhone Duo人脸解锁实测:一张照片即解锁,苹果软件方案遇考

    本周,苹果向iPhone Duo推送了iOS 27.3 Beta 2开发者固件,新增了一项基于前置摄像头的人脸解锁功能。由于iPhone Duo并未配备Face ID所需的TrueDepth硬件,这一功能被视为苹果用软件手段弥补硬件缺位的尝试。然而日前有博主发布实测视频称,仅凭一张照片就成功解锁了iPhone Duo—

    来源 TechWeb
  13. iPhone Duo人脸解锁实测:一张照片即破解,苹果的软件补位靠谱吗

    本周,苹果向iPhone Duo推送了iOS 27.3 Beta 2开发者固件,新增了一项基于前置摄像头的人脸解锁功能。由于iPhone Duo并未配备Face ID所需的TrueDepth硬件,这一功能被视为苹果用软件手段弥补硬件缺位的尝试。然而日前有博主发布实测视频称,仅凭一张照片就成功解锁了iPhone Duo—

    来源 TechWeb
  14. 郑渊洁71岁用AI做动画,8部短片免费开放

    11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文化作品、人人可以参

    来源 TechWeb
  15. 郑渊洁用AI做动画短片:8部已上线,宣布作品免费开放

    11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文化作品、人人可以参

    来源 TechWeb
  16. 三星天气App新动向:One UI 9.5内测AI目的地提醒?

    IT之家 11 月 20 日消息,科技媒体 SamMobile 昨日(11 月 19 日)发布博文,报道称在 One UI 9.5 首个 Beta 测试版中,三星正在为天气(Weather)应用酝酿 AI 升级,在用户出发前提醒其查看目的地天气。IT之家援引博文介绍,系统识别到用户计划前往另一座城市后,天气应用会显示“

    来源 腾讯网
  17. 只改一处代码,谷歌 AI 智能体优化 Harness 后任务成功率提升 8 倍

    IT之家 11 月 20 日消息,谷歌研究人员当地时间 11 月 17 日最新发表的研究论文《Harnesses That Improve Themselves》(《能够自我改进的 Harness》)显示,通过让 AI 智能体逐步修改自身运行框架,并对每次修改进行验证,可以显著提高软件工程任务的完成率。 在一项 SWE

    来源 AI 行业观察
  18. 英特尔18A拿下首家外部客户:陈立武确认签约,未透露名称

    每日头条芯闻英特尔18A工艺签下首家外部客户西门子收购Breker字节跳动与微软洽谈购买Azure云服务魏少军预测:2026年国内芯片销售额将突破1.5万亿元,同比增幅达89%消息称OpenAI进军手机领域Gartner预测:2027年全球人工智能支出将突破4万亿美元英伟达员工大会宣布告别“黄仁勋时代”:12月员工加薪

    来源 腾讯网
  19. 三星AI眼镜预售数小时售罄:12月10日韩美开卖,65万韩元起

    IT之家 11 月 19 日消息,三星电子与谷歌、Gentle Monster 联合推出的人工智能眼镜“Intelligent Eyewear”,尚未正式上市便取得了不错的市场反响,关键型号在预售开启后数小时内便售罄。 韩国眼镜品牌 Gentle Monster 宣布,“Intelligent Eyewear”的核心款

    来源 AI 行业观察
向下滚动自动加载更多