DeltaStreamer:让AI边看直播边记变化,还能回放找细节
你有没有试过一边刷手机一边看剧,结果同事突然问你"刚才那个穿红衣服的人去哪了",你愣住了。你明明一直"看着"屏幕,但那个信息就是没存进脑子里。这正是今天几乎所有视频AI系统的真实状态。当一段视频像直播一样源源不断涌进来,系统没办法等到"看完全片"再回答问题。它必须边看边记,还得在不知道未来会被问什么的情况下...
刷手机时顺带看剧,同事忽然问“刚才那个穿红衣服的人去哪了”,人一下就卡住。屏幕一直在看,信息却没进脑子。
如今的视频AI系统,差不多都是这个状态。
视频像直播一样不断涌进来,系统没条件等“全片看完”再作答。它得边看边记,还得在不知道之后会被问什么的前提下,判断哪些画面值得留下。南开大学、字节跳动等机构的论文提出了DeltaStreamer系统,想啃下的就是这块听着简单、做起来极难的骨头。
流媒体视频理解
很多图像和视频大模型走的是另一条路:先拿到完整视频,通盘分析一遍,再回答问题。好比考试前把整本书翻完再动笔,时间充裕得很。
现实里没这么从容。监控摄像头在直播,机器人在实时感知环境,自动驾驶系统持续观察路况——视频一帧一帧流进来,提问可能出现在任何时刻,甚至事件过去很久才被问起。系统只能靠“已经看过的部分”,不能偷看未来,也无法预知该重点记住什么。
流媒体视频理解
现有方案大致分三条路。一条是做
三条路都在使劲琢磨“怎么把东西塞进有限的记忆预算”,可它们身上有同一个要命的短板。
头一个毛病:这些方法记下的往往是“当前长什么样”,而非“发生了什么变化”。连续几帧内容常常高度相似,系统若每帧都生成差不多的描述,重复文字就会疯狂挤占有限的记忆空间,真正标志事件转折的关键瞬间,反倒被一堆雷同描述淹没。
第二个毛病更棘手:某一帧画面过去之后,能留下的证据只有当初记下的那点文字。当时没写进某个细节,事后问题恰好问到它,也补不回来了——原始画面已经不在系统的“视野”里。
两件事合在一起说明:现有系统在“记忆预算”的管理上费了大功夫,却很少去想“怎么记录变化”“怎么找回遗漏的证据”这两个更根本的问题。
论文团队给出的解法,说白了很朴素:让系统像人一样看视频。
人追剧时怎么做?不会把每一帧死记硬背下来,而是盯住“发生了什么变化”——谁进门了、谁打开了一个东西、剧情在哪里转折。这些变化撑起了记忆的骨架。等有人问起某个具体细节,比如某个角色衣服是什么颜色,记不清了怎么办?会在脑子里“倒带”,回放那段记忆去确认。
DeltaStreamer把这两件事变成了系统能力:持续观察时主动记录变化,被提问时能“回放”历史画面核实细节。
变化感知记忆
DeltaStreamer的第一个核心设计叫
delta(增量/变化)
具体做法是:系统处理每个采样帧时,不单独描述这一帧,而是把它和前一帧摆在一起,让一个视觉语言模型同时产出两样东西——这一帧的结构化场景描述,涵盖人物、物体、动作、画面中的文字、场景信息;以及与上一帧相比究竟变了什么。
视觉语言模型(VLM)
有个细节容易被忽略,却很关键:论文专门设计了一套“
这个思路类似写旅行日记。每天事无巨细地记“今天天气晴,我吃了早饭,走了很多路”,本子很快写满,回头翻却找不到重点。真正有价值的日记,记的是“今天在路口遇到一只会说话的鹦鹉”这种突变。若不这么记,只按流水账写每天的状态,几周后翻日记想找“那只鹦鹉是什么时候出现的”,就得把整本从头翻到尾,因为每页看着都差不多。
论文的消融实验也印证了这一点。在
有分层、可溯源的记忆结构:记忆不是一个黑箱,而是一张带地址的地图
光把变化记下来还不够。视频越看越长,记忆也会跟着无限膨胀。DeltaStreamer的做法是用一套三层的有向无环图结构来组织记忆。
三层记忆结构
这套结构最妙的地方在于
这就像图书馆的索引系统。一本厚厚的书,没有目录也没有索引,想找某个具体段落只能从头翻到尾;换成有分级的目录,从“总目录”到“章节标题”再到“具体页码”层层嵌套,定位就快了,找到原文的能力也没丢。DeltaStreamer如果只留摘要、不留下指向原始观察的指针,摘要一旦漏掉某个细节,这个细节就永远消失了——现有多轮对话方法的痛点正在这里。
除此之外,系统还维护了一个
消融实验显示,把分层记忆换成扁平记忆,分数从66.07掉到61.25;去掉有向无环图结构,分数掉到62.73;去掉
贝叶斯在线变点检测(BOCPD)
这套方法的意义在于,系统不必在“记住大概”和“保留细节入口”之间非此即彼,两者可以兼顾。
问题驱动的规划:带着明确目标去翻找证据
前面两个设计解决的是“怎么记”,接下来要解决的是“问题来了之后怎么找”。
这就是
规划器生成的是一份结构化的计划,几个关键字段都在里面:需要什么证据、证据的时间锚点在哪里、这是谁的视角(比如是不是第一人称问题)、需要什么类型的信息(时间顺序、空间方位还是数量统计)、证据大概藏在过去、现在还是未来,以及有没有“无法回答”这个选项。
计划一旦生成,就会一路带在后续所有推理步骤里,不是问完一次就扔掉。论文把这个叫做“
想象你去图书馆找一本很冷门的书。每走到一个书架前都重新想一遍“我到底要找什么”,效率低,还容易跑偏。出发前在纸条上写清楚“找20世纪30年代关于航海的德语小说,作者姓氏以M开头”,这张纸条就能一路带着,每到一个区域拿出来核对,不用每次重新思考目标是什么。没有这张持久化的计划,系统在翻查记忆的过程中很容易逐渐偏离最初的问题核心,尤其是需要连续调用多个工具的时候。
消融实验把规划器拆得很细。不用规划器时,总分是59.30,幻觉检测(HLD)子任务只有45.28分;仅加入计划生成这一步,总分升到63.85,HLD飙升到65.83;再加上“计划持久化”这一步,总分到64.77;加上视角字段(POV),到65.14;最后加上完整的证据指南,到66.07,HLD达到69.89。
这里有个特别值得玩味的细节,
更有意思的是交叉实验:delta记录、分层记忆、规划器这三个组件,两两组合、三者全开,结果各不相同。单独开启分层记忆再叠加delta,只带来0.93分的提升;同时开启规划器之后,叠加delta的提升幅度一下子跳到4.95分。几个组件之间不是简单的加法关系,而是存在协同效应:记忆再丰富,也得系统知道该找什么才真正发挥作用;规划能力同样受益于明确的变化记录和可追溯的来源信息。三者全开的组合,分数全面超过了所有单独和两两组合的设置。
回溯验证与targeted replay:当文字记忆靠不住的时候,回去看原始画面
记忆系统设计得再精巧,文字描述终究有局限。一段话不可能把画面里的所有细节都写进去,总会有取舍。那怎么办?
DeltaStreamer给出的答案是
这个机制有两个触发入口。一是智能体自己意识到需要某个视觉细节而当前记忆里没有,主动请求;二是系统内置了一个基于规则的
验证器
说白了,这套机制跟法庭上核对证据是一回事。证人各说各话(对应文字记忆),法官不会随手挑一方信了,得去调监控(对应回放原始帧)才能弄清到底发生了什么。少了“调录像”这一步,系统面对互相打架的记忆描述,只能硬着头皮选一个,准确率当然要打折扣。
消融实验把这件事的分量摆了出来。工具全开时总分66.07;拿掉replay,分数降到63.28,在全部工具移除实验里跌幅排第一。作为对照,去掉物体追踪(tracking)是65.31,去掉放大裁剪(zoom)是64.16,都没replay掉得这么狠。有些信息文字记忆打从一开始就没记下来,只能回到像素级的原始画面去补。
论文里有个很生动的例子。一个场景中,有人问“刚才走过的那辆车是什么颜色”,系统发现记忆里确实记录了“一辆车经过”,但颜色信息没有写进去。系统于是主动触发回放,跳回那个时间点重新审视画面,最终确认答案是绿色。文字记忆和像素证据在这里正好互补:delta记录保证了“有辆车经过”这件事不会被遗忘,replay保证了遗漏的细节还有机会被补上。
数据说话:在两个权威基准上的实测表现
设计思路讲了不少,最后还得拿实测成绩说话。
在
OVO-Bench
在
StreamingBench
论文同样没有回避弱点:在“主动输出”(PO,Proactive Output)这一子任务上,DeltaStreamer仅得10.40分,成绩偏弱。可见“证据找得准”与“该在什么时机开口”是两种能力,把证据收集做好,并不等于能自动解决“何时主动回应”这个更难的时序判断。
这种自我批评并不多见,不少论文更愿意只讲长处。也正因如此,这个短板反倒让整项研究的可信度多了几分。
记忆规模的统计里还有些耐人寻味的信息。OVO-Bench上,每个样本平均积累70.85次视觉观察,单条观察描述平均1279个字符,delta字段平均155个字符;任务完成时,工作记忆平均存下131.91条记录,生成11.68个情景摘要。回放工具则很少被动用,平均每个问题只调用0.17次。这正好对应论文的设计初衷:回放属于“按需使用”的精细手段,非常规操作;多数情况下靠记忆检索加当前画面就能作答,只有碰上真正棘手的细节才启用这个成本较高的工具。
写在后面
读这篇论文时,打动我的不是技术细节本身,而是它选定的参照系:人怎么看视频。这话听着像理所当然,可真要拆成能落地的系统设计,难度比想象中大得多。
有个细节我琢磨了很久。论文写道,系统遇到第一人称视角的问题,例如“我和谁说过话”,得先判断“我”是谁。这看似很小的技术点,背后却牵着一个不浅的认知问题:画面中央那个清晰完整的人,很可能并非提问者本人——提问者戴着摄像头,自己的身体往往只在画面边缘露出手脚。这种“主体不在画面中心”的错位,正是不少AI系统容易答错之处,论文为此专门设计了一套视角判断逻辑。很多看着简单的问题,拆开来全是陷阱。
另一个意外来自消融实验里的交叉效应。单独加入delta记录,提升不到1分;可一旦配上规划器,提升就接近5分。评价一个技术组件“有没有用”,容易掉进孤立评估的误区。组件的价值也许恰恰取决于另一个组件是否同时在位,脱离协同关系单看,很容易低估它真正的分量。
论文也留下一个未解的问题,就是前面说的“主动输出”时机判断。知道答案,和知道什么时候该把答案说出来,是两种完全不同的能力。前者考验信息收集与推理,后者更像社交直觉和场景判断。系统能把证据找得滴水不漏,却仍不知道答案该在何时主动蹦出来,这个gap怎么填,恐怕不是多堆几层记忆就能解决的。
Q&A
Q1:DeltaStreamer是什么?
A:DeltaStreamer是一个面向流媒体视频理解的智能体框架。它模仿人看视频的方式,持续记下画面中的变化;用户提问后,它主动规划证据收集路径,必要时回放历史画面,把文字记忆里漏掉的细节找回来。
Q2:DeltaStreamer和普通视频AI模型有什么区别?
A:普通视频模型大多要先拿到完整视频再分析,DeltaStreamer则专为帧一帧一帧实时到达、问题随时可能冒出的场景而设计。它持续更新结构化记忆,记录帧与帧之间的具体变化,而不只是静态描述每一帧内容。
Q3:DeltaStreamer在实际测试中表现如何?
A:OVO-Bench基准上总分达到66.07%,超过Gemini 3 Flash等强模型;在