Google等推StreamVibe：让视频Agent读懂用户变化中的意图

Meta 的 Muse、OpenAI 的 Dot 等产品近来接连亮相，Personal Agent（个人智能体）因此再度成为大模型领域的热点。这类 Agent 和传统对话助手不一样，不再只停留在答疑，而是能结合用户的个人背景、历史记忆和应用上下文，主动去执行任务，并把长期目标一直推下去。一个更主动、能长期陪伴用户的 AI 助手，正一步步走近现实。

不过，长期记忆只是 Personal Agent 的起点。记得用户过去做过什么，不等于就能明白用户此刻要什么。真实场景里，用户往往不会把每个需求都说出口。做菜时一遍遍看步骤、操作软件卡住了，或者任务进行到一半临时改主意，这些细小的行为和环境变化，都可能暗示着新的协助需求。怎样从不断变化的环境里捕捉这些信号，读懂用户还没说出口的意图，并判断什么时候、以什么方式出手帮忙，是 Personal Agent 走进真实世界绕不开的关键问题。

针对这一点，Google 等研究团队提出了 StreamVibe，把目光放在动态环境下的主动式视频智能体上。研究借助持续的视频观察与交互，让 Agent 不光能识别用户明说的需求，还能发现藏在行为里的潜在意图，并随着任务推进不断更新对用户目标的理解。团队还搭建了覆盖显式、隐式及动态演变需求的评测与训练体系，摸索如何让 Agent 从被动等指令，转向持续理解用户、适时主动介入并灵活调整协助方式的智能伙伴。

• 论文标题：StreamVibe: Proactive Video Agents for Evolving User Intent

• 论文地址：https://arxiv.org/pdf/2610.34662

• 项目主页：https://stream-vibe.github.io/

视频链接：https://mp.weixin.qq.com/s/aWFQ5IAgweM01dV976GEng

现实交互中，用户意图会一直变

“水开了提醒我”和“帮我把这道菜做好”，对助手的要求并不一样。前一句已经把触发条件说死了，后一句只给了目标，助手得结合正在发生的事，判断何时介入、提供什么帮助。

真实任务还会不断冒出新信息。用户可能已经做完某一步，刚才还有用的建议这会儿就成了重复提醒；也可能临时改要求，原来的计划随之作废。就算把完整历史都存下来，助手仍要分清：哪些要求还有效，哪些步骤已经完成，眼前的新情况又意味着什么。

所以 StreamVibe 把主动视频交互放进了持续变化的用户—助手—环境关系里。模型既要看懂当前的视觉证据，也要结合此前的交流和用户的新反馈，更新对任务与意图的判断。

图 1 为 StreamVibe 研究概览：上半部分呈现显式、隐式与动态意图三种情形下的持续交互，下半部分则梳理出对明确请求的依赖、状态跟踪不足以及意图更新困难。

这对 Personal Agent 也提出了更具体的能力要求：记住过去的同时，还得持续从新交互里获取证据，形成对当前任务的有效理解。

三类用户意图，放进同一套评测

团队搭起了 StreamVibe-Bench，现实活动与数字界面任务都覆盖，并按意图的明确程度和变化方式分成三个层次。

显式意图由用户指定事件或条件，比如“水烧开时告诉我”，涵盖单次事件、状态转变和重复事件。隐式意图只给总体目标，比如“帮我完成这道菜”，助手要依据过程推断帮忙的时机，涵盖指导、学习、监测与工具使用。

动态意图则进一步考虑任务中的需求变化：Revision 修改已有要求，Composition 叠加新目标或约束，Interruption 插入需要即时处理的问题。助手得更新当前任务状态，同时继续维护仍然有效的需求。

图 2：StreamVibe-Bench 的构建与统计，包含候选帮助点标注、人工核验、三类意图与场景分布，以及逐点和轨迹评测。

基准共有 4,100 个评测样本、20,546 个帮助点和 183.4 小时视频，三类意图的样本量分别是 600、2,000 和 1,500。每个候选帮助点都带响应时间窗口与参考回答，经四位评审独立核验、全部通过才留下。

评测既看单个时刻的局部判断，也看完整视频流中的持续交互。后者让模型接着自己的历史输出继续跑，能暴露重复提醒、漏答、错误累积和意图跟踪失误。

让模型学会主动回应，并持续跟踪任务

StreamVibe 把问题拆成相互配合的两层：训练模型判断何时、如何提供帮助；运行时则根据新观察与反馈，持续更新意图、任务进度和相关记忆。

策略学习分两阶段训练。先做自适应流式监督微调，按训练分布平衡 silence 与 response 决策，同时学回答内容，免得模型一直不吭声或回应过头。接着做局部轨迹强化学习，围绕帮助点构造短时间的因果 rollout，用 GRPO 联合优化回应时机、内容质量与连续交互的一致性。

图 3：StreamVibe 方法框架。推理时持续维护当前状态与相关记忆；训练时结合自适应流式 SFT 和局部轨迹 RL。

训练数据含 70K 条任务相关 SFT 样本和 15K 个 RL 种子任务，合称 StreamVibe-85K；SFT 还混入 768K 条通用流式视频样本。强化学习既评估单次回应的时间与内容，也约束整段输出中的遗漏、重复和不一致。

在运行过程中，StreamVibe-Harness 会把当前活跃的意图、任务与环境进度连同已给出的回应一并留存。一旦有新信息进来，各项要求能够各自独立地新增、修订或结束；分层记忆负责保留近期细节、压缩较早的历史，并围绕当前任务检索相关证据。

这些信息交给模型后，由模型决定开不开口、说些什么；交互结果再写回状态与记忆，供后续决策使用。记忆与当下交互就这样一起支撑起对用户需求的持续理解。

实验结果

团队拿StreamVibe跟闭源模型、开源离线模型和开源流式模型做了对比。主表在±2秒的时间匹配容差下，把回应时机和内容质量一并报了出来，同时区分两种评测：一种是基于标准历史的逐点评测，另一种是使用自身历史输出的完整轨迹评测。

表 1：StreamVibe-Bench 的完整主实验结果，来自论文表 2。P、R、F1 衡量回应时机，FPR 衡量误触发，ANS 与 C-F1 衡量内容表现。

完整轨迹评测里，StreamVibe-VL（RL）在三类意图上的 Content F1 分别是 10.83、19.13 和 8.91，都高过论文列出的开源基线；跟 MMDuet2 比，分数差为 4.95、2.62 和 1.44。

逐点评测下，隐式意图的 Content F1 到了 61.28，动态意图则是 39.31。两种协议测的是不同条件下的能力：逐点判断能用标准历史，完整轨迹得承接自己的输出，所以两类数值不能直接混着用。

这套能力还迁移到了外部主动交互基准上：EgoProactive 的 Macro 分数从基座的 46.2 升到 59.5，IPIBench 的 Understanding 分数从 9.8 升到 20.4；通用视频理解能力也保住了。

持续交互仍然是主要挑战

完整结果表还说明一件事：局部判断对，不代表助手全程都能可靠干活。论文接着分析了意图与任务类型、误触发、自生成历史和交互时长各自对模型表现的影响。

图 4 展示主动交互诊断的结果（论文图 5）：意图和子类型的差异、召回与误触发之间的取舍，以及模型自己生成的历史和完整轨迹各自对表现的作用。

先说内容质量。隐式和动态需求这两块都还有明显的提升余地——助手既得看出用户没直接讲出口的需求，也得跟住修订、叠加和中断带来的变化。再说召回，召回越高，误触发往往越多，覆盖帮助机会和避免打扰之间还是不好平衡。

自生成历史会把问题放大：前面的错误可能带偏后面的判断，内容质量跟着往下掉。只考察独立时刻的评测看不出这层差距，完整轨迹更能暴露出来，也更贴近持续协助的实际要求。

策略学习与状态跟踪分别带来什么

论文比较了训练和状态管理，想分清这两类改进各自起什么作用。SFT 让模型更容易发现帮助机会，可也可能多出不必要的回应；RL 则进一步改善回应选择，把误触发压下去，回答质量也提上来。

图 5 对应论文图 6，考察交互长度、策略学习和状态管理带来的影响。左列看的是时长，以及动态意图在前半程和后半程的差别；中列把 SFT 和 RL 放在一起比较；右列则分析 Harness 会怎么变。

策略固定时把 Harness 加进去，论文的分析显示不必要的回应又少了一些，动态意图的改善更明显。不过指标之间仍有取舍，状态管理并不等于所有指标一起往上走。

图中六模型均值还显示，视频越长，Timing F1 越低；Revision 后半程的召回掉得更明显。用户持续改要求时，助手得反复确认哪些意图还有效，光把历史原样留着不够。

对 Personal Agent 来说，这两条路径是互补的：策略学习改善对眼前证据的判断，状态与记忆管理则让后续决策始终围着当前有效的需求转。

结语

Personal Agent 要真正做到个性化，光记住用户过去的信息不够，还得在实际交互中不断理解用户当下的需求。未来的 Personal Agent 应形成“用户—环境—Agent”的持续交互闭环：通过用户的行为与反馈了解需求，通过环境变化判断任务进展，并在交互过程中不断调整对用户意图的理解和协助方式。StreamVibe 为这个方向做了初步探索——靠交互策略学习和持续状态管理，Agent 能跟踪任务进展，也能根据用户需求的变化调整协助策略。

未来还有不少问题要研究：怎么把这套能力拓展到更长时间跨度、更复杂的真实场景，怎么充分利用用户在交互过程中给出的反馈。