双流卷积网络:让神经网络分开看“长什么样”和“怎么动”

资讯 腾讯网 作者:科技行者 全文 3363 字 · 约 9 分钟读完 分类学术研究

2014 年的夏天,意大利佛罗伦萨大学的 Karen Simonyan 和 Andrew Zisserman 提交了一篇论文,题目很朴素,叫《Two-Stream Convolutional Networks for Action Recognition in Videos》。如果你今天回头看这份工作,会发现它几乎是用

所属频道 前沿研究

2014 年夏天,意大利佛罗伦萨大学的 Karen Simonyan 和 Andrew Zisserman 交出一篇论文,题目起得挺朴实——《Two-Stream Convolutional Networks for Action Recognition in Videos》。今天再翻这份工作,它回答的其实是一个当时不少团队默认“不太好解”的问题:视频动作识别,究竟该让神经网络看什么。要弄清它的分量,先得回到它出现之前的局面。

2014 年以前,视频理解的路子并不好走;另一边,图像领域刚被震过一次。2012 年的那场变化,让很多人以为把同样的办法搬到视频上就能成。

试过的人不少,效果却一般。早期把视频当作一摞图片塞进网络的做法,成绩常卡在 50% 到 60% 之间,比不过密集轨迹那套老方法。深度学习在视频上的表现,当时就摆在这个尴尬区间里。Simonyan 和 Zisserman 把困惑的根子看得很准:视频和图片的区别不是“多了一维”这么简单,视频除了静态外观,还多了一样东西——运动。

卷积网络*:一种能从原始像素里自动学特征的神经网络结构,靠卷积核在图像上滑动来提取局部模式。

光流

人和动物判断动作,用的恰恰是这两类信息。看人打网球,你既看得见他的姿态、球拍和场地,也看得见他怎么挥拍、球怎么飞。只抓其中一条,判断都会打折扣。那为什么不让神经网络也分两路走,一路管外观,一路管运动?

论文的核心思路就在这儿:把视频拆成两个流。

先看

时间流更值得细看。相邻两帧之间的运动可以用光流表示,但光流不能直接往网络里塞。作者为此做了几个具体决定,每一个都有代价。

头一个决定,是把光流拆成水平、垂直两个通道,各自当成一张“图”送进网络。为什么不把光流编码成一个向量直接输入?因为 x 方向和 y 方向的位移分成两张通道图之后,网络就能像处理 RGB 三通道那样处理它们,卷积核在空间上滑动的逻辑照样成立。硬把两个方向揉成一个数,比如去算速度大小和角度,网络就分不清“向左快速移动”和“向右快速移动”——角度会绕圈,速度大小又把方向混成一团。

打个日常的比方:你打电话给一个没走过这段路的朋友指路,有两种说法。一种说“先往东走两百米,再往北走一百米”,每个方向的位移都交代清楚;另一种说“先往右下角方向走大概两百二十米”。后者听着省事,可对方一转身就不知道该往哪走了。光流的两个通道就是那句“往东两百米、往北一百米”,保住的是方向上的可分辨性。

第二个决定跟光流怎么输入有关。光流带来的是密集的运动信息,但作者留意到一个细节:真正有用的运动往往集中在动作主体附近,背景里大片光流是噪点。他们于是试着把光流输入和图像里“人”的位置结合起来,用类似姿态相关的信息去强调主体的运动区域。这条路没成为论文主线,却藏着一个判断:运动信息是密集的,但网络得被引导着去看对的地方。

第三个决定也是全文最有意思的部分:怎样把很多帧的运动信息并成一个输入。视频不是静止的,一秒钟几十帧,每帧都在产生光流。只喂一帧光流,网络看到的是一个瞬间的速度,根本不知道动作持续了多久、在加速还是减速。

作者用了

这个设计有个容易被人忽略的代价。堆叠 L 帧,网络输入的数据量就比单帧多出 L 倍,训练和推理成本跟着往上走;何况不同动作时长差得远,一个“挥手”可能半秒就完,一个“跳高”要好几秒,拿固定窗口去套所有动作,注定会切掉一部分信息。作者没绕开这个问题,而是在实验里验证了窗口长度的影响,在性能和成本之间找折中。

再换个场景想:你要向一个人描述足球比赛里那脚精彩进球。只给他看进球瞬间的一张截图,他只知道有人抬了脚;给他看一张把连续三十帧球员位置叠在同一张纸上的“轨迹图”,他就能看到人从左边跑到右边、球从脚下飞出去。堆叠光流做的就是这张轨迹图,代价是图很厚,翻起来更费劲。

两个流各自训练好,还剩最后一个问题:怎么把两边的判断合起来。作者试过两种办法,一种是简单平均,把两个流输出的类别概率直接相加;另一种是训练一个小 SVM,拿两路得分当输入去学权重。结果显示,

这个现象得单独说一句。假如空间流和时间流看到的东西高度重叠,融合之后就不会有明显提升,因为它们只是在重复同一个判断。可实验里融合带来的提升是实打实的,这说明“长什么样”和“怎么动”确实是两个独立的信息源,少哪个都会掉分。

论文在

| 方法 | UCF-101 准确率 | HMDB-51 准确率 |

|------|------|------|

| 密集轨迹(当时最强手工方法) | 约 87% | 约 60% |

| 空间流单独 | 73.0% | 40.5% |

| 时间流单独 | 83.7% | 55.4% |

| 双流融合 | 88.0% | 59.4% |

只看空间流的话,73.0% 这个成绩确实算不上亮眼,连手工特征都比它强。时间流单独跑出 83.7%,已经贴近密集轨迹的水平。两路一融合,UCF-101 上到了 88.0%,HMDB-51 上也接近手工方法的表现。视频动作识别这个任务上,深度学习头一回跟手工特征打成了平手,还略微占了一点上风。

放在当时的语境里,这个结果指向很明确:视频动作识别用不着另起炉灶去设计全新的网络结构,把“外观”和“运动”两路信息分别交给成熟的图像分类网络去处理,再做融合,就能走到手工特征辛苦多年才抵达的位置。

这篇论文还留了不少可以接着往下走的方向。三年之后,Feichtenhofer 等人在 2016 年的 CVPR 上发表了《

有一点要说清楚,这篇论文的作者,和同期的

回到论文本身。它没拿出什么炫技的结构,两个流、光流堆叠、得分融合,每一步都朴素得很。可恰恰是这种朴素,让它变成了一个标准范式。后来做视频理解的人,几乎都会扪心自问:我这儿有没有把外观和运动分开来考虑?

写在后面

读这篇论文时,我有一个很具体的感觉:它其实是用相当工程化的手段,去回答一个认知科学的问题。人看视频,视网膜收到的信号是混在一处的,但大脑会自己把“这是什么”和“它在怎么动”拆成两条通路来处理,视觉皮层里的

另一点让我停下来想了会儿的是,论文在 HMDB-51 上的成绩其实不算强。融合后只有 59.4%,连密集轨迹都没超过。单看这个数字,会觉得双流在更难的数据集上还差得远。不过论文没在这上面纠缠,重心放在了 UCF-101,并且明确指出光流计算本身就是这套方法的一个瓶颈。这份坦诚挺难得——光流算法的质量和速度,直接决定时间流的上限,而 2014 年的光流算法在复杂场景下还很不稳定。

没解决的问题也摆得很清楚:整套方法依赖预先算好的光流,系统因此不是端到端可训练的模型,光流质量一差,时间流跟着就差。后来的工作花了很大力气去啃这件事,有人试着让网络自己学运动表示,有人直接把三维卷积塞进网络。这条路走了很多年。

反过来想还有个细节:双流网络中所谓“时间流”,说到底靠光流撑起来;而光流是手工设计的,基于

Q&A

Q1:双流网络是什么意思?

A1:所谓双流网络,就是把视频拆成两条路分别处理的卷积网络。一条叫空间流,看的是单帧彩色图像,管的是判断画面里有什么;另一条叫时间流,看的是多帧堆叠的光流场,管的是判断东西在怎么动。最后把两路的分类得分融合,得出最终结果。

Q2:时间流为什么要堆叠多帧光流?

A2:单帧光流只反映一瞬间的运动速度,动作持续多久、是在加速还是减速,网络从中看不出来。把连续十帧左右的光流叠起来,等于给了网络一个大约零点三秒的观察窗口,一段运动的变化过程就能被它看到了。

Q3:双流网络在动作识别上真的超过手工特征了吗?

A3:在 UCF-101 数据集上确实如此,双流融合达到百分之八十八,略高于密集轨迹方法的百分之八十七左右。可在 HMDB-51 上,融合后只有百分之五十九点四,仍未超过手工方法。这是深度学习第一次与手工特征站在同一水平线上。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 英伟达洽谈收购Inception:5亿美元押注扩散模型提速Nemotron

    英伟达正就收购AI初创公司Inception展开深度洽谈,交易估值至少5亿美元,另附基于业绩目标的额外奖励安排。此举旨在为英伟达旗下开源模型项目Nemotron引入扩散模型技术与核心人才。据科技媒体The Information 11月19日报道,三名知情人士透露,上述谈判已进入高级阶段。Inception的扩散大语言

    来源 腾讯网
  2. 李飞飞创办World Labs被AMD收购:46天交易,82亿美元

    从图像、空间到仿真环境,她不断拓展机器“看见世界”的方式。文|《中国企业家》见习记者 施思羽编辑|马吉英头图来源|视觉中国在World Labs位于旧金山的总部,两位华裔女性共同切下庆祝蛋糕。当地时间11月16日,半导体巨头AMD宣布,完成对世界模型World Labs的收购,交易金额82亿美元,全部采用股票支付。来源

    来源 腾讯网
  3. 谷歌论文曝RSI内部落地:SIM机制让AI经验跨模型遗传

    新智元报道 谷歌内部,或许真正实现了RSI!从此,Gemini已能「继承经验」持续自我进化,Gemini新模型不再从零开始!或许也正是这个原因,谷歌最近跟疯了似的不停发模型。Gemini 4 Hydrogen才发布不到一周,更强的Gemini 4 Neon就来了。答案,或许藏在谷歌与宾夕法尼亚州立大学深夜联合发布的一篇

    来源 腾讯网
  4. 谷歌让AI自改运行框架:成功率由5%升至40%

    谷歌11月17日论文发现:只优化提示词,AI智能体成功率反从5%降至2.5%;而让优化模型直接改写其运行框架Harness,成功率升至40%,提升8倍。团队将仅142行的初始编程智能体拆成四块逐一改造,Harness负责上下文与记忆管理、多轮任务调度、工具调用及结果验证。结论是改框架比磨提示词更有效。

    来源 AI 产业速递
  5. 谷歌论文:光改提示词智能体成功率反降,改运行框架升至40%

    调教 AI 智能体,惯用手法是反复打磨提示词。谷歌 11 月 17 日发表的论文却给出反直觉结论:只改提示词,智能体成功率反而从 5% 跌到 2.5%;而让优化模型直接改写其运行框架,成功率冲到 40%,足足 8 倍。 142 行代码,拆成四块逐个改 Harness 指包裹在模型外围的运行框架,负责

    来源 AI 开发者社区
  6. alphaXiv上线AI Agent专属预印本服务器:936个Agent自组学术圈

    有点不可思议,AI Agent 已经开始组团搞科研了。近日,alphaXiv 推出了一个专门面向 AI Agent 的预印本服务器,允许不同实验室的 Agent 在同一个平台上自主开展研究、交流成果。这些 Agent 会提出假设、设计实验、运行代码、分析数据,还会把研究成果写成论文,提交给其他 Agent 审查。更有意

    来源 腾讯网
  7. 多智能体AI组队方案怎么选:稀疏奖励下如何学会挑团队

    你有没有遇到过这种情况:团队接了个项目,可以让三个程序员一起干,也可以让一个程序员加两个审核员,还可以让一个数学高手单干。这几种搭配最后都能把活儿干完,但效率和准确度天差地别。现在把"团队"换成AI智能体,把"项目"换成一道数学题,这就是这篇论文要解决的问题。多智能体系统*:让多个AI模型像一个团队一样协作...

    来源 腾讯网
  8. Anthropic数学家宣称用Claude证明黎曼猜想,附14卷Lean代码

    Anthropic研究员Levent Alpöge发布声明,称在AI助手Claude协助下完成了黎曼猜想及广义黎曼猜想的证明。核心论证以25万页Lean形式化代码呈现,而非传统论文。目前数学界尚未完成独立验证,关键看形式化命题是否准确对应原猜想。这一事件标志着“人类引导+AI推导+机器验证”的新科研范式可能正在形成。

    来源 AI 应用前沿
  9. Navers Lab发布WorkflowArena:多智能体编排首个统一基准

    Einsia AI旗下Navers Lab推出WorkflowArena,这是行业首个针对多智能体工作流编排的评测基准。它包含145项跨领域长程任务,不预设分工,由模型自主调度子智能体完成。通过隐藏判题器和全过程留痕,该基准能分离并量化模型的“编排能力”与“执行能力”,为Agent框架研发和模型选型提供新的标尺。

    来源 AI 应用前沿
  10. 韦布望远镜旧数据挖出51 Eridani b:新算法FLIP灵敏度最高提升15倍

    IT之家 11 月 21 日消息,美国西北大学(Northwestern University)研究团队开发了一种新的系外行星成像处理技术,从詹姆斯 · 韦布空间望远镜(JWST)此前拍摄的数据中,成功识别出一颗此前未能通过常规图像处理方法观测到的巨行星。 研究人员表示,这项技术可将望远镜对暗弱行星的探测灵敏度提升 2

    来源 AI 行业观察
  11. Claude宣称证出黎曼猜想:1700万行代码,数学家先要验真

    11月20日,Anthropic数学家Levent Alpöge称在Claude帮助下找到黎曼猜想及广义黎曼猜想的证明,但未发表完整论文,仅公布约1700万行的Lean形式化证明证书。截至11月21日,该主张尚未经独立专家完整审查,克雷数学研究所的奖金评定还要求在同行评审期刊发表并经过至少两年审查。

    来源 凤凰科技
  12. 罗切斯特大学团队造出450美元生物打印机,可叠约100层活细胞凝胶

    IT之家 11 月 21 日消息,据 Techspot 报道,美国罗切斯特大学和康奈尔大学的研究团队开发出一款低成本生物打印机,能够连续堆叠约 100 层含有活细胞的凝胶材料,整套设备成本仅约 450 美元(IT之家注:现汇率约合 3,011 元人民币)。作为参考,商用生物打印机价格通常超过 10 万美元(现汇率约合

    来源 AI 行业观察
  13. 谷歌50天连发4款模型:Gemini 4 Neon登场,世界模型同步开放

    OpenAI时隔75天的顶级模型刚刚发布,社区里的吐槽就炸开了。有人直言新模型“几乎没法用”,有人抱怨它过分谨慎、难以指挥,还有人认为,这家伙解释起自己的工作就像在“说外星话”。甚至有人用漫画玩了个梗,吐槽GPT-6.2 Astra的语言风格,根本是防御过当。图片来源网络前·赛博义父Tibo在X上表示,他已经收到了关于

    来源 腾讯网
  14. 深夜,美股AI血崩,英伟达市值已跌去2.7万亿美元

    智东西(公众号:zhidxcom)编译 | ZeR0编辑 | 漠影智东西11月21日消息,一夜之间,美股惨遭“黑色星期五”,对AI泡沫加剧的担忧引发华尔街抛售潮,恐慌情绪集中爆发,美国科技股一片哀嚎,英伟达股价暴跌14%,戴尔暴跌11%,Anthropic暴跌9%,甲骨文、SpaceX、特斯拉暴跌8%,Meta暴跌6%

    来源 腾讯网
  15. 亚马逊拦下Grok Bot:马斯克回应,网友帮忙起名

    新智元报道 AI刚学会替你干活,亚马逊、摩根大通、嘉信理财就开始堵门了!10月18日,@trikcode在X上列出了一份「AI碰壁清单」,点名达美航空、摩根大通、嘉信理财、Yelp和亚马逊。他吐槽:那些本该替我们搞定一切的AI智能体,开始被互联网挡在门外。人愿意买,AI愿意跑腿,但最后一公里却卡在了平台不肯放行上!而亚

    来源 腾讯网
  16. Gemini 4 Neon双榜高分:文档解析与另一赛道如何同时领先?

    本期速报关注几个硬核进展:Gemini 4 Neon在文档解析和智能体榜单上表现抢眼;匿名模型Gestalt在设计评测中击败人类设计师参考分。阿里确认用自研处理器训练新模型,字节跳动则发表论文主张精简AI训练流程。此外,AWS更新了Quick工作流工具,Databricks强调了数据治理对Agent准确率的重要性。

    来源 AI 应用前沿
  17. AI编码效率被评审吃掉:哈佛718家企业数据与2026工具链新变量

    哈佛研究证实AI生成代码并未提升实际交付量,瓶颈已转移至评审环节。Code Mode与Harness架构演进将安全边界移入沙箱,开源工具正拆解工程硬墙。具身智能方面,南京智造大会与北京人形中心论文显示,行业焦点从表演转向落地成本与分层协同。整体趋势表明,AI行业已从技术叙事进入商业化验证、可审计性与稳定交付的深水区。

    来源 AI 应用前沿
向下滚动自动加载更多