双流卷积网络:让神经网络分开看“长什么样”和“怎么动”
2014 年的夏天,意大利佛罗伦萨大学的 Karen Simonyan 和 Andrew Zisserman 提交了一篇论文,题目很朴素,叫《Two-Stream Convolutional Networks for Action Recognition in Videos》。如果你今天回头看这份工作,会发现它几乎是用
2014 年夏天,意大利佛罗伦萨大学的 Karen Simonyan 和 Andrew Zisserman 交出一篇论文,题目起得挺朴实——《Two-Stream Convolutional Networks for Action Recognition in Videos》。今天再翻这份工作,它回答的其实是一个当时不少团队默认“不太好解”的问题:视频动作识别,究竟该让神经网络看什么。要弄清它的分量,先得回到它出现之前的局面。
2014 年以前,视频理解的路子并不好走;另一边,图像领域刚被震过一次。2012 年的那场变化,让很多人以为把同样的办法搬到视频上就能成。
试过的人不少,效果却一般。早期把视频当作一摞图片塞进网络的做法,成绩常卡在 50% 到 60% 之间,比不过密集轨迹那套老方法。深度学习在视频上的表现,当时就摆在这个尴尬区间里。Simonyan 和 Zisserman 把困惑的根子看得很准:视频和图片的区别不是“多了一维”这么简单,视频除了静态外观,还多了一样东西——运动。
卷积网络*:一种能从原始像素里自动学特征的神经网络结构,靠卷积核在图像上滑动来提取局部模式。
光流
人和动物判断动作,用的恰恰是这两类信息。看人打网球,你既看得见他的姿态、球拍和场地,也看得见他怎么挥拍、球怎么飞。只抓其中一条,判断都会打折扣。那为什么不让神经网络也分两路走,一路管外观,一路管运动?
论文的核心思路就在这儿:把视频拆成两个流。
先看
时间流更值得细看。相邻两帧之间的运动可以用光流表示,但光流不能直接往网络里塞。作者为此做了几个具体决定,每一个都有代价。
头一个决定,是把光流拆成水平、垂直两个通道,各自当成一张“图”送进网络。为什么不把光流编码成一个向量直接输入?因为 x 方向和 y 方向的位移分成两张通道图之后,网络就能像处理 RGB 三通道那样处理它们,卷积核在空间上滑动的逻辑照样成立。硬把两个方向揉成一个数,比如去算速度大小和角度,网络就分不清“向左快速移动”和“向右快速移动”——角度会绕圈,速度大小又把方向混成一团。
打个日常的比方:你打电话给一个没走过这段路的朋友指路,有两种说法。一种说“先往东走两百米,再往北走一百米”,每个方向的位移都交代清楚;另一种说“先往右下角方向走大概两百二十米”。后者听着省事,可对方一转身就不知道该往哪走了。光流的两个通道就是那句“往东两百米、往北一百米”,保住的是方向上的可分辨性。
第二个决定跟光流怎么输入有关。光流带来的是密集的运动信息,但作者留意到一个细节:真正有用的运动往往集中在动作主体附近,背景里大片光流是噪点。他们于是试着把光流输入和图像里“人”的位置结合起来,用类似姿态相关的信息去强调主体的运动区域。这条路没成为论文主线,却藏着一个判断:运动信息是密集的,但网络得被引导着去看对的地方。
第三个决定也是全文最有意思的部分:怎样把很多帧的运动信息并成一个输入。视频不是静止的,一秒钟几十帧,每帧都在产生光流。只喂一帧光流,网络看到的是一个瞬间的速度,根本不知道动作持续了多久、在加速还是减速。
作者用了
这个设计有个容易被人忽略的代价。堆叠 L 帧,网络输入的数据量就比单帧多出 L 倍,训练和推理成本跟着往上走;何况不同动作时长差得远,一个“挥手”可能半秒就完,一个“跳高”要好几秒,拿固定窗口去套所有动作,注定会切掉一部分信息。作者没绕开这个问题,而是在实验里验证了窗口长度的影响,在性能和成本之间找折中。
再换个场景想:你要向一个人描述足球比赛里那脚精彩进球。只给他看进球瞬间的一张截图,他只知道有人抬了脚;给他看一张把连续三十帧球员位置叠在同一张纸上的“轨迹图”,他就能看到人从左边跑到右边、球从脚下飞出去。堆叠光流做的就是这张轨迹图,代价是图很厚,翻起来更费劲。
两个流各自训练好,还剩最后一个问题:怎么把两边的判断合起来。作者试过两种办法,一种是简单平均,把两个流输出的类别概率直接相加;另一种是训练一个小 SVM,拿两路得分当输入去学权重。结果显示,
这个现象得单独说一句。假如空间流和时间流看到的东西高度重叠,融合之后就不会有明显提升,因为它们只是在重复同一个判断。可实验里融合带来的提升是实打实的,这说明“长什么样”和“怎么动”确实是两个独立的信息源,少哪个都会掉分。
论文在
| 方法 | UCF-101 准确率 | HMDB-51 准确率 |
|------|------|------|
| 密集轨迹(当时最强手工方法) | 约 87% | 约 60% |
| 空间流单独 | 73.0% | 40.5% |
| 时间流单独 | 83.7% | 55.4% |
| 双流融合 | 88.0% | 59.4% |
只看空间流的话,73.0% 这个成绩确实算不上亮眼,连手工特征都比它强。时间流单独跑出 83.7%,已经贴近密集轨迹的水平。两路一融合,UCF-101 上到了 88.0%,HMDB-51 上也接近手工方法的表现。视频动作识别这个任务上,深度学习头一回跟手工特征打成了平手,还略微占了一点上风。
放在当时的语境里,这个结果指向很明确:视频动作识别用不着另起炉灶去设计全新的网络结构,把“外观”和“运动”两路信息分别交给成熟的图像分类网络去处理,再做融合,就能走到手工特征辛苦多年才抵达的位置。
这篇论文还留了不少可以接着往下走的方向。三年之后,Feichtenhofer 等人在 2016 年的 CVPR 上发表了《
有一点要说清楚,这篇论文的作者,和同期的
回到论文本身。它没拿出什么炫技的结构,两个流、光流堆叠、得分融合,每一步都朴素得很。可恰恰是这种朴素,让它变成了一个标准范式。后来做视频理解的人,几乎都会扪心自问:我这儿有没有把外观和运动分开来考虑?
写在后面
读这篇论文时,我有一个很具体的感觉:它其实是用相当工程化的手段,去回答一个认知科学的问题。人看视频,视网膜收到的信号是混在一处的,但大脑会自己把“这是什么”和“它在怎么动”拆成两条通路来处理,视觉皮层里的
另一点让我停下来想了会儿的是,论文在 HMDB-51 上的成绩其实不算强。融合后只有 59.4%,连密集轨迹都没超过。单看这个数字,会觉得双流在更难的数据集上还差得远。不过论文没在这上面纠缠,重心放在了 UCF-101,并且明确指出光流计算本身就是这套方法的一个瓶颈。这份坦诚挺难得——光流算法的质量和速度,直接决定时间流的上限,而 2014 年的光流算法在复杂场景下还很不稳定。
没解决的问题也摆得很清楚:整套方法依赖预先算好的光流,系统因此不是端到端可训练的模型,光流质量一差,时间流跟着就差。后来的工作花了很大力气去啃这件事,有人试着让网络自己学运动表示,有人直接把三维卷积塞进网络。这条路走了很多年。
反过来想还有个细节:双流网络中所谓“时间流”,说到底靠光流撑起来;而光流是手工设计的,基于
Q&A
Q1:双流网络是什么意思?
A1:所谓双流网络,就是把视频拆成两条路分别处理的卷积网络。一条叫空间流,看的是单帧彩色图像,管的是判断画面里有什么;另一条叫时间流,看的是多帧堆叠的光流场,管的是判断东西在怎么动。最后把两路的分类得分融合,得出最终结果。
Q2:时间流为什么要堆叠多帧光流?
A2:单帧光流只反映一瞬间的运动速度,动作持续多久、是在加速还是减速,网络从中看不出来。把连续十帧左右的光流叠起来,等于给了网络一个大约零点三秒的观察窗口,一段运动的变化过程就能被它看到了。
Q3:双流网络在动作识别上真的超过手工特征了吗?
A3:在 UCF-101 数据集上确实如此,双流融合达到百分之八十八,略高于密集轨迹方法的百分之八十七左右。可在 HMDB-51 上,融合后只有百分之五十九点四,仍未超过手工方法。这是深度学习第一次与手工特征站在同一水平线上。