萨格勒布大学团队让AI看连续视频流，发现比想象中难得多

婴儿是怎么认东西的？这个问题你想过吗？

没人给他们贴标签，也没人告诉他们"这是猫"、"那是狗"。他们只是睁着眼，看这个世界一帧一帧流过。今天看到的客厅跟昨天差不太多，窗外的树光影慢慢变，妈妈的脸反复出现在不同角度。这是一种连续的、没有剪辑的视觉经验。

那问题就来了：眼下那些号称"像婴儿一样学习"的AI模型，真是这么学的吗？

答案可能让人意外。目前最主流的自监督学习方法，训练时用的图片都是从巨大的数据库里随机抽的，每一张跟前一张几乎没关系，整个数据集还会被反复打乱、反复看好几十遍。这跟婴儿的经验完全是两回事——婴儿看到的世界是连续的、有先后顺序的，而且每样东西通常只经历一次，不会被"回放"几十遍。

自监督学习

这种不需要人工标注答案、让模型自己从数据里找规律来学的训练方式，近年来是AI视觉领域的核心技术路线之一。

萨格勒布大学与纽伦堡科技大学做了一项研究，听着不难，却几乎没人真正做过：让AI模型像婴儿那样，按时间顺序一帧一帧地看一段连续视频流，顺序不能打乱，也不能反复多看几遍，更不能存一个“回忆库”随时调出旧画面。结果他们发现，这件事比想象中难得多。

这件事到底难在哪？

先说说现在AI视觉模型是怎么训练的。

先看两种最有代表性的做法。其一是对比学习，代表方法是MoCo，思路核心就是“比”：同一张图片的两个不同变形版本给模型看，告诉它这俩算“同类”；再随便找几张毫不相干的图片，告诉模型这些算“不同类”。同类拉近、异类推远，模型就靠这个反复学。

MoCo v3

一种基于对比学习的自监督方法，核心思想是让同一张图片的不同增强版本在特征空间中靠近，不同图片的版本则互相远离

其二是自蒸馏，代表方法是DINO。它让一个“学生”网络和一个“老师”网络互相学，老师网络的参数来自学生网络的缓慢滑动平均，同一张图片的不同视角，两边要给出理解一致的表示。

DINO

自蒸馏式自监督学习方法的做法，是让学生网络与教师网络对同一图像的不同视角产出彼此一致的表示，其中教师网络的参数由学生网络缓慢更新而来。

再有一种是掩码自编码器，代表方法MAE，玩法完全不一样：一张图片挖掉75%的区域，只剩25%，模型得靠这点信息去猜、去重建被挖走的部分。

MAE

掩码自编码器，一种自监督学习方法，通过遮盖图像的大部分区域并训练模型重建被遮盖内容来学习视觉表示

这三种方法在标准的、打乱顺序的图片数据集上都表现很好。可当研究者把它们搬到连续视频流上，不打乱顺序、不重复训练，情况完全变了。

MoCo v3这种对比学习直接崩了，效果还不如随机初始化的模型。原因在哪？连续视频里相邻帧几乎一模一样，而对比学习要把“不相关的图片”当成反例推远。可一个批次里全是同一条街的连续镜头，模型根本找不到真正不同的东西来对比，甚至会把本该相似的画面错推成远的，学习信号就彻底乱了。

DINO情况好一点，但也明显落后。

反倒是看着最朴素的MAE顶住了这波冲击，成了三者里最稳的一个。研究者认为，原因在于MAE是“各自为战”地学：它只要单独看一张图去重建，既不用跟别的图片比较，也不必把一堆图片聚成某种概念。“不跟别人攀比”这一点，正好避开了视频流里“大家长得都差不多”的麻烦。

打个比方：让一群人各写各的日记，和让一群长得很像的人互相辨认谁是谁，是两回事。如果这群人本就是同一个人每天换件衣服拍的照片，辨认任务会把人彻底搞懵，写日记却完全不受影响，因为每个人只管自己那一页。

可就算MAE是三者里最稳的，它还是比不过标准打乱训练的MAE。模型变大以后，这个差距更明显，在Cityscapes街景分割任务上差了将近10个百分点。研究者没把这个差距放过去，而是决定往下挖，找出真正的病根。

病根排查：到底是谁在拖后腿

研究者提出了一个关键区分：连续视频流训练有两个可能的"罪魁祸首"。

第一个叫批次间相似性：视频是用滑动窗口的方式消费的，相邻两个训练批次会有大量画面重叠，连续几步的梯度更新因此高度相关。

另一类叫批次内相似性，说的是同一批样本里的画面，由于都取自视频中极短的一段，内容彼此近乎重复。

两类相似性：批次之间的与批次内部的

所谓批次间相似性，是指因滑动窗口采样，前后相邻的训练批次在内容上存在重叠；批次内相似性，则是同一训练批次里样本之间彼此相像的程度。

要弄清究竟是谁在捣乱，研究者做了一个很巧的对照实验：先把ImageNet-1K这个图片数据集彻底打乱，再把这堆打乱后的结果当成一条"伪视频流"，依旧用滑动窗口的方式喂给模型。

这样一来，滑动窗口机制原封未动，批次间相似性照旧很高，与真实视频流相当；可底层图片已经被洗过牌，批次内的画面彼此毫不相干，批次内相似性很低。

结果相当干脆：这个"打乱后再按流消费"的ImageNet训练出的MAE，各项下游任务表现与标准打乱训练几乎一模一样。可见批次间相似性本身并非元凶，只要批次内内容足够多样，滑动窗口带来的重叠就不会拖累模型。

真正的麻烦在批次内相似性。一个批次里塞满近乎重复的画面，模型学到的东西就会严重失衡。

打个比方：一周里每天花八个小时反复描摹同一张照片的局部细节，和每天描摹一张完全不同的新照片，前者你会对这张照片的某几个细节烂熟于心，可这种熟悉换到别的场景就派不上用场；后者哪怕每张只看一遍，攒下的泛化能力反而更强。视频流的毛病正在这里——同一批次里全是同一条街的连续帧，模型短时间内被迫反复"描摹"同一个场景的细枝末节。

研究者又往下验证了一步，去看训练过程中连续两个批次产生的梯度有多"像"。经Orthogonal-AdamW处理过的流式MAE，梯度相似度明显偏高；普通流式MAE的梯度相似度反倒轻微为负；标准打乱训练的MAE，梯度相似度稳定在接近零的水平。他们发现，一个方法的梯度行为与标准MAE越接近，下游任务表现就越好。这给出了明确的设计方向：让流式训练时的梯度行为尽量贴近打乱训练时的样子。

StreamMAE的诞生路径

病根找到了，解法思路也随之清楚：既然问题出在批次内画面太雷同，那就设法让模型面对雷同画面时，别那么容易"偷懒"或过拟合到局部细节上。

研究者拿出的StreamMAE，MAE最核心的重建目标原样保留，改动落在整个训练流程的几处环节上。

头一招是加强正则化，拆成三个小动作。其一为颜色抖动，随机扰动图片的色彩、亮度、对比度，叫模型没法只靠稳定不变的颜色线索去"偷懒"重建。其二是提高随机深度的丢弃率，这是一种训练时随机"跳过"某些层的正则化手段，为的是防止模型对batch里反复出现的局部模式过拟合。

随机深度

这类正则化技术，训练时随机让网络某些层"失效"、不参与计算，从而改变网络的有效深度，抑制过拟合

其三叫DataDrop：每个滑动窗口批次里，随机挑一部分样本直接丢弃、不参与计算，只用剩下的一小部分算损失、更新梯度。默认丢掉75%，也就是原本2048帧的窗口，最终真正参与反向传播的只有512帧。

乍听有点浪费——辛苦收集的数据说扔就扔四分之三？可细想一下，一个窗口里塞满几乎相同的画面，全拿去算梯度，等于对同一个场景的梯度方向反复"加码"，模型会被这种重复信号带偏。扔掉大部分、只留一小撮有代表性的样本，每一步更新反而更干净。

好比开会讨论方案，房间里有十个人，八个说的都是同一件事的不同措辞，剩下两个才有新想法。十个人的发言原样记进纪要，结论会被那八个重复的声音带偏；只挑两三条有代表性的意见记下来，反倒更准确地反映全场真正的分歧与共识。

第二招是裁剪策略的调整，叫两阶段裁剪。标准MAE直接在整张图上随机裁一块区域来训练。可连续视频里相邻帧整体画面都很像，各自独立随机裁剪，裁出来的区域大概率还是长得差不多。两阶段裁剪先在整张图里圈定一个较大的局部区域作为"第一阶段"，再在这个区域内部按标准MAE的方式随机裁剪。这等于把"裁哪个区域"和"怎么裁"两个决策拆开来处理。

第三招也是整套方案里最有巧思的一步，叫运动偏向裁剪选择。

研究者的思路是：相邻帧整体很像，那模型最该盯住的，其实是画面里变化的那部分。他们设计了一个很轻量的办法——直接算当前帧与前一帧每个像素位置的差值，取绝对值求和，得到一张"运动强度图"；再按模型处理图片的网格粒度（即ViT的patch）把这张图聚合一下，得出每个区域的运动分数。

ViT的patch

ViT是一种把图像切成若干小方块再逐个处理的神经网络架构，每个小方块称为一个patch，是模型处理图像的最小单位

随后系统随机生成几个候选的第一阶段裁剪区域，算出每个候选区域内的平均运动分数，挑运动最明显的那个来裁。整个过程用不上复杂的光流算法，只靠简单的像素差值就能大致定位画面中正在变化的地方。

就像在一本不断翻页的相册里找线索：每页跟上一页几乎没差别时，你肯定不会盯着那些一模一样的背景墙研究，而是本能地去找哪里跟上一页不一样、哪里冒出了新东西、动了起来。运动偏向裁剪选择干的正是这件事，它把模型的注意力主动引向画面里"正在发生变化"的那一小部分，而不是浪费在大片静止不变的重复背景上。

研究者其实也做了防备。运动偏向选择并非每回都生效，只有50%的概率会启用，剩下那50%仍走普通的随机裁剪。之所以这样安排，是怕模型总盯住同一类高运动区域不放——比如画面里反复驶过的一辆车、一片来回晃的树叶——学出来的东西又变偏了。

那实际效果如何？

为此，团队新建了一套训练素材，命名为WT++。它是在原有WalkingTours数据集上扩展而来的，共收录58段城市徒步视频，总时长达95小时。素材由同一个人背着摄像机、在不同城市的街头一路连续行走拍成，光线、视角、场景切换都包含在内，用来研究连续视频流学习正合适。

在这套数据上，StreamMAE对比普通流式MAE：ImageNet-1K分类准确率高出0.4个百分点，Cityscapes街景分割高出2.5个百分点，ADE20K场景分割高出0.2个百分点，深度估计的误差也降了不少。更关键的是，它的表现已经逼近用同样视频数据做标准打乱训练的MAE，部分指标还实现了反超。

模型从ViT-S换成更大的ViT-B之后，流式MAE与StreamMAE的差距进一步拉大。Cityscapes上，普通流式MAE拿到58.2，StreamMAE是69.0，而标准打乱训练的MAE为67.8。也就是说，这一项上StreamMAE既大幅甩开同规模的流式基线，也压过了用同样数据打乱训练的对照组。

训练视频从12小时一路扩到25小时、50小时、95小时，StreamMAE的成绩始终在涨，既没饱和，也没掉头变差。可见这套办法并非只在小数据量下顶用的临时方案，数据规模越大，它照样能持续获益。

研究者还补了一个颇有意思的实验，想弄清提升究竟来自模型“看到了更多新画面”，还是仅仅因为“训练步数更多”。结论是：单纯把视频帧率调高、增加有效训练步数，效果并不会更好，密集预测任务甚至会变差。反过来，让模型把同一段12小时视频反复看几遍，确实能涨一些，但远比不上直接喂给它没见过的全新片段。可见StreamMAE真正吃进去的是新鲜的视觉内容，而不只是更多次参数更新。

这套方法会不会只在徒步视频里灵？研究者把它搬到三个风格差别很大的视频数据集上验证：室内厨房第一视角的HD-EPIC、城市行车记录仪拍的CROWD，以及记录日常生活、长达70小时的第一视角视频KrishnaCAM。结果显示，StreamMAE在几乎所有任务上都稳定压过普通流式MAE，在HD-EPIC和CROWD上更是全面追平乃至超过标准打乱训练的MAE。

写在后面

论文读下来，最让我意外的不是StreamMAE的设计有多精巧，而是那个对照实验给出的结论：批次之间的重叠本身根本不是问题。

这跟我的直觉正好相反。我原以为，连续视频流训练的难点就该是相邻批次太像，梯度更新老往同一个方向踩，这听上去最直观、也最该先解决。结果研究者用打乱后再按流消费的ImageNet实验，把这个直觉干净地推翻了。真正的病根在批次内部，在“同一个窗口里塞满几乎一样的画面”这件事上。看来，一个问题最显眼的特征，未必就是真正致命的那一个。

还有一个细节值得单独拎出来说：DataDrop这个操作在小规模时管用，可模型变大、视频变长之后，它的作用居然变得可以忽略不计。研究者没绕开这个结果，反而把这个“失效”过程老老实实写进了论文。对自己方法的局限这么坦然，比吹效果更让人信服。

论文也留了个没彻底解决的口子：除了运动偏向裁剪，StreamMAE其实没有真正去建模视频里的时间动态关系，它更多是在“躲开”连续视频带来的麻烦，而不是主动用上时间本身的信息。未来要是有方法能把时间顺序本身变成学习信号，而不只是一个要绕开的障碍，那会是另一回事了。

一个背着摄像机走在陌生城市街头的人，和一个坐在屏幕前、用打乱了几十万张图片训练模型的研究者，谁更接近“学习”的本质？论文没给答案，但它头一回让我们看清，这两条路之间隔着什么。

Q&A

Q1：StreamMAE是什么？

A：它是一种专为连续视频流设计的自监督学习方法。MAE的掩码重建目标被保留下来，同时加入颜色抖动、提高随机深度丢弃率、DataDrop、两阶段裁剪和运动偏向裁剪选择等机制，用来对付连续视频中批次内画面高度相似造成的训练困难。

Q2：为什么对比学习方法MoCo v3在连续视频流训练上会失败？

A：连续视频里相邻帧几乎一个样，而对比学习要靠“把不相关样本推远”来学。这种场景下很难找到真正不相关的反例，甚至会把本该相似的画面错当反例推开，学习信号就彻底乱了。实验中MoCo v3的表现连随机初始化的模型都不如。

Q3：WT++数据集是什么？

A：它是研究者扩展出的95小时城市徒步视频数据集，含58段真实拍摄的行走视频，覆盖多个城市以及各种光线和场景变化，专门用来考察自监督学习模型在连续视频流上的训练效果。