24GB显卡就能把模糊手机视频修成4K，这套方案怎么做到的

十年前拍的手机视频糊成一片，丢进修复软件里等上半天，出来的画面照样模糊，有时还更糟。这种体验不少人都有过。

背后卡着的是一道行业难题：视频超分辨率。

一、从模糊到清晰，难在哪儿

视频超分辨率（简称VSR）听着像“美颜滤镜”的加强版，实际复杂得多。美颜滤镜是在已经清晰的画面上做修饰，而

早期的

再往后，生成式方法进场，靠的是

头一个麻烦是算力。

第二个麻烦是让结果对上人的喜好。画面够清晰也不代表模型给出的就是人想要的，比如画面里的文字可能被“创作”成乱码，招牌、字幕这类场景里这是硬伤。何况目前主流的

二、注意力“偷懒”，反而是被低估的长处

研究团队先干了一件挺有意思的事：拆开一个训练好的VSR模型，看它内部的

注意力机制

全局注意力听着强，代价却很高。理论上每个像素块都要跟画面里所有其他像素块算一遍关联度，计算量随分辨率平方级上涨，分辨率翻一倍，计算量涨到四倍。

可团队测出一个反直觉的现象：注意力分布极不均匀。只占全部有效区域约1%的局部邻域，拿走了差不多20%的注意力权重。也就是说，模型大部分时间只盯着身边一小圈像素，远处的像素理论上有路可通，实际几乎没被用上。

这就像在家找钥匙。理论上钥匙可能落在任何一个角落，于是你把每个房间都翻一遍；可实际上钥匙多半就在你最后放下外套的那把椅子附近。每次都把整间屋子翻个底朝天，时间全耗在不可能的地方。高效的做法是重点翻椅子周围，偶尔再去别的房间瞄一眼，免得钥匙真滚远了。

顺着这个发现，团队设计了

具体说，他们用三个参数刻画这套设计：局部注意力覆盖的空间范围、覆盖的时间范围（往前看几帧），以及替换掉多少个模块。反复试下来，最终方案是每5个模块留1个全局模块，其余换成局部计算。

有个细节不能省：不能硬换。团队测试发现，不重新训练就把全局注意力换成局部注意力，模型立刻冒出块状花纹、网格状损坏，时间维度上还会出现严重鬼影。模型已经“习惯”了全局信息的存在，突然抽走它会懵。

于是团队补了一轮训练后适应，让模型重新学着在新架构下干活。更妙的是，训练之后保留下来的那些全局注意力模块反倒更“全局”了，残留的局部关注倾向明显下降。大部分“看近处”的活交给局部模块后，少数全局模块被解放出来，专心处理真正需要远距离信息的任务，分工更清楚。

这套架构最终带来的效果是：

DiT

三、怎么让模型学会“看懂文字”这类模糊的偏好

效率问题解决完，接下来是对齐人类偏好。这部分的核心方法叫

要理解

DMD*：Distribution Matching Distillation，一种让“一步生成”模型学习模仿“多步生成”老师模型的训练方法，核心思路是让学生模型生成结果的整体分布尽量贴近老师模型的分布。

一步生成模型

DMD的问题在于，它只会说“像老师”，不会说“往哪个方向更像老师里表现更好的那部分”。比如你想让模型把文字画准，可黑盒的OCR识别准确率这个指标根本没法求导，塞不进训练的梯度计算里。

好比请了一位厨艺老师教你做菜，老师每道菜你都尽量模仿，可你心里更想学的是老师拿过奖的那几道招牌菜，不是他所有菜的平均水平。普通的模仿训练分不清“老师的所有菜”和“老师最好的那几道菜”，只会把你练成“平均水准的老师”。不特意强调这个方向，最后做出来的味道就是老师所有菜品风味的大杂烩，哪一项都不突出。

团队给出的办法，是先构造一个数学上可写的操作：写成指数加权公式，样本奖励越高，被采样到的概率就按指数倍数放大。这个公式并非凭空设计，它能从一个优化问题里严格推导出来——在保持接近老师分布的前提下最大化期望奖励，属于带正则化约束的最优解。

不过这个理论上的全局目标，实际训练里摸不到。团队换了个思路：每一步训练中，让老师模型针对当前噪声状态做好几次独立的随机推演。好比同一道题让老师多试几种解法，每种解法打分，再按分数算出加权平均答案，与没加权的平均答案对比，两者的差值就是“奖励告诉我们应该往哪个方向调整”的信号。

测试时用了4次独立推演，每次推演再往前走3步。拿到这4个结果和各自的奖励分数，算出两个均值的差，直接加到标准DMD的“老师项”里，用来修正学生模型的学习目标。

整个过程最关键的一点是，全程没有对奖励函数求导。奖励函数可以是任何黑盒打分器，比如一个OCR文字识别模型，只要能给出一个分数就行，不需要知道它内部怎么计算，也不需要它可微。黑盒奖励没法参与梯度训练的老问题，就这样被解决了。

四、文字准确率从62%跳到78%，这个数字意味着什么

团队验证的第一步放在OCR引导的VSR任务上，摆出了四种做法做比较：原样不动的基线模型；仅拿文字数据继续走标准DMD训练；把OCR可微分替代品直接塞进DMD训练的DMDR；再有就是他们自己拿出的Ry-DMD。

结果列在下面这张表里，数字说明一切：| 方法 | OCR准确率 ||---|---|| 基线模型 | 0.624 | 23.94 | 0.246 | 75.35 | 9.79 || 继续用文字数据训练 | 0.656 | 22.02 | 0.295 | 76.41 | 10.58 || 可微分替代方案 | 0.527 | 19.01 | 0.374 | 74.17 | 8.48 || **Ry-DMD** | **0.776** | **24.86** | **0.240** | 75.80 | **10.90** |

PSNR

LPIPS

最扎眼的是那个用可微分替代品硬塞进去的方案，OCR准确率反而从0.624掉到了0.527，画质指标全线下滑。强行用一个近似的可微分代理去逼近不可微的真实目标，很容易在训练中跑偏，代理和真实目标之间的误差会被不断放大。Ry-DMD则不同：OCR准确率涨到0.776，比基线提升了超过15个百分点，画质指标反而还变好了，PSNR从23.94涨到24.86，说明这种奖励修正没有以牺牲整体画质为代价。

更出人意料的是，这套路子不只对VSR管用，换到文本生成图像上一样成立。团队用SDXL试了一回：一步生成模型此前的OCR准确率仅为0.087，低到生成的文字基本辨不出内容。换上Ry-DMD后，该数值升到0.241，连要跑50步的原始老师模型那0.125也被甩在身后。速度上一步生成快了数十倍，文字准确率反倒压过慢速的老师模型。

五、训练时间越长模型就越好吗，数据给出了意外的答案

团队还补了一个颇为诚实的实验，等于给行业敲了下警钟。通常的直觉是训练步数越多模型越好，这在深度学习里几乎被当成本能假设。可他们把DMD训练的中间检查点逐个取出评测，看到画质指标在训练前期确实涨得很快，碰到峰值以后接着练，指标掉头往下走，整条曲线上下起伏，并非单调。

好比有人认定健身练得越久越见效，结果练过头把肌肉拉伤，恢复状况还不及适度训练的人。时间并不是唯一变量，方法与节奏才关键。

真正起作用的两个因素，是学生模型的初始化质量和老师模型的规模。团队做了对照实验：| 初始化方式 | 老师规模 | MUSIQ | DOVER ||---|---|---|---|

普通初始化、1.3B老师规模的那组，MUSIQ 45.87，DOVER 8.512。

同样是1.3B老师，换成强化初始化后，两项指标升到48.20和8.738。

老师规模提到14B、用普通初始化，MUSIQ 51.76，DOVER 9.144。

14B老师配强化初始化，成绩是52.78和9.417，两组数字都用加粗标出。

数据摆在那里：起点更强，比多跑训练步数划算得多；老师模型再大一号，收益还要更多。两样一起上，效果最理想。这个结果跟工程上常见的直觉是反着的——不少人觉得蒸馏不理想就该多训几轮，可实验显示，蒸馏更像是起点说了算，底子扎实，后面才谈得上发挥。

六、最终效果：4K视频在游戏显卡上也能跑

把

测速是在H200级别专业卡和消费级RTX 4090上分别做的。4K分辨率、89帧视频，基础版本耗时46.34秒，涡轮加速版本30.59秒；作为对比的SeedVR2方案显存不够，只能切块处理，用了410.5秒。到了RTX 4090上，涡轮版处理4K视频只要90秒，对比方案要497秒，前者快5.5倍。

团队还组织了一次盲测用户调研，用

GSB协议

写在后面

论文读完后，有个问题一直绕在我脑子里：为什么“注意力大部分时间都很懒”这条发现分量这么重。

它背后其实是一个更普遍的现象。深度学习里不少看起来很强的能力，表面上靠的是“全局视野”，真跑起来，模型多半在偷懒，只有少数关键节点才真正动用全局信息。这类发现的价值不是去证明某种架构正确，而是给工程团队提供了一个放心裁剪的依据：省哪里不靠猜，先量出来，再下刀。

另一个印象很深的细节：把全局注意力直接硬换成局部注意力，模型会立刻崩掉；可重新训练之后，留下来的全局模块反倒更会处理全局信息了。可见网络内部的分工并非天生就有，是训练过程把它“逼”出来的。要是始终给每个模块留着获取全局信息的后路，它们就没动力真正专注做好分内的事。

Ry-DMD这套方法让我想到企业里的绩效考核。你没法要求每个员工对着一个算法说不清的“综合评分系统”去求导、去优化自己的行为，但可以让他们多试几种做法，看哪种在那个打分系统里得分更高，再把这个方向当作调整的参考。黑盒并不可怕，只要能反复采样、反复打分，就能从中提炼出有用的方向。

这篇论文没解决的问题，我认为是奖励信号本身的质量。OCR识别器若有偏差，或者审美打分器本身带着某种审美偏好，Ry-DMD设计得再巧妙，优化方向也可能跑偏。奖励驱动的方法终究绕不开一个老问题：你信的那个打分标准，究竟靠不靠得住。

Q&A

Q1：

A：FlashVSR+是一个视频超分辨率框架，通过

Q2：普通游戏显卡能不能跑FlashVSR+的4K视频修复？

A：能。混合注意力架构带来了显存上的优化，FlashVSR+可以直接在一块24GB显存的RTX 4090上做4K视频超分辨率处理，不用切块再拼接。

Q3：Ry-DMD解决的是什么问题？

A：一步生成模型对接黑盒奖励信号很难，比如OCR文字识别准确率这类指标没法求导，Ry-DMD就是冲着这个来的：多次采样、按奖励加权，让模型学会朝“奖励更高”的方向优化，而不用对奖励函数本身求导。