港大与字节跳动提出FreeMatching：让机器在剧变图像中认出同一对象

不妨先设想这样一个场景：一匹棕色马原本站在草原上，后来被AI改成站在雪地里，姿势、毛色光影、周围环境全变了，你还能一眼认出它是同一匹马。可换成电脑，它做得到吗？

这并非什么脑筋急转弯，而是这个领域里真实存在、且困扰了很久的技术难题。

看起来只是“找答案”，真做起来却完全是另一回事。香港大学和字节跳动团队的论文给出了回应，题目是《超越时空先验：一种通用的稠密对应匹配方法》。

所谓**稠密对应匹配**，说白了就是给电脑两张图，让它把图一里每个像素点在图二里找到对应位置。光流、立体视觉、图像配准等一大批视觉任务，底层用的都是它。

这项技术听着很“技术流”，其实离日常生活不远。修图软件能把人脸从一张照片贴到另一张上，AI自动对齐五官，靠的就是这种对应关系；视频里物体在动，软件能自动追踪它的轮廓，靠的也是它。

那么，问题究竟出在哪儿？

老方法的两条腿，为何走不进新世界

传统的对应匹配技术分两大流派，像两条各走各路的腿。一条叫光流，专盯视频里的运动——一帧到下一帧物体挪了一点，光流算法负责追这条移动轨迹。另一条叫稠密匹配，专攻立体几何，比如用两个不同角度拍的照片还原三维场景。

这两条腿之所以走得稳，是因为都依赖同一个假设：世界是连续的。

**空间时序先验**，说的是这类算法默认画面里的东西要么运动平滑（相邻帧变化很小），要么几何结构刚性（物体形状不会突然改变）。几十年的传统视觉算法，就是被这两个假设撑起来的。

这套假设管用了几十年，直到AI生成和图像编辑技术爆发。如今让AI把草原上的马改成雪地里的马，姿势、光照、背景全变，马的物理连续性被彻底打破，可它的“身份”还在，你仍然知道那是同一匹马。传统算法压根没见过这种场景，完全没法处理。

论文给这类新任务起了个名字：IEG，即图像编辑和参考引导生成。

**IEG（Image Editing and reference-Guided Generation）**，指图像编辑与参考图像引导的生成任务，比如改变一张照片里人物的风格，或根据参考图生成一张新图。核心特点是视觉内容可以大幅改变，但身份要保持一致。

想象你在机场送朋友：对方化了妆、换了衣服、戴上墨镜，整个人的“表面信息”全变了，你还是一眼认出他——你认的不是衣服和妆容，而是那个人。IEG场景里的图像对应匹配面对的正是这种情况：表面像素全变了，识别对象的“身份”没变。如果继续拿老方法那套“连续性”假设去找对应关系，结果就像让一个只会按体型比对的保安去认人，朋友一换衣服，保安立刻认不出来。这不是保安笨，是这套识别逻辑从一开始就建立在错误的前提上。

研究团队要解决的，正是这个前提错位的问题。他们提出一个叫FreeMatching的框架，试图让机器学会像人一样，认出“身份”而不只是认“形状”。

灵感，是从人类认知里偷来的

论文开篇提到一个很有意思的出发点：人类的感知系统能在剧烈变化中依然认出同一个物体。心理学家把这种能力称为“对象文件”机制，它是认知科学里比较成熟的理论。

研究者没有从零造轮子，而是想办法把这种“认身份”的能力教给机器。具体做法是结合两种现成AI模型的能力：一种擅长生成，一种擅长语义理解。

论文选用了FLUX.2这个生成式大模型作为骨架，又叠加了DINOv3这个语义特征提取模型。

**FLUX.2-klein-base-4B**：一个基于扩散变换器（DiT）架构的生成式AI模型，参数规模40亿，原本用于图像生成，这里被拿来当作特征提取的骨干网络。

**DINOv3**：一种自监督学习出来的视觉特征提取模型，擅长捕捉图像里的语义信息，比如“这是一只马”而不只是“这里有棕色像素”。

两种模型为什么要组合起来？因为它们各自擅长的事情不一样。生成模型见过海量的图像变化过程，知道一个物体在不同风格、不同光照下可能长什么样，这是一种关于“变化”的知识；DINOv3更擅长识别“这是什么”，是一种关于“身份”的知识。单靠生成模型，容易认出变化规律但抓不住身份核心；单靠语义模型，又可能对具体的像素级细节不够敏感。

这就像请两个专家一起看病：一个是经验丰富的老中医，擅长看气色变化判断病情走势；另一个是精密仪器检测师，擅长给出精确的指标数据。单靠老中医，诊断可能笼统；单靠仪器，又容易忽略整体变化趋势。两者结合，才能既抓大局又抓细节。

单用其中一种，诊断会走向两个极端：一个是含糊得看不清，另一个是僵硬得抓不住变化背后的实质。

每张输入图片先由FLUX自带的VAE编码器压成一堆特征标记，这是生成模型本身就有的本事。所谓VAE（变分自编码器），指的是一种能把图片压成紧凑数字表示、也能从这些数字还原回图片的神经网络结构，这里拿它来做图像特征编码。

同时，另一条路是让DINOv3单独提取一份语义特征。两路特征叠起来，一起送进统一的变换器网络做联合处理。一次前向计算，模型就同时给出两样东西：稠密对应关系图，指出图二每个像素点在图一里落在哪个位置；还有协可见性掩码（covisibility mask），标出哪些区域“确实能找到对应关系”，哪些是全新生成、压根对不上的。

没有标注数据，机器怎么学会认身份

难题很现实：以往的对应匹配数据集靠精确标注，比如用3D扫描或光流追踪算法生成的“真值”。可IEG这类图像编辑任务里，根本没有现成标注告诉你哪个像素对应哪个像素，毕竟新内容连生成模型自己都是凭空造出来的。

研究团队分两个阶段来解。第一阶段是监督预训练，数据源由三类组合而成：经典对应数据集（如室内外场景扫描数据），加上他们新造的两套大规模数据集。

头一套新数据来自真实视频。他们用AllTracker追踪模型，对ViPE数据集里52万段视频片段做密集轨迹标注，生成伪真值标签。这些视频里含着各种非刚性运动，

另一套则是纯人工合成：用Blender渲染了36万对图像，场景物体取自Objaverse开源3D资产库。电脑精确渲染出来的东西，标注是像素级精确的，不带任何噪声。

两套数据配合得挺巧。视频数据带来真实世界的多样性，标注却有误差；合成数据精度完美，场景相对单一。混在一起训练，泛化能力和精度底线都顾上了。

训练里还有个细节：真实视频的伪标签终归有误差，直接拿普通平方误差损失函数（L2损失）去训，容易被噪声带偏，训练就不稳。研究者换成了Huber损失——这种损失函数对异常值不那么敏感，误差小时表现得像普通平方损失，误差大时转成更温和的线性损失，标注里混了噪声也不至于把整个模型带歪。

这好比老师批作业：学生小错，按正常扣分；碰上离谱得像抄错题目的答案，老师不会按离谱程度等比例扣光所有分，而是设个上限，免得一次极端错误搅乱整体评分。没有这种容错机制，数据里混进几个标注错得严重的样本，模型学习方向就可能被整个带偏，最后学出一个对噪声特别敏感、反而不稳的模型。

第二阶段是重头戏，师生引导的迭代精炼，专门对付没有标注数据的IEG任务。

没有标准答案，学生怎么自学？这是整篇论文里我觉得最有意思的设计。

既然IEG数据没有真值标注，训练怎么进行？团队搭了一套“学生-教师”互相配合的机制。简单说，有一个可训练的学生模型，就是正在学习中的FreeMatching；还有一个固定不动的教师模型，论文里用的是RoMa，一个已在传统稠密匹配任务上训练成熟的模型；此外还有一份学生的指数移动平均副本。

所谓EMA（指数移动平均），是一种让模型参数缓慢、平滑更新的技术：新参数取旧参数和当前参数的加权平均，而不是直接复制当前模型，这样能避开训练中的剧烈波动。

流程这样跑：EMA副本先给出一个初步对应关系预测，拿这个预测把源图像“扭曲”成一张接近目标图像的中间图像。接着，固定不变的教师模型（RoMa）在这张中间图像和真正的目标图像之间再找一次局部修正关系。两步变换组合起来，就得到一份“伪目标”，当作监督学生训练的标签。

妙处在分工：EMA副本管跨度大的变化，比如姿势、构图的剧烈改变；教师模型管局部精细修正，比如细微的纹理错位。先粗后细，整个精炼过程不需要任何人工标注就能一直转下去。打个比方，这像请一位熟悉当地的老导游先带出大致方向，到了具体街区，再请本地居民指出哪条小巷能抄近道。老导游懂全局但不熟每条巷子，本地居民熟细节但不懂全局路线。只靠老导游，最后一百米可能迷路；只靠本地居民，一开始就可能走错大方向。分工之后两种能力互补，方向不丢，细节也不错过。

学生模型不断进步，EMA副本也跟着同步进化，给固定教师提供越来越准的初始对齐，如此循环，精炼效果越来越好。教师模型则始终不变，保证修正信号稳定、可靠。

到了验证效果的时候。

团队最先拿经典基准开刀。理由很直白：新方法要是只擅长IEG任务、把传统本事丢了，那也谈不上成功。

![稠密匹配和相对位姿估计对比表格]

在ETH3D（户外场景）和ScanNet-1500（室内场景）两项经典稠密匹配基准上，FreeMatching的端点误差（EPE，数值越低越好）都拿到了有竞争力的水平。以ScanNet-1500为例，FreeMatching的EPE为8.56，低于同样走"基础模型路线"的UFM（12.03）和RoMa（12.03）。

光流任务上它也没掉队。高难度的Sintel Final基准里，FreeMatching的EPE为1.36，优于RoMa的2.49和UFM的1.48。Sintel Clean和KITTI两项上，它没能压过专攻光流的UniMatch。可UniMatch是只做光流的"专才"，FreeMatching要兼顾多种任务，是"通才"，这种对比本就谈不上公平，能打平手已经能说明问题。

重头戏在后面：IEG-Bench测试。

![IEG-Bench评估表格]

团队专门搭了约100对图像的测试集IEG-Bench，用来考模型的身份保持能力。评法是按预测的对应关系把源图像"扭曲"成目标图像的样子，再用多种相似度指标（含DINOv3语义特征相似度）衡量扭曲结果与真实目标图像有多接近。

成绩是：FreeMatching在该测试上的DINOv3相似度得分80.01，RoMa为70.15，UFM为66.77，差距超过10个百分点。10个百分点放在这个场景里是什么概念？同一批有挑战性的IEG图像中，FreeMatching抓到的"身份保持线索"明显更完整、更准确，局部扭曲和匹配遗漏都少得多。

论文还做了一组10k步的"弱适应"对比：让FreeMatching、UFM和RoMa都用同样的IEG数据微调10000步，比谁在相同训练量下更强。FreeMatching仍然全面占优——全图均方误差（Full-MSE）指标上比UFM好2.48个百分点（95%置信区间1.54到3.43），比RoMa好5.57（置信区间4.06到7.13）。

对应匹配还能当尺子用

有意思的是，团队没停在"做出一个更好的匹配模型"这一步。他们发现，这个模型本身就能反过来当评估工具使。

道理不复杂：模型的对应匹配够准，源图像按预测关系扭曲后就该和目标图像高度吻合。反过来，扭曲结果与目标图像差得远，问题多半不在匹配，而是两张图的内容本身"身份不一致"——比如AI生成图像时把物体某个细节改错了。

于是FreeMatching多了一个新用途：给图像编辑质量做"体检"。

论文举了个具体例子：用Nano Banana修改一张气球图片，FreeMatching生成的相似度热力图把气球上文字发生变化的区域准确标了出来。这种细节问题，全局指标完全看不出来。

**全局指标盲区**：指整体DINO相似度或CLIP相似度这类评价方法，对整张图片只算一个总分，局部细微错误容易被"平均"掉，看不出问题出在哪。

好比体检报告只给一个"总体健康评分"，却不说是哪项指标异常。综合评分95分，人松了口气，血糖可能早已超标，只是被其他正常指标稀释了。FreeMatching给的是一张"分区体检图"，能标出具体哪个部位出了毛病，这种空间分辨率上的细节呈现，传统全局打分做不到。

为验证这套指标靠不靠谱，论文又做了一轮人类评估：十位独立评审员以0到3分盲评各方法的对应结果。FreeMatching拿到2.25分的平均意见得分（MOS），RoMa为1.39分，SEA-RAFT为0.49分。人类评分与DINOv3客观指标的皮尔逊相关系数达到0.738，正相关相当强，说明这套自动化评估体系可以当作人工评估的可靠替代，省下大量人力成本。

逐个部件拆开，各自管用吗

论文做了一组循序渐进的消融实验：往基础模型上一块一块加组件，看每一步带来多少提升。

![阶段性系统构建表格]

起点是随机初始化、只用经典数据集训练的基础模型（DINOv3相似度67.31）；加入FLUX生成式初始化后升至69.28；再加上DINOv3语义特征，到72.76；接着加入自建的视频和Blender数据集，到76.52；最后加师生迭代精炼，达到80.01。

这条上升曲线说明的事很直观：每个设计选择都在真实起作用，不是摆设。尤其最后一步精炼，带来将近3.5个百分点的提升——没有标注数据，靠巧妙的自监督机制照样能挤出性能。

论文还比较了用不同领域数据做精炼的效果。用光流领域未标注数据精炼（10k-Flow），在光流专属基准Sintel Clean上表现最好；换成IEG数据精炼（10k-IEG），则在Sintel Final、KITTI、ScanNet、ETH3D等几乎所有其他基准上都更优，在IEG-Bench自身测试上领先尤其明显（Ref-MSE从8.08降到6.22）。IEG精炼没有牺牲经典任务能力，整体泛化表现反而更好。

这个问题眼下还没有彻底解决。论文在结尾部分如实列出了几项仍待攻克的难点。

其一是极端场景下的失效。严重遮挡、物体拓扑结构发生根本变化——比如一个物体裂成两个——或者剧烈的非刚性形变，这些情况仍是模型的薄弱环节。

另一项限制更为根本：FreeMatching 的能力上限，说到底受制于它所依赖的基础模型 FLUX 和 DINOv3 自身的能力边界。底层生成模型或语义模型一旦存在理解盲区，FreeMatching 也难越过这道天花板。

论文附录里还提到一个有意思的延伸方向：IEG 任务中存在"一对多"的歧义，例如生成图像里同一个物体被复制出好几份，此时的"对应关系"并不唯一，而是有多种合理可能。研究团队给出了一种基于扩散模型的概率化扩展思路，用迭代去噪来建模多种可能的匹配假设。不过这部分目前只停留在方法论层面，尚未做完整的实验验证。

这个收尾挺诚实：哪些问题已经解决，哪些还悬着，都交代得清楚。

写在后面

读完整篇论文，最让我意外的是研究团队并未死磕"做一个更强的匹配算法"，而是花了不少篇幅去回答"没有标注数据怎么办"。这恰恰是许多 AI 应用落地时的真实困境——理论上知道路该怎么走，现实里却压根没有足够的标注数据撑着。师生迭代精炼这套设计，某种程度上给出了一种通用解法：让一个成熟但不完美的"旧专家"（教师模型）带一个正在成长、又懂得应对新场景的"新学徒"（学生模型加 EMA），两边互相借力，把数据标注的缺口补上。这个思路不只对图像对应匹配有用，在很多缺标注的 AI 任务里都值得参考。

另一点让我反复琢磨的，是论文把"对应匹配模型"倒过来用成了"评估工具"。这种角色互换挺有启发性：一个原本用来"找关系"的模型，因为足够精准，反过来可以拿来"找问题"。这让我想到医学影像里的配准技术，本来是对齐两次扫描结果的，后来发现配准误差本身就能提示病灶变化。技术的用途有时候不是设计出来的，是被发现的。

如果有一天，AI 生成图像的质量评估不再靠人工盲评，而是由这种"扭曲对齐再比对"的客观指标自动完成，那是不是意味着，机器终于学会用自己的方式，去理解"这还是不是同一个东西"这个看似简单、实则深刻的问题？

Q&A

Q1：FreeMatching 是什么？A：它是香港大学和字节跳动团队提出的一种通用稠密对应匹配框架，能在图像编辑和参考引导生成场景中定位两张图片间同一物体的对应位置，即便物体的姿势、外观、背景都发生了剧烈变化。

Q2：FreeMatching 与传统光流、稠密匹配方法有何区别？A：传统方法依赖画面连续、几何刚性这类假设，适合视频运动或多视角几何场景；FreeMatching 则专门面向 IEG（图像编辑与参考引导生成）场景设计，在身份保持但物理连续性被打破的情况下依然能找到对应关系，同时在经典基准上也保持有竞争力的表现。

Q3：FreeMatching 除了图像匹配还有什么用途？A：它还能反过来充当图像编辑质量的评估工具。把源图像按预测对应关系扭曲后与目标图像比对，可生成空间分辨的相似度热力图，精确标出图像编辑或生成过程中身份不一致的局部区域。这种能力在人类评估中也得到了验证，相关性系数达到 0.738。