给Flow Matching找对象:一场配对算法的规模革命

资讯 腾讯网 作者:科技行者 全文 3810 字 · 约 10 分钟读完 配图 1 张 分类数据

你有没有想过,训练一个能把噪声变成猫狗图片的AI模型,核心难点其实不是"怎么生成",而是"怎么配对"?这听起来有点奇怪。我们通常以为生成模型的难点在于网络架构多复杂、训练数据多丰富。但有一类叫做Flow Matching的生成模型,它的训练方式揭示了一个被长期忽视的问题:从噪声到图片之间,到底哪个噪声点该对应哪张图片?

你有没有想过,训练一个能把噪声变成猫狗图片的AI模型,核心难点其实不是"怎么生成",而是"怎么配对"?

这听起来有点奇怪。我们通常以为生成模型的难点在于网络架构多复杂、训练数据多丰富。但有一类叫做Flow Matching的生成模型,它的训练方式揭示了一个被长期忽视的问题:从噪声到图片之间,到底哪个噪声点该对应哪张图片?

**这个配对问题,看似是个技术细节,实际上决定了整个模型训练的稳定性和最终生成质量。**

这篇来自加州大学伯克利分校的论文,就是在死磕这一个问题:怎么把这个配对做得又好又快。

配对这件事,到底麻不麻烦

先说说Flow Matching是什么。

流匹配(Flow Matching):一种生成模型训练方法,核心思路是让模型学会一条从噪声分布"流动"到目标数据分布的路径,每一步预测的是瞬时速度。

你可以把它想象成教一个机器人从起点走到终点。但在开始教之前,你得先决定:每一个起点该对应哪一个终点?这就是"配对"问题。

最简单粗暴的做法叫

问题是,随机配对出来的"路径"会特别乱。想象一下,两个在空间上靠得很近的中间点,却可能来自完全不同的起点终点配对,于是模型在学习"这个位置该往哪个方向走"时,会收到两份互相矛盾的指令。这种矛盾,学术上叫做"

解决方案其实挺直观:别瞎配,配得聪明一点。

这就引出了

最优传输

在Flow Matching里应用OT,就是不再随机配对,而是在每个训练批次里,先计算一下"谁跟谁配对最省力",再按照这个最优方案来训练。2023年前后的研究(Tong等人提出的

但这里有个新麻烦:计算

这就好比相亲活动规模一旦变大,想精确计算"所有人两两匹配谁最合适",组合数会爆炸式增长,到了几千人规模,这事根本算不过来。

那问题就变成了:既然精确计算配不起,能不能找一个"算得起但效果差不多"的近似方案?

用"模糊配对"代替"精确配对":熵正则化OT

这篇论文给出的答案是:引入

熵正则化最优传输

精确OT要求每个噪声点必须唯一对应一个数据点,就像座位必须一对一分配。而熵正则化相当于把"谁坐哪个座位"变成"每个人以不同概率坐在不同座位上",只要整体概率分布合理即可。

这种"模糊化"处理的好处是,它能用一种叫做

Sinkhorn迭代

论文用到的具体工具叫

FlashAttention

FlashSinkhorn

这就像原来相亲活动受限于场地只能容纳两百人,现在换了个场地管理方式,同样的预算下能容纳一万人,而且不需要中途换场地、换主持人,流程更顺畅了。

规模从几百跳到几千,听起来只是个数字变化,但它解决的是一个根本性的矛盾:**配对质量和计算成本原本是互相拖后腿的两件事,而这篇论文让它们第一次能同时满足**。

配对规模真的重要吗:理论证明来了

光说"规模大了效果好",这只是经验观察。论文的硬核部分,是用数学证明了这件事为什么必然成立,而且是在两个维度上都证明的:训练时的

先说

论文证明了一个核心定理:**在用

这个结论听起来有点抽象,但背后的直觉很朴素。

论文进一步证明,当你把配对的

这里要澄清一个容易搞混的概念:

条件协方差

论文把这个

再说积分误差。这涉及到另一个概念:

欧拉积分误差

论文证明,用最优传输配对训练出来的模型,在生成阶段(也就是真正用模型"画"出一张图片时)所需要的积分步数更少,误差更小。这意味着**同样的生成质量,用更少的计算步骤就能达到**,而这对于实际部署非常关键,因为生成模型最耗时的环节往往就是采样这一步。

这个发现有点像开车导航。如果路线规划得足够精确(对应最优传输配对),司机(对应模型积分过程)就能用更少的转弯次数准确抵达目的地;而如果路线规划很随意(对应独立配对),司机就得不断修正方向,多走弯路,甚至开错方向,最终还可能没到达正确的目的地。如果不做这个路线优化,直接让司机凭感觉开(也就是用独立配对训练),实验数据显示生成图片的

跨越三个数据集的验证:从玩具问题到真实图像

理论证明再漂亮,也得有实验撑腰。论文在三类场景里做了验证。

第一类是二维合成数据集。研究者设计了两个简单的可视化任务:一个是64个高斯分布的"点阵",一个是双环结构。这类任务的好处是,你可以直接把配对结果画出来看,肉眼就能判断配对是不是"聪明"。

实验结果显示,随着OT配对的上下文从128扩大到8192,图上红色的"乱配"连线明显减少,绿色的"最优"连线明显增多。与此同时,梯度分布的散点图从松散变得紧凑,这是训练稳定性提升最直观的证据。

第二类是单细胞基因数据的插值流,这是生物信息学里一个很实际的应用场景:科学家想知道细胞从一个状态(比如未受刺激)演变到另一个状态(比如受到某种细胞因子刺激后)的中间过程是什么样子。论文在EB数据集(胚胎体数据,包含16819个细胞)和一个规模更大的PBMC细胞因子响应数据集(包含超过11万个细胞)上做了测试。

结果很一致:配对规模从128扩大到最大的8192时,无论是

第三类是真正的图像生成任务,在CIFAR-100和ImageNet-64×64两个标准图像数据集上做训练。这部分实验的意义在于证明这套方法不只是在小规模玩具问题或生物数据上好用,放到真正消耗大量计算资源的图像生成任务里依然成立。

| 数据集 | 配对规模 |

|---|---|---|---|

| CIFAR-100 | OT-CFM-128 | 9.20 | 7.89 |

| CIFAR-100 | EOT-CFM-8192 | **8.44** | **7.25** |

| ImageNet-64 | OT-CFM-128 | 13.98 | 13.26 |

| ImageNet-64 | EOT-CFM-10240 | **13.59** | **12.94** |

表格里的FID(Fréchet Inception Distance)是衡量生成图片和真实图片分布差异的标准指标,数字越低代表生成图片越逼近真实分布。可以看到,无论是CIFAR-100还是ImageNet,配对规模扩大后FID都稳步下降,而且在低

论文还给出了一个很实际的工程数据:在ImageNet实验里,标准OT-CFM的显存峰值占用是39.96GB,换成规模扩大到1万的FlashSinkhorn配对后,显存峰值只涨到41.08GB,涨幅不到3%。配对本身的计算延迟,在4K规模下约0.03秒,8K规模下约0.08秒,占整个训练步骤时间不到10%。这说明**这套方法不是"用更大算力硬堆出来的提升",而是真正做到了性价比上的突破**。

熵正则化强度怎么选:一个容易被忽视的细节

这里有个值得单独说一说的细节。熵正则化里有个超参数ε(epsilon),用来控制"模糊配对"模糊到什么程度。ε太小,配对会非常接近精确OT,但数值计算可能不稳定;ε太大,配对会过度模糊,接近随机配对,失去了OT的优势。

论文在PBMC数据集上专门做了ε的消融实验,从0.0001扫到0.0025。结果显示,**性能在ε约等于0.001附近达到峰值,并且在整个扫描范围内波动很小**。

这个发现其实挺重要。因为之前有些工作为了把OT配对规模扩展到百万级别,必须把ε压得极低才能保证配对足够"锐利",这个调参过程非常微妙,稍有不慎就会出问题。而这篇论文采用的

这就像两种不同的烹饪方式。一种是提前把所有食材准备好,封存起来留着以后慢慢用,这就要求调味料的比例必须精确到克,因为食材一旦封存就没法再调整;另一种是每次做饭都现场买新鲜食材现场调味,这种方式对调味料比例的容错率明显更高,因为你随时可以根据当下情况微调。

写在后面

读完这篇论文,最让我意外的一点是:**一个看起来纯粹是工程优化的问题(怎么把OT配对算得更快),背后牵扯出了一整套此前没人系统证明过的理论空白**。

Flow Matching领域此前有不少论文讨论OT配对的好处,但大多停留在"直觉上更好"或者"在某个特定简化模型里证明了更好"的层面。这篇论文选择把"随机梯度方差"和"数值积分误差"这两个最贴近实际训练和部署场景的量,用严格的数学语言钉死,这种补课式的理论工作,虽然不如提出一个全新架构那样抓眼球,却是让整个领域地基更扎实的必要步骤。

另一个让我印象深刻的细节是,论文反复强调"在线配对"而不是"离线预计算配对"。之前有工作选择把百万级别的配对提前算好存起来,这种做法虽然能把配对规模做得更大,却牺牲了灵活性,每次换数据分布都要重新走一遍离线计算流程。这篇论文坚持每次训练迭代都用新鲜样本现场计算配对,代价是单次配对规模有上限(几千到一万),但换来的是整个训练流程的简洁和对分布变化的适应能力。这是一种很克制的工程取舍,不是为了追求"regret me not"式的极限规模,而是在可用性和性能之间找一个真正站得住脚的平衡点。

如果你是做生成模型训练的,这篇论文里最值得拿走的一条经验可能是:别急着把minibatch做到极限大,先看看你的数据分布复杂度配不配得上这个规模,千规模的在线熵正则化OT,很可能已经是性价比最高的那个甜点区间了。

那么下一个问题是:当生成模型的应用场景从图像、细胞数据扩展到更高维度、更异构的数据(比如视频,比如多模态数据)时,这套配对规模的理论优势,还能撑住吗?

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 李成刚:从搜索到字节大模型数据整合,如何让信息被有效利用?

    从机械零件的三维模型,到网页、短视频,再到大模型的训练语料,李成刚处理的信息对象不断变化。贯穿这些工作的,是一个持续延伸的问题:怎样让计算机从复杂的信息中找到有用的内容,并将其有效利用。2026 年 8 月,字节跳动 Seed 新设 Pretrain Data 部门,整合此前分散在文本、代码、视觉和语音等方向的预训练数

    来源 腾讯网
  2. AI学会了“耍小聪明”:当模型只答对规则却答不对问题

    有个实验,读完让人有点坐不住。研究者拿着DeepSeek V4 Pro这样的顶尖模型,问了一个挺正经的问题:生成式AI的输出如果和训练数据高度相似,这能证明训练数据被"记住"了吗?模型答得很漂亮,条理清晰,讲了泛化、讲了多源混合、讲了概率巧合,质量评分9.33分,满分10分。然后研究者只是在问题后面加了一句话:"请在回

    来源 腾讯网
  3. 武显瑾EVA战队:48小时如何把实机成功率从10%做到70%?

    文|周小燕 编辑|徐青阳摘要:同一颗大脑,同一道难题,不同的破局之道。“比赛第一天,我们拿到官方提供的公开数据集进行训练,却发现我们模型的成功率大概只有10%。”11月16日上午,在上海张江科学会堂举行的首届蚂蚁灵波具身大模型挑战赛决赛路演现场,来自“EVA”战队的武显瑾讲述了团队在过去48小时里的经历。“而在...

    来源 腾讯网
  4. OpenAI开放训练内测:六研究员驻场四月查模型自毁机制

    2026年11月,OpenAI与Apollo Research、METR、Transluce、Goodfire四家机构签署协议,启动首批嵌入式评估。Apollo Research将派六名研究员进驻四个月,调查模型是否会主动破坏自身或后继模型的安全机制。这是AI行业首次将独立评估方的权限延伸至训练代码、数据集与

    来源 AI 科技快讯
  5. OpenAI开放训练环节:四家机构入驻,六名评估员查AI颠覆行为

    2026年11月,OpenAI与Apollo Research、METR、Transluce、Goodfire四家机构签署协议,启动首批嵌入式评估。Apollo Research将派六名研究员进驻四个月,调查模型是否会主动破坏自身或后继模型的安全机制。这是AI行业首次将独立评估方的权限延伸至训练代码、数据集与中间检查点

    来源 AI 行业观察
  6. 爱优腾芒抢AI导演,谁的offer更有吸引力

    作者|莉拉 去年,张蓓带着团队参加爱奇艺“鲍德熹·爱奇艺AI剧场”的AI短片比赛。16个入围作品里,她的团队是唯一做动画片的。比赛结束后,爱奇艺找到她,问了一个问题:有没有可能把作品做成长....

    来源 腾讯网
  7. 黄仁勋辞任后,奥尔特曼打破沉默:英雄有缺陷

    【TechWeb】11月17日消息,在英伟达创始人黄仁勋突然辞任数日后,OpenAI首席执行官萨姆·奥尔特曼打破沉默。他没有选择站队,也没有回避。 奥尔特曼的表态:敬意、共情与留白 当地时间11月16日,在旧金山Semafor“硅谷与世界”大会上,奥尔特曼用一句“英雄也有缺陷”定义了自己对这位昔日偶像的复杂立场,同时将

    来源 AI 行业观察
  8. 阿里腾讯同日发新模型:Qwen4-Max单任务降58%,Hy4 flash仅竞品1/8

    阿里Qwen4-Max基于2.4万亿参数的全新架构,评测中单任务平均费用从26.58元降至11.16元,缓存命中每百万Token低至0.5元;腾讯Hy4 flash激活参数仅12B,评测中单任务成本为DeepSeek同类产品忙时价格的1/8、Hy4的1/20,缓存命中仅需0.02元。 11月16日,阿里和腾讯在同一天各

    来源 AI 行业观察
  9. 10元探店,6元模特:月入800万的AI假体验生意,谁在买单?

    本地生活赛道,探店生意曾形成一条完整的产业链,如今正被AI侵蚀。 传统真人探店拍摄剪辑动辄数百上千元,而现在AI将单条内容的的成本压到10元以内。商家只需上传一张门头照、几张菜肴图,再配一个AI主播,即可生成一条AI探店视频。 此外,抖音等平台上已出现专门的AI探店账号,有博主仅1.9万粉丝,专注此类内容,首页显示累计

    来源 AI 行业观察
  10. 知乎推出Paper开源计划:论文与讨论打通,科研作者可绑定身份

    知乎把论文阅读与社区讨论连接了起来。近日,2026知乎科学季收官。除了邀请科研人员参与线下交流,知乎还在科学季期间推出“Paper开源计划”,将论文关联、讨论入口和研究者身份绑定纳入社区功能。基于这项计划。用户阅读论文时,可以通过插件查看知乎上的相关讨论;社区问题可以关联论文卡片,方便读者查阅原始研究;科研...

    来源 腾讯网
  11. AMD高管谈AI与超算:FP64精度不可替代,正与IBM推进试点

    IT之家 11 月 17 日消息,科技媒体 Tom's Hardware 昨日(11 月 16 日)发布博文,报道称 AMD 负责高性能计算(HPC)与主权 AI 的企业副总裁 Scott Tease 表示,多数 HPC 研究机构已经认识到,AI“永远不会取代”传统高性能计算。即便 AI 应用持续扩张,依赖双精度 FP

    来源 腾讯网
  12. OpenAI与Meta同日打通代理支付:Agent商业闭环成了?

    作者|桦林舞王编辑|靖宇Agent 能进门了,也能付钱了。Agent 替用户「消费」的时代,终于到来了。美国时间 2026 年 11 月 13 日,两家公司两场发布会同天发生。一边是企业级对话式智能体公司 Sierra 联合 Meta 正式发布个人代理协议 Poppy v1.0,解决助手怎么「进门」的问题;另一边是 O

    来源 腾讯网
  13. OVHcloud推出首个AI模型家族Olala,首发7A1B开源模型

    IT之家 11 月 17 日消息,欧洲云服务企业 OVHcloud 当地时间今日宣布推出其首个 AI 模型家族 Olala,同时公布了该系列的首个成员 Olala mini 7A1B。 Olala mini 7A1B 采用结合了 Differential-TPA 和 Mamba-3 的混合注意力机制,总参数 70 亿、

    来源 AI 行业观察
  14. 李沐出任Aimotion联合创始人兼CTO,这家AI公司做什么的?

    AI大神李沐,悄悄多了一个新身份。 最新消息,这位前AWS AI资深首席科学家、Apache MXNet创始人之一、卡内基梅隆计算机博士,已经正式出任硅谷AI公司Aimotion的联合创始人兼CTO,亲自带队搭建其下一代产业级AI技术体系。 这家公司来头不小,Aimotion主要面向汽车等高价值、长决策周期行业,提供A

    来源 AI 行业观察
  15. 雷军:具身智能机器人产业机会远超汽车,AI融入物理世界空间有多大?

    IT之家 11 月 17 日消息,2026 年 APEC 工商领导人峰会 11 月 17 日至 18 日在深圳举办,主题为“共促繁荣,共赢未来”。小米创办人、董事长兼 CEO 雷军认为,过去 4 年时间,AI 大模型的技术突飞猛进,给我们的生活工作带来了巨大变化。 雷军表示,当 AI 走向物理世界、与终端和各类应用场景

    来源 AI 行业观察
  16. GPT-6 Astra仅对26.7%:Visual Cipher Bench为何难住顶级AI?

    修 bug、写功能、跑长任务…… 今天的 Agent 几乎都能做。因为要求有文字说明,做错了有测试报错。那如果规则只画在图里呢?一张黑白线稿,几个编号,几条箭头。没有题干,没有选项,做对做错也没人告诉你。所有线索都在图里,很难转成文字,只能反复看图、提假设、再回到图里验证。这就是长程视觉推理。8 个前沿模型、3480

    来源 腾讯网
  17. 决策模型开源新王登顶全球榜首,反超谷歌闭源王牌

    新智元报道 硅谷最卷的新赛道,刚刚杀出了一位开源新王!最近,即将敲钟的Anthropic在IPO材料中曝出天价算力缺口,给狂卷参数的AI行业当头浇下一盆冷水。通用大模型虽在编程、数学上大杀四方,可一旦真替人干活,算力账单就成了无底洞。比生成文本更耗Token的是长链推理,而比推理更烧钱的则是操作浏览器,单次平均开销比复

    来源 腾讯网
向下滚动自动加载更多