Seedance 2.5达标率不到50%!UIC提出PhyRubric量化文生视频物理常识

资讯 腾讯网 作者:智猩猩 全文 5083 字 · 约 13 分钟读完 配图 1 张 分类视频生成Seedance

智猩猩AI整理 编辑:知知 文生视频模型正越来越多地被视为"世界模拟器"。可苹果在下落途中自己少了一块、灯在按下开关前就已经亮了,这类违背物理常识的问题,现有评测往往只能给出一个....

所属频道 视频图像生成
智猩猩AI整理

文生视频模型正越来越多地被视为"


为此,伊利诺伊大学芝加哥分校(UIC)团队提出 PhyRubric。在看到任何视频之前,先为每条文本提示制定一份专属评分细则(


基于这一框架,团队构建了覆盖五大物理领域、34 个类别的评测基准


结果显示,10 个文生视频模型中表现最好的 ,也只有 44.20% 的视频既忠于文本又符合物理常识;而仅 8B 参数的 PhyRubric-Judge 与人工判断的一致性超过已有开源评测模型,与闭源的


  • 标题:

    PhyRubric: Rubric-Grounded Diagnostic Evaluation of Physical Commonsense in Text-to-Video Generation

  • 论文Arxiv id:2611.13576

  • 代码:chenyil6/phyRubric


01

打一个分,却说不清错在哪


已有的物理常识评测普遍存在两个局限。


一是评分主观:标注者凭直觉给每个视频打一个离散分数,没有规则规定物理错误如何对应到分数,同一个视频可能得到不同分数,这些噪声也会带进基于这些评分训练出来的评测模型。


二是难以解释:一个总分只反映视频整体有多不合理,并不说明违反了哪条物理原理,评测只能给模型排个序,难以指导改进。


图 1 中,同一段苹果掉落的视频,一位评分者注意到"苹果自己少了一块"打了 1 分,另一位觉得"下落挺自然"打了 4 分。到底该打几分?哪里错了?单凭一个分数无从回答。


图 1 凭直觉打分 vs. 基于细则的评测。(a) 两位评分者对同一视频给出不同分数,分数本身也说不清哪里出错;(b) 按专属细则逐项核验,分数附带被违反的预期及其时间戳。


02

核心思路:先定细则,再看视频


图 2 PhyRubric 总览:(1) 构建专属细则;(2) 构建 PhyRubric-Bench;(3) 构建 PhyRubric-Train 并训练 PhyRubric-Judge。


PhyRubric 的细则在看到任何视频之前就已固定,由同一文本生成的所有视频共享。这样,不同模型的视频面对完全相同的标准,分数可以直接比较;一份细则经人工审核一次后,也能反复用于未来新模型的视频。


延续


物理常识(PC)看事件是否符合物理常识,受发展心理学中婴儿习得物理知识顺序的启发,违反被分为四个严重等级:


•致命(Fatal):场景整体不可能成立,如物体相互穿过、凭空出现或消失。

•核心(Core):文本描述的核心交互没有发生或以错误方式发生。

•重要(Major):核心交互之外的明显违反,如台灯亮了,桌面却仍是暗的。

•轻微(Minor):不影响事件本身的视觉瑕疵,如物体颜色或纹理漂移。


每个 PC 条目由一对可核验的陈述构成:Expect 描述正确的视频应呈现什么,Fail 列出算作违反的具体可见迹象,只有观察到其中之一才判为失败。


此外,每个 PC 条目还标注了十种违反类型之一(如,并按发展顺序归为


图 3 文本"台灯底座上的钥匙开关被转动,台灯亮起"的简化细则示例。


判定时,PC 条目除了通过和失败,还有第三种结果"未呈现":如果视频里开关从未被转动,相关物理条目判为"未呈现",缺失的动作已由 SA 扣分。


分数不是直接打出来的,由判定按固定规则推导:SA 看主要、次要事实缺失了多少;PC 由最严重的违反决定上限,每多一个严重违反再扣一分。


由于每个负面判定都对应一个具体观察,每个分数都附带"哪里错了"的诊断。


与"常识"的定位一致,PC 条目只判断变化的方向和顺序,不考察速率或幅度;画面之外的原因(如热源、电源)也不会因为看不见而扣分。


图 4 PhyRubric-Bench 示例。每条文本描述一个日常事件,并明确写出其可见结果。


已有的物理常识评测以力学为主,PhyRubric-Bench 则覆盖力学、光学、热学、电学、声学五大领域共 34 个类别(由于视频无声,声学只考察声音的可见后果,如音箱旁水面泛起涟漪),每条文本都只考察凭日常经验即可判断的物理常识,并配有人工核验的细则。下表对比了 PhyRubric 与已有基准:


表注:与已有物理常识评测基准的对比(论文附录表)。Rubric:每条文本配有人工核验的可核验条目;Train set:公开了评测模型训练数据;Explainable:评测模型能指出哪项要求失败及证据;Open-source:公开了物理专用评测模型权重。◐ 表示部分满足。


每条文本都写明结果。



例如写
"
钥匙开关被转动,台灯亮起
"
,而不只是
"
钥匙开关被转动
"
。这样应当发生什么在看到视频前就已确定;而模型已被告知结果却仍画不出来,反映的就是物理知识的缺失,而非创作自由。

文本与细则构建。



文本由大模型起草、人工反复修订,确保每条都描述一个约五秒内可见、结果明确的单一因果事件;考虑到当前模型常画出变形的人体,只有人体本身参与物理过程时,文本中才出现人物。

每种物理现象设计三到五个不同场景,共得到
 1,192 
条文本,其中 
245 
条用于评测、
947 
条用于训练,两者没有共享场景。每份细则由大模型参照同领域示例起草,经自动检查格式和分数可达性后,再由人工修订。

视频生成与标注。


245 

条评测文本由 
10 
个文生视频模型生成 
2,433 
个视频,其中 
6 
个模型在评测模型训练时未见过。每个视频先由智能体逐项预标注,再由人工逐条核验。由于细则已写明什么算违反,标注者只需检查列出的迹象是否出现,而不必自己判断物理上是否合理。


03

PhyRubric-Train 与

 PhyRubric-Judge


在此基础上,团队进一步构建了训练集 PhyRubric-Train,包含 947 条与评测集不重叠场景的文本、3,788 个视频和 4.59 万条逐项判定,并以


为确定最佳方案,团队还系统比较了多种训练配置,包括是否输入细则、输出格式、训练目标(


最终的 PhyRubric-Judge 推理时不需要细则,只输入文本和视频帧,就能输出 SA 分数、PC 是否可评、PC 分数,以及一段诊断:视频呈现了什么、缺失了哪些文本内容、违反了哪些物理预期及其证据。它学到的不仅是该打几分,还有为什么。


04

评测结果:物理常识远未解决


研究在 PhyRubric-Bench 上评测了 10 个文生视频模型,包括闭源的 Seedance 2.5、


表注:10 个文生视频模型在 PhyRubric-Bench 五大领域上的表现。粉色和蓝色分别标出每个模型表现最好和最差的领域。


发现一:物理常识远未解决。


Seedance 2.5 和 Veo 3.1 的平均 JP 分别为 44.20% 和 36.20%,是最强开源模型 HunyuanVideo-1.5-8B(14.93%)的两到三倍,但仍有一半以上的视频不达标。


所有开源模型的平均 SA 都低于 3,通常至少缺失一个主要元素;即使在事件确实发生的视频上,开源模型的平均 PC 也都不超过 3.5,说明事件通常至少违反了一条较严重的预期。


发现二:光学最好,热学和声学最难。


光学是 8 个模型表现最好的领域;热学和声学则是多数模型最弱的领域,闭源模型在声学上的 JP 也只有 30.00% 和 15.00%,两个开源模型为 0。


作者推测,光学现象视觉上显眼、数据中常见,而热学的渐变过程和声学的间接视觉线索都更难画出来。


图 5 PhyRubric-Bench 统计。(a) SA 与 PC 分数分布;(b) 所有视频的结果分布;(c) 各模型在可评视频与全部视频上的平均 PC,按回避率排序。



发现三:语义一致性是主要瓶颈,物理错误"要么全对,要么大错"。


超过一半的视频 SA 只有 2 分,在物理登场前就没能画出事件本身。而一旦事件被完整呈现,74.1% 的物理是合理的。


PC 分数呈两极分布:52.9% 毫无违反,40.8% 出现致命或核心违反,中间的 3、4 分合计仅 6.3%。也就是说,当前模型一旦画出事件,要么把物理画对,要么在最基本的层面出错,很少出现"核心事件对了、只在边角细节上失误"的情况。


发现四:不画出来,就不会错。


一个根本没画事件的视频没有可以违反物理的地方,在以往的评测协议下反而能拿高 PC 分。PhyRubric 将这类视频判为"不可评"。统计发现,25.0% 的视频从未呈现事件,开源模型的这一"回避率"高达 20.0%–44.5%,闭源模型仅 5.7% 和 8.6%。


如果按以往协议打分,开源模型的 PC 会虚高 0.16–0.59,回避率越高涨得越多:回避率最高(44.5%)的 LTX-Video-2B 会排到 Cosmos-Predict2.5-14B 和 Wan2.2-T2V-A14B 前面;例如 Cosmos-Predict2.5-2B 的 PC 会仅次于 Seedance 2.5、超过 Veo 3.1,但它的 JP 只有 6.69%,排名倒数第三。作者认为,文本已写明结果而模型仍不画出来,本身就是物理常识的失败。


05

PhyRubric-Judge:8B开源模型

比肩Gemini 4 Argon

表注:各评测模型与人工标签的一致性(r:Pearson 相关系数;AUC:区分通过与失败视频的 ROC-AUC)。


研究以 PhyRubric-Bench 的人工标签为基准,比较了四类评测模型:零样本 VLM(Qwen3-VL 系列)、通用视频评测模型(


与人工判断最一致。


PhyRubric-Judge 在 SA 和 PC 的所有指标上都取得了最好的一致性。SA 上,其相关系数达到 0.61,明显高于最好的开源基线 Qwen3-VL-32B(0.49)。


PC 是更难的维度:开源零样本 VLM 接近随机水平,最强的开源物理评测模型 VideoPhy-2-AutoEval 用 6.2 万条人工标注训练,r 也只有 0.23;PhyRubric-Judge 只用 3,600 个自动标注视频就达到 0.32,与 Gemini 4 Argon 相当。这说明基于细则的监督,能让小型开源模型追平前沿闭源模型。


能泛化到未见过的模型和领域。


训练集只包含 4 个生成模型的视频。在另外 6 个未见过的模型上,PhyRubric-Judge 的 SA 和 PC 相关系数只分别下降 0.03 和 0.06,仍优于所有基线;把某个物理领域从训练集中去掉后再在该领域测试,SA 最多下降 0.04,PC 最多下降 0.09。


表注:PhyRubric-Judge 的泛化性。(a) 在训练时见过(Seen)与未见过(Unseen)的生成模型视频上的一致性;(b) 使用全部五个领域训练(Full)与去掉该领域训练(w/o the domain)时,在各领域上的一致性。


06

错误分析:最常见的错,

往往也最基础


当前模型很少在细微属性上出错,出问题的反而是最基础的原则。


41.6% 的违反属于核心物体原则,50.7% 属于日常动力学。最常见的两类——"缺失后果"(24.0%)和"物体恒存与计数"(20.4%)——合计占近一半。


"物体恒存与计数"指物体在视频中凭空出现、消失、瞬移、复制或与其他物体合并;"缺失后果"指事件的触发被画出来了,后果却没有随之出现,或者出现的时机不对。


图6 两个失败案例。(a) 物体恒存与计数:酱料与勺子在 1.50 秒到 1.62 秒之间发生突变;(b) 缺失后果:手指在 2.30 秒才按到按钮,车顶灯却从第一帧就已亮起。


如图 6 所示,一个视频里酱料一瞬间就被搅匀、勺子瞬移;另一个视频里按钮还没按下灯就已经亮了。这两个视频画质都很高,但明显的物理错误仍让它们一眼就能与真实视频区分开。

07

结语


PhyRubric 让物理常识评测从"凭感觉打一个分"变成"按细则逐项诊断"。作者强调,它并不打算提出一个最终标准,而是作为一种分析工具带来更深入的发现:


语义一致性是当前的主要瓶颈,物理错误往往"要么全对,要么大错",而模型常常通过不画出事件来回避错误——一种被以往评测无意中奖励的捷径。


对文生视频模型而言,物理常识仍远未解决;而能指出"错在哪、错在第几秒"的评测,也许正是下一步改进的起点。UIC

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 世界模型记不住你?XGEN用DAO给AI世界装了个账本

    你有没有玩过这样的游戏:离开一个场景去做别的事情,回来之后发现一切都恢复了原样,仿佛你从来没来过。你点燃的篝火还在燃烧,你撞倒的花瓶已经自动归位,你和NPC聊过的话题他完全不记得了。这其实是目前几乎所有AI视频生成类"世界模型"的通病。它们能生成非常逼真的画面,但没有记忆,没有持续演化的状态。你一转身,世界就...

    来源 腾讯网
  2. 视频生成要快,还是要好?这篇论文说你不用选

    你有没有玩过那种实时生成的AI视频应用,比如输入一个指令就能让视频里的角色立刻转身、换个场景?体验好的时候真的很爽,但体验差的时候,你会明显感觉到一种"卡顿感":你刚发出指令,画面却要等上好一会儿才反应过来,仿佛视频生成器在装聋作哑。这种延迟到底是从哪来的?是因为模型算得不够快吗?这篇来自中国科学技术大...

    来源 腾讯网
  3. 曾妍的新论文,就是字节 “10万亿”路线图

    95后的曾妍,正在快速晋升。 曾妍于1997年出生,2021年以校招的方式进入字节,后来成为了Seedance的预训练负责人。字母AI在文章《字节的“罗福莉”,撑起了Seedance的半边天》中曾对她进行过详细报道。 如今有传言称,曾妍的头衔已经上升为Seedance核心负责人。早在今年3月时,曾妍的职级还是3-2,而

    来源 AI 行业观察
  4. DeepSeek长对话限额7天,免费用户为何反求收费

    话题“DeepSeek用户呼吁取消7天限制”冲上微博热搜。但与一般产品限流引发的骂战不同,这场争议中出现了一个颇为“魔幻”的画面:平时最不愿意付费的一群人,正在主动求着DeepSeek收费。

    来源 TechWeb
  5. 蚂蚁国际杨鹏:AI与通证化重塑资金流动,普惠可信成关键

    在今天的“未来金融体系”圆桌讨论上,蚂蚁国际CEO杨鹏预测下一代金融体系发展:当AI、通证化与智能体商业重塑资金流动方式,真正决定成败的不仅有更强的智能,而包括——普惠普及性(Accessibility)与可信任(Trust)。“如果只有大型企业、大公司和大型科技公司能把这一切收入囊中,那样的未来会非常无趣。”

    来源 TechWeb
  6. 蚂蚁国际杨鹏SFF谈未来金融:AI重塑资金流动,普惠与可信成关键

    在今天的“未来金融体系”圆桌讨论上,蚂蚁国际CEO杨鹏预测下一代金融体系发展:当AI、通证化与智能体商业重塑资金流动方式,真正决定成败的不仅有更强的智能,而包括——普惠普及性(Accessibility)与可信任(Trust)。“如果只有大型企业、大公司和大型科技公司能把这一切收入囊中,那样的未来会非常无趣。”

    来源 TechWeb
  7. GPT-6.2 上线12小时:开发者为何称其“史上最糟”

    就在今天,OpenAI 正式发布了新一代旗舰模型 GPT-6.2 Astra,以及主打性价比的 GPT-6.2 Sol。从官方公布的成绩来看,GPT-6.2 Astra 在专业 Agent 任务上反超 Claude Fable 5.2,完成同等任务的综合成本却只有后者的 5%,堪称一次漂亮的反击。上下滑动查看更多内容然

    来源 腾讯网
  8. 内存涨价传导至手机供应链:二手拆机内存价格打5折

    【TechWeb】持续上涨的内存价格,正在悄悄改变手机行业的供应链格局。据数码博主透露,内存厂商预计2027年内存价格仍将持续上涨,这轮涨价行情可能延续至2028年上半年,直到下半年才逐步进入平稳期。而为了应对成本压力,部分小品牌和山寨手机厂商已经开始在百元机、千元机上使用拆机二手内存——更值得关注的是,2027年部.

    来源 腾讯网
  9. DeepSeek限制长对话使用:用户反求付费,官方未给时间表

    【TechWeb】11月15日起,多名用户在社交平台发帖称,DeepSeek已对App与网页版的长对话功能实施了使用限额。页面弹窗显示:“因算力不足,不再支持超过7天不活跃的长对话。” 随后几天,愤怒与不解迅速在社交平台发酵。11月18日,话题“DeepSeek用户呼吁取消7天限制”冲上微博热搜。 但与一般产品限流引发

    来源 AI 行业观察
  10. 字节跳动马来西亚买GPU贷款被叫停:4.8亿美元融资生变

    【TechWeb】11月18日消息,今日,话题“字节跳动买显卡贷款被叫停”冲上微博热搜,引发热议。 据报道,在美国出口管制新规生效后,字节跳动一笔原本用于在马来西亚采购英伟达GPU的4.8亿美元贷款突然被叫停。有知情人士消息称,评估该交易的至少五家银行已内部讨论退出或不参与,部分银行人士私下判断,这笔贷款“实际上已经死

    来源 AI 行业观察
  11. 亚马逊CEO首度回应英伟达黄仁勋风波:合作关系不会动摇

    【TechWeb】11月18日消息,当地时间11月17日,亚马逊总裁兼首席执行官安迪·贾西(Andy Jassy)做客一档访谈节目。在英伟达创始人黄仁勋辞任CEO危机的背景下,贾西首次就此公开表态,明确传递了亚马逊对英伟达合作关系的信心。 贾西表示:“我对黄仁勋怀有深深的敬意,也对英伟达怀有深深的敬意。长期以来,他们一

    来源 AI 行业观察
  12. 亚马逊CEO安迪·贾西首谈黄仁勋辞职风波:与英伟达合作不动摇

    在英伟达创始人黄仁勋辞任CEO危机的背景下,贾西首次就此公开表态,明确传递了亚马逊对英伟达合作关系的信心。辞职消息公布后,英伟达股价开盘大跌13%,市值一度跌破4万亿美元。此后,黄仁勋曾表示准备重返CEO职位,但英伟达董事会明确表示“无意让他复职”。贾西在采访中将亚马逊与英伟达的关系描述为一种“竞合”关系,既是合作伙伴

    来源 TechWeb
  13. 郑渊洁71岁用AI做动画,8部短片免费开放

    11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文化作品、人人可以参

    来源 TechWeb
  14. 郑渊洁用AI做动画短片:8部已上线,宣布作品免费开放

    11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文化作品、人人可以参

    来源 TechWeb
  15. 英伟达猎头接触Arm CEO哈斯:黄仁勋继任遴选提速

    11月19日,彭博社报道称,英伟达董事会聘请的猎头公司海德思哲(Heidrick & Struggles)已接触Arm首席执行官雷内·哈斯,将其列为接替黄仁勋的潜在人选。这是自11月12日黄仁勋辞去CEO、总裁及董事会成员职务以来,英伟达换帅程序中最具实质性的进展——在预测市场平台Polymarket上,哈斯被视为黄仁

    来源 TechWeb
  16. 英伟达选帅提速:猎头已接触Arm CEO哈斯,接替黄仁勋概率暂居首位

    11月19日,彭博社报道称,英伟达董事会聘请的猎头公司海德思哲(Heidrick & Struggles)已接触Arm首席执行官雷内·哈斯,将其列为接替黄仁勋的潜在人选。这是自11月12日黄仁勋辞去CEO、总裁及董事会成员职务以来,英伟达换帅程序中最具实质性的进展——在预测市场平台Polymarket上,哈斯被视为黄仁

    来源 TechWeb
  17. 二手电商,上海跑出一个百亿级新玩家

    界面新闻记者 | 程璐界面新闻编辑 | 文姝琪 今天,年轻人的生活方式究竟是什么样?可能很难得出一个简单的概论。二手交易算得上答案之一,甚至已经成为年轻人中一种日常的消费选择。日本进入第四消费时代后,二手经济蓬勃发展,人们喜欢在大街小巷上游逛充满生活气息的店,中古、二奢各有生存之道。在95分CEO陈意明的观察里...

    来源 腾讯网
  18. 马斯克“怒怼”奥尔特曼:SpaceX 预计不会从 OpenAI 处获得任何收入

    IT之家 11 月 18 日消息,SpaceX CEO 埃隆 · 马斯克出人意料地透露,公司在业务预测中并未考虑来自 OpenAI 的任何收入。此前,OpenAI CEO 萨姆 · 奥尔特曼谈及半导体行业可能重复计算 AI 芯片需求的问题。两人长期以来一直在 OpenAI 的发展定位上存在分歧。奥尔特曼暗示市场可能存在

    来源 腾讯网
  19. 「镁伽科技」完成近2亿美元融资,建设直接面向真实世界的AI智能基础设施|36氪首发

    文|胡香赟 编辑|海若镜 36氪获悉,近日,镁伽科技已完成新一轮近2亿美元融资。本轮融资由阿曼苏丹国主权财富基金阿曼投资局(OIA)参与投资,亚投资本、Granite Asia、创新工场等老股东加注,招银国际、苏创投、三江招商集团等机构跟投,覆盖国际主权资本、头部金融资本及地方国资产业资本等。 当前,AI for Sc

    来源 腾讯网
  20. GPT-6.2双版本发布:3D与办公能力提升,API价格再降

    千呼万唤之中,OpenAI 终于把 GPT-6.2 推到了台前,一口气推出两个版本:GPT-6.2 Astra 和 GPT-6.2 Sol。 有意思的是,OpenAI 这次又赶在了一个微妙的时间点出牌。 眼下,Anthropic 上市的消息仍在持续发酵,AI 行业的竞争也愈发激烈。 OpenAI 偏偏选在此时发布新一代

    来源 AI 行业观察
  21. 特朗普深圳APEC谈黄仁勋:天才不可替代,不能一棍子打死

    英伟达方面已多次明确表态,彻底否决了黄仁勋回归CEO岗位的可能性,外界此前期待的创始人复职“翻盘”已无任何操作空间。正在深圳出席APEC峰会的特朗普近日在接受媒体采访时主动重提此事,给出了相当明确的个人态度。

    来源 TechWeb
向下滚动自动加载更多