Figma与斯坦福推MotionGraphicsBench：100个任务考AI动态图形
Figma与斯坦福大学合作推出MotionGraphicsBench，这是一个专门评估AI模型将静态矢量图转化为动态图形能力的基准测试。通过100个基于真实设计场景的任务和确定性验证程序，研究发现目前仅有四款主流模型在单次尝试成功率上超过50%。该基准不仅揭示了AI在处理姿态、轨迹和事件协调上的常见失败模式，还证明了程
动态图形这一块的模型到底行不行，此前缺少一把靠谱的尺子。
关注AI生成视频或动画的人，大概都见过Simon Willison那个“鹈鹕骑自行车”的提示词。例子是挺好玩，可它绕开了实际工作流里的关键一环：动态图形设计师很少让AI从零画一只鹈鹕再让它动，他们手上往往已经有做好的静态矢量图，比如一个Logo或图标，要的是AI给图里的元素加上运动。
SVG-Bench、VGBench这类现有基准，测的主要是静态矢量图的生成质量。端到端的“文本到动画”测试则把画图和让图动起来两件事搅在一起，模型究竟在哪一步出了问题，很难看清楚——是形状画错了，还是动作不对？
Figma AI团队于是拉上斯坦福大学，做出MotionGraphicsBench。这是一个由专家策划的基准，共100个动态编辑任务，思路贴着真实设计场景走：把一个完整的静态SVG文件，外加一条自然语言的motion edit prompt（运动编辑提示词）交给模型，要求它在保留原有设计元素的前提下生成动画。
这套benchmark的搭建方式
任务从真实的Lottie动画里提取
100个任务全是真东西，出处是LottieAnimation-660K数据集中的真实世界Lottie动画，来自IconScout、LottieFiles等专业平台，对应的是实际设计需求，没有一个是凭空编的。
搭建分三步走：
- 第一步是筛源动画。图层和对象能在提示词里被清楚指代的，研究人员留下；过于复杂、难以用自然语言说清的运动，剔除。
- 第二步是准备输入的静态SVG。为贴近设计师的工作流，他们从源动画里挑一个代表性帧当静态输入。有些元素在选定帧里是隐藏的，比如电话铃声的声波弧线，系统就用“几何补全”技术把它们恢复出来，这样模型不必“无中生有”造图形，只管让它们动。
- 第三步是构建运动编辑提示词。初版提示词由大语言模型起草，再交人工审核员修订。提示词里不写具体的关键帧坐标或角度，只描述相对的空间和时间关系，像“两片刀刃围绕螺丝反向旋转，直到几乎闭合，暂停片刻后重新打开”这样。
评分靠代码，不靠眼睛
这部分是MotionGraphicsBench最硬核的地方。以往评估要么人工打分，要么让视觉语言模型（VLM）来判断，两条路都有毛病：人工慢，还带主观性；VLM快是快，容易出错，也给不出解释。
Figma团队的做法是写一套确定性验证程序。每个任务对应一个Python脚本，脚本里是一系列人类可读的检查项，直接对应提示词中的具体要求。拿“剪刀”任务来说，验证程序查的是：
- 两片刀刃有没有反向旋转？
- 有没有在某一刻达到“几乎水平重叠”的状态？
- 最后有没有回到初始的开合状态？
检查项全部通过，生成的动画才算成功。这套办法透明，也能复现——模型哪一步没做好一目了然，而不是只丢给你一个模糊的分数。
验证程序本身靠一个多智能体管道搭出来：“验证程序编写者”写代码，“测试用例合成器”造各种正负样本，比如故意让刀刃不闭合的动画，用来考验验证程序的鲁棒性。最终，这套程序在180个预留的人类标注动画上拿到**93.3%**的准确率；GPT-6 Astra作为VLM裁判时是83.3%，差距不小。
模型们交出了什么成绩？
研究团队测了12家提供商的32种模型，GPT、Claude、Gemini、Qwen、GLM等系列都在其中，推理努力程度的设置也各不相同。
pass@1：一次尝试的成功率
pass@1衡量的是模型单次独立生成就通过全部验证检查的概率。结果有点让人清醒：
- 47种模型-设置组合里，pass@1最低6.0%，最高67.7%，平均30.3%。
- 在推理努力拉满的设置下，通过率能超过50%的模型只有四款。排在首位的是GPT-6 Astra（最大推理努力），成绩为**67.7%**。开源阵营里表现最好的是GLM 5.3（39.8%）和Qwen 3.8（39.4%）。
推理努力加码，通常能换来7-13个百分点的提升，不过这一规律并非铁律。DeepSeek V4 Flash把推理努力调高之后，成绩反倒从31%略降到29%。
pass@k：多试几次能到什么水平
要是让模型多跑几遍呢？pass@k看的是k次独立尝试里至少成功一次的概率。研究人员拿15款模型做了pass@32测试，结果如下：
- 平均成功率从pass@1的36.7%升到pass@32的73.7%。
- 成绩最好的那款模型，pass@32冲到了95.0%。
换句话说，眼下最强的模型也难保一次就做对，但多采样几次，生成合格动画的概率相当大。高性能模型的收益却衰减得更快：top 5模型从16次尝试加到32次，成功率只多了2.6个百分点；低性能模型同样加16次，提升幅度是6.7个百分点。
AI究竟错在哪儿？
研究人员翻了近3万次失败尝试的验证报告，把最常见的失败归成三类：
- 一是参考姿态不匹配（Reference-pose mismatch），元素没摆出提示词要求或静态图里那个姿态。拿“剪刀”任务来说，两片刀刃闭合时直接融成了一体，没有保持分开而重叠的样子。
- 二是运动轨迹不匹配（Motion trajectory mismatch），元素跑的路径、方向或距离不对。比如“TWS耳机”任务里，一只耳机本该镜像地向上向外移动，实际却往下掉了。
- 三是事件协调不匹配（Event coordination mismatch），相关动作的先后顺序或重叠关系出了错。“Speed-2”任务中，指针离开范围时绿色状态指示器本该淡出，它却一直挂在那儿。
还有个挺有意思的现象：32次尝试里有125个案例（牵涉52个任务、覆盖全部15款模型）属于“拼图式成功”——每次尝试都过了部分检查，可没有一次能全过。这说明模型抓住了部分指令，却没法在一次生成里把所有约束协调好。
这套基准对行业意味着什么
MotionGraphicsBench把AI评估从“看着像不像”推向了“做得对不对”。对动态图形设计师来说，当下的AI工具更像一个得反复调教的初级助手，还称不上可靠的自动化引擎。
GPT-6 Astra这类模型在简单任务上表现尚可，一碰到复杂的时空协调、精确姿态控制和多元素联动就吃力。开源模型和顶级闭源模型之间的差距也还摆在那儿，尽管GLM、Qwen等正在快速追赶。
对开发者来说，这套基于代码的验证办法提供了另一条路：与其靠黑盒的VLM打分，不如把设计约束翻译成可执行的代码检查。评估准确性上去了，后续做模型优化也有了明确的调试方向。
现在，MotionGraphicsBench的全部任务、验证程序、模型输出和人类标注数据都已在Hugging Face上开源。想摸清AI动态生成能力边界的研究者或开发者，都可以拿这个资源库上手试试。
