二维网格控制
在画面上定义一层顶点网格,通过移动顶点来指定区域该怎么变形、往哪个方向位移,把抽象的运动意图变成模型能读懂的几何信号。
拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
用二维网格轨迹控制视频生成的扩散模型研究项目
Generative Rendering:2D mesh 是一个把动态二维网格作为运动控制信号、驱动视频扩散模型生成结果的实验性工具,发布在 GitHub Pages 上。它的思路是先给出一组顶点随时间移动的二维网格,让模型按网格的形变去合成画面运动,而不是只靠文字提示词碰运气。适合想精确指定物体走向、镜头推移方向的研究者和动效创作者。目前它是研究性质的演示,没有成品软件那样的界面与流程,参数调节和输入格式都需要自己动手准备,产出稳定性也依赖具体模型的配合。
Generative Rendering:2D mesh 解决的是视频生成里「运动不可控」这个老问题。纯文本提示词只能描述画面内容,很难说清楚某个物体往哪走、走多快、边缘怎么变形,而这个项目把二维网格当作中间语言——你在画面上铺一层顶点,拉动顶点形成一条随时间变化的轨迹,模型就按这条轨迹去渲染视频。它属于生成式渲染方向的研究尝试,把图形学里的网格变形思路接到扩散模型上。
对研究者而言,它是一套可以改的参考实现:网格怎么定义、轨迹怎么编码、怎么和扩散采样过程结合,这些环节都能替换,方便做消融和对比实验。对做动效或分镜的人来说,它更像一个验证概念的工具,可以先在小尺寸、短时长上试出想要的运动感,再决定要不要投入正式制作。
它不提供开箱即用的成片流程,输入需要自己构造网格与轨迹数据,输出质量受底层生成模型影响很大,遇到复杂遮挡或大范围形变时容易出现画面撕裂。把它当作一个可控性实验台,比当作生产工具更合适。
在画面上定义一层顶点网格,通过移动顶点来指定区域该怎么变形、往哪个方向位移,把抽象的运动意图变成模型能读懂的几何信号。
网格随时间变化的序列作为条件输入扩散模型,让生成的每一帧都跟着轨迹走,而不是只在首帧定个方向就放任模型自由发挥。
把几何条件注入扩散采样过程,在去噪的每一步施加网格约束,使结果既保留生成模型的画面质感,又贴合指定的运动结构。
以可读、可改的代码形式发布,网格编码方式、条件注入位置、采样策略等环节都能替换,方便复现和做对比实验。
适合表达平移、缩放、旋转、局部形变这类结构化运动,比纯文本提示词更能稳定地约束物体走向与画面节奏。
当你的核心诉求是「让画面按我指定的方式动起来」,并且愿意自己准备网格与轨迹数据时,这个项目值得一试,它提供的运动控制粒度是文本提示词给不了的。当你要的是快速出片、批量生产,或者团队里没人能读代码、调参数,它就不合适——它没有面向普通用户的界面与流程,出问题也缺少现成的排查路径。把它定位成研究验证工具而非生产软件,预期就不会落空。
研究运动可控性、条件注入方式,需要一套能改能复现的参考实现来做消融实验,这个项目的代码结构正好适配这种用法。
做分镜或动效设计时,想先验证某个运动感觉是否成立,可以用它快速试出方向与节奏,确认后再投入正式制作。
能自己准备网格数据、愿意调参数,用它做有明确运动意图的短片实验;但要接受产出不稳定、需要反复试。
需要稳定交付和批量出片,这个项目缺少成品流程与界面,出问题排查成本高,不适合放进正式生产链。
只想输入文字或上传素材就拿到成片,这里需要构造网格与轨迹数据,上手门槛明显超出可接受范围。
文字提示词能说清画面里有什么,但很难说清某个物体具体往哪走、走多快。这个项目把运动写成二维网格轨迹,模型按轨迹去渲染,所以你能指定方向、形变和节奏,控制粒度细很多,代价是要自己准备网格数据。
基本用不了。它以研究实现的形式发布,需要自己构造网格与轨迹输入,还要调条件注入和采样参数,出问题也得从代码层面排查。如果只想输入文字就拿成片,应该找成品化的视频生成产品。
不建议直接用于商业交付。它缺少完整的制作流程与稳定性保障,复杂镜头下容易出现撕裂或运动不连贯,更适合用来验证运动方案是否成立,确认后再换成熟工具实现。
常见原因是网格顶点轨迹存在突变,或者约束强度设得太高,模型为了贴合网格牺牲了画面连续性。可以先对轨迹做平滑,再把前景背景拆成不同强度的约束区域,通常能明显改善。
固定随机种子,只改网格轨迹,其他条件不动。这样两次结果之间的差异就来自你的轨迹修改,而不是采样随机性。调参阶段这一步很关键,否则很容易把噪声当成效果。
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| Generative Rendering:2D mesh本工具 | 4.2 | 未标价 | 二维网格控制;轨迹驱动生成;扩散模型结合;研究型实现 | — |
| TrailBlazer | — | 未标价 | 基于扩散的轨迹控制视频生成 | — |
| Allegro | — | 未标价 | 先进的文本到视频生成模型 | — |
| Allegro-TI2V | — | 未标价 | 文本图像到视频生成模型 | — |
| Ruyi-Mini-7B | — | 未标价 | 开源图像到视频生成模型 | — |
| Wan2.1-FLF2V-14B | — | 未标价 | 开源视频生成模型,支持多种生成任务 | — |