重控制、轻渲染,达瓦科技的 AI 视频工业路线

资讯 极客公园 作者:连然 全文 5981 字 · 约 15 分钟读完 配图 2 张 分类视频生成

把 AI 视频真正带进工业生产。

所属频道 视频图像生成

头图来源:极客公园

今年以来,视频生成模型的进步肉眼可见,AI 短剧、换脸、场景合成在各个平台越来越多,但一个现实问题始终存在:生成一条满意的视频,往往要反复「抽卡」,算力和时间成本都不低;而一旦进入专业影视管线,今天的模型能承担的工业级工作仍然有限。

关于这个问题,行业有两种思路。一种堆参数、扩算力,相信通用大模型终会跨过工业门槛;另一种扎进真实片场,从具体需求自下而上生长。达瓦科技走的是后一条路径。

达瓦科技总部位于重庆永川,团队从 2014 年开始运营科技影视片场,2023 年成立达瓦科技,转向 AI 模型,今年已连续完成 Pre-A 轮、A 轮融资,累计融资约 5 亿元人民币。

他们选择的路线是「重控制、轻渲染」:自研控制层基座模型 Latent Stage,把对人物、动作、镜头、灯光、场景的理解和控制单独做成一层,再交给渲染层出画面。围绕这条路线,公司有两款产品:面向专业内容团队、做离线生成的 FilmOS,以及在单张消费级显卡上就能实时运行的世界模型 Scenes AI。

这套架构的底气来自数据。达瓦在真实片场中积累了约 180TB 的结构化「过程数据」,记录的不只是成片画面,还有从剧本、机位、灯光到动作捕捉的完整拍摄过程。

以下为极客公园创始人张鹏与达瓦科技 CTO 朱子威和 CPO 李宗兴对谈实录,由极客公园整理。

01 从科技片场出发,做「控制层」

张鹏:

过去一年视频生成模型进步很快,大家都能刷到 AI 短剧,很多人也开始自己生成视频玩。但成本一直很高,对算力需求大,真正放进专业影视工业,能发挥多少作用,还是个问题。

今天我们就看看,在主流的视频大模型之外,有没有别的技术路线。先请宗兴介绍一下达瓦科技。

李宗兴:

达瓦科技最早是一家科技影视公司。可以讲个故事:1975 年卢卡斯想拍《星球大战》,发现很多电影技术实现不了,就创办了工业光魔,专门去解决这些技术问题。需求会推动技术发展,就像游戏玩家推动了 GPU 的进步。

我们的片场经常给技术团队提真实的问题,比如导演只想改画面里的一小部分,为什么要重新拍整个镜头?能不能只保留这个人物、这个动作,只改其他部分?在这些需求推动下,我们走向了控制层,做一个控制层基座模型,让视频真正可编辑、可理解。

我们有两款核心产品。一款是FilmOS,一个 AI Agent 影视创作平台,基于一句话的目标就能生成高质量画面,得益于控制模型,它可以让你少抽卡就能拿到合适的画面。另一款是正在研发的实时世界模型Scenes AI,基于稀疏扩散自回归架构和世界模型,能把摄像头画面实时演化、编辑,是一个 Physical AI 产品。公司财务口径上,我们一年的 ARR 大概在 1 亿美元左右。

张鹏:

收入很可观。你们本质上是在控制层做模型,解决的就是「少抽卡」——哪不行就局部改,不用整条重拍。

02 控制层像导演,渲染层像相机

张鹏:

「少抽卡」的目标,要用什么技术实现?你们的架构和路线是什么?

朱子威:

先分层看。渲染层像相机,负责把画面拍出来,渲染层越好,画面效果越好,比如英伟达的 DLSS 5,用神经网络把老游戏渲染出很真实的效果,对应视频模型里的 DiT 扩散部分。控制层更像导演,决定场景里有哪些物体、演员从哪走到哪、有什么道具和交互、时序上怎么变化。渲染层像相机,控制层像导演。

可以把它理解成一个虚拟空间,里面的桌子、凳子、人物、机位都真实存在,只是肉眼看不见。控制层根据导演的需求把这些要素匹配进去,再把结果交给渲染层,得到一个不用再花大力气修改的结果。它符合真实物理环境下该有的拍摄逻辑,也不会出现抽卡常见的穿帮——比如人走过去一扭头,门口的人突然坐到沙发上了。

张鹏:

这里有个关键区别:你们是一个基座模型,不是一个视频 Agent。这两者怎么理解?

朱子威:

Agent 解决的是信息差。很多人拿到视频模型不会用,会写提示词、懂升格、推拉摇移、zoom in/zoom out 这些术语的人,结果就能逼近模型上限,Agent 是帮人补上这个信息差。控制层解决的是认知差:模型能不能理解一个完整的物理片场。Agent 解决信息差,控制层解决认知差。

张鹏:

比如这盏灯突然灭了,空间里会发生哪些连锁反应,这就是认知。我调暗一个灯光,这一个输入应该带来一串输出的变化。

朱子威:

对。Agent 遇到这种情况,可能会重新生成一堆图片,再想办法交给视频模型,中间走很多弯路,每次处理都在增加不必要的信息熵,最后拿不到高维认知下直接控制的结果。控制层是在渲染之前就把这些问题解决掉,像一个全知的导演助手,在你花大价钱渲染之前先把事办好。

03 多一层计算,为什么反而更省钱

张鹏:

搞基座模型肯定要花钱。作为一家做模型的公司,现在融资情况怎么样,有多少弹药?

李宗兴:

我们最近连续完成了 A 轮和 Pre-A 轮融资,大概 5 亿元人民币。现阶段肯定够用,因为我们训的不是特别大的模型,而是控制基座。在我们看来,控制层会革新内容形态的交互,是特别值得投入的方向。

张鹏:

投资人主要看重什么?

李宗兴:

核心有两点。第一,我们有真实业务收入,不是完全靠外部融资推动,商业飞轮已经在转,我们不是一家还在找 AI 场景的公司。

第二,我们在解决影视行业的真实需求:现在做任何小修改都要重新生成整个画面,而我们用局部控制大幅降低抽卡次数。行业往往只算单次生成的成本,但水下有很多隐性成本——一个镜头到底要抽多少次卡?把抽卡次数降下来,才是真正降低影视生产的成本。

另外,我们能基于一张消费级显卡做实时内容,比如把会议室铺满海浪、把衣服实时换成汉服或钢铁侠。如果要靠数百万、上千万的 GPU 集群实现,就没有经济适用性;一张一两万的显卡能做到,落地的可能性就很大。未来还能把画面推到 AR 眼镜里,整个房间都能被重新渲染。

张鹏:

你们衡量的不是单次抽卡成本,而是完成一次有效交付的系统成本。那我再问一个技术问题:你们等于在原有模型之外又加了一层,为什么两层运算反而更划算?

朱子威:

首先是一致性。控制层让结果更符合创作意图,大家抽卡时其实每 15 秒镜头画面质感都不差,问题是 60 分钟、100 分钟之后,内容不按你的方向走,我们的可控,是在完整内容的一致、可控

其次是精准度。做出来之后,我要改怎么办,渲染层是一坨像素,改掉这个杯子,重新生成就全乱了。我们控制层,能实现指哪打哪,其他要素完全不变。

大家说的抽卡,本质是「不可控」。通过我们的控制模型,原来要抽十次、二十次,现在三到四次,总体成本能下降 50%—60%。

张鹏:

就像便宜炮弹要打一万发才能炸掉碉堡,而一发精准制导导弹虽然贵,总体账反而更划算。

李宗兴:

对,就是精准制导。

张鹏:

再聊聊数据。你们做控制模型,数据是怎么来的?什么数据对这个模型最重要?

朱子威:

主流视频模型更像用眼睛看视频学炒菜,我们的过程数据是真正「进过厨房」。一个电影级片场,从怎么备菜、选料、用什么厨具、什么火候,全部能量化。

我们会把片场里所有要素的状态——摄影机画面、机位、灯光、道具摆放、场务移动——放在同一时间轴上记录,很多硬件上打了信标、有专用跟踪设施,还用英伟达 Omniverse 搭建仿真环境,本质是数字孪生。自研的无标记动捕也起了很大作用。

张鹏:

就是把拍片从剧本到成片的全过程,全部向量化。

朱子威:

对,全部记录下来,再做大量仿真和变体。真实项目数量有限,我们就通过仿真和剧本调整去扩展数据,一生二、二生三,最后拿去做控制。

李宗兴:

我们的模型不是拿 LLM 改的,LLM 只是很小的部分。它按要素组拆解片场,人物动作、镜头、灯光每个要素都有专门的专家,整体是一个 MoE。模型 34B 参数,每个专家权重差距不大,因为几乎没有纯像素数据,数据压缩做得比较好,在剧集和非超大制作的动作戏范围内,已经展现出很强的控制力。

张鹏:

这个数据飞轮具体怎么转?

李宗兴:

我们的片场从 2014 年做到现在,下一阶段它的定位会从收入来源变成一个「数据工厂」,把制片过程沉淀成世界模型的训练数据。

现在已经有 180TB 结构化的世界状态数据,训练出基座模型,再通过 FilmOS、Scenes AI 回到真实生产,生产又持续产生新数据,这是达瓦独特的商业飞轮。

我们还采购了英伟达 Omniverse 和 Cosmos 的企业授权,批量生成带物理约束的仿真数据,比如火焰怎么蔓延、种子怎么长成大树、积雪怎么融成水。

04 不是垂直模型,是通向 Physical AI 的世界模型

张鹏:

当年大模型落地时,有一派讲「垂直模型」。投资人会不会也问你们,这是不是个垂直模型?

朱子威:

控制层并不只能用于视频生成。今年我们在苏州和英伟达方面做过很长的闭门沟通,结论是控制层是通向 Physical AI 不可或缺的部分,它本身有泛化性,只是我们现在的数据集偏垂直。偏垂直的好处是先在一个领域打出可用性和商业价值,反过来证明这条路是对的。

张鹏:

所以它不是垂直模型,更像世界模型的一种,代表对世界逻辑关系的理解,未来甚至能用于机器人训练。你们现在聚焦片场,是因为算力有限,先把一点打穿、做到正向利润。

朱子威:

对,什么都做等于什么都不做。先把一点打穿,拿到实打实的商业回报。

张鹏:

宗兴,主流做视频大模型的人相信只要持续 scaling,这些问题都能解决。你们是本来就在产业里的人,片场真实的痛点是什么?

李宗兴:

片场每天都会提一些当下技术看似解决不了的问题。比如一个一镜到底的长镜头,整体都很好,只出现一个小瑕疵,导演说「再保一条」,这一条就是经费在燃烧。这正是把我们推向控制端的原因——对一个镜头做局部修改。

再比如一盏灯从面前移过,不只是改一个灯光参数,它会让所有人脸的明暗、对比都发生变化,所以我们加了大量 Physical AI 的物理约束。观众判断画面真假,往往就看空间关系和物理细节对不对。

张鹏:

任何技术领域都有客户需求带来的「不可能三角」。你们的不可能三角是什么?

朱子威:

是算力预算、生成时间、分辨率或质量,三者要取舍。

李宗兴:

客户经常问,能不能在手机上跑?我们的模型 34B、单次激活 4B,为了实时和低算力已经做了大量取舍。传统扩散模型计算下一帧要把整个画面重新算一遍,需要 GPU 集群,但你不可能让客户买一台几百万的机器放家里。

我们的解法是「稀疏扩散自回归」。真实世界里真正发生变化的区域只有 10%—20%,比如现在我们三个人在聊天,墙壁、地板、天花板都没变,就可以把这些稳定区域的前空间状态直接复用,把算力集中到变化的部分。这套架构能把 GPU 消耗降低约 60%,推理速度提升 3 到 5 倍。目前我们能在 720P 上做到每秒 30 帧。

重控制、轻渲染,达瓦科技的 AI 视频工业路线(配图 1)

张鹏:

现在很少有人有顶级算力,公司能配一张 5090 就已经不错了。

李宗兴:

所以第一阶段肯定先用在能支付得起硬件的商业环境。我们还会在同一帧里用不同的推理精度和步长,像做游戏优化一样管理每一帧的预算,未来希望能压到 4090、4080 这些显卡上。产品只有落到客户能承受的范围,才不是空中楼阁。

一张普通消费级显卡,就能实时把人变成蜘蛛侠、钢铁侠,把场景里的椅子变成冰封王座,还能交互,不穿模、不露线。世界模型会先理解空间,判断寒冰会影响哪些范围、对空间温度有什么变化,这本质还是 Physical AI 的物理推理问题。

05 从项目交付,到「世界登录器」

张鹏:

除了影视和广告,这些新能力有没有带来新场景?

李宗兴:

有很多真实需求。比如直播电商,卖羽绒服可以实时把场地变成玉龙雪山,雪落在肩膀上还能拍掉;卖香薰的客户,就把办公室变成玫瑰森林,让人一上来就身临其境。还有游戏大厂,想用它做宝可梦、游戏王那种实时对战,扔出精灵球就能生成角色,这是传统 AR 做不到的。戴上眼镜,所见的空间都能被重新渲染。我们自己都有点担心,因为未来可能分不清真假。

重控制、轻渲染,达瓦科技的 AI 视频工业路线(配图 2)

张鹏:

《黑镜》里早就有一集,眼前看到的一切都是重新渲染过的。当时我们觉得算力肯定不够,现在芯片和模型正在双向靠近。

朱子威:

专用芯片会出现,我们也在和芯片厂商做比较深入的合作。如果用专用 TPU,性能会比通用显卡高很多。

张鹏:

主流大厂也在加强控制层,而且他们资金充足。你们怎么看这种竞争,核心价值在哪?

朱子威:

首先是数据领先。视频基座模型做得越大,对我们反而是好事,因为我们的上限会被抬高,现在有些视觉效果受限,其实是渲染的锅,不是控制的锅。我们的真实业务、对数据的理解、现有的数据优势会持续存在。

要复制一套完整片场数据,需要大量硬件、时间和项目投入,而真实实拍项目越来越少,这个时间差就是壁垒。

张鹏:

数据资产不像石油,卖了就没了,复制一份还在,真有飞轮就不是坏事。

李宗兴:

大厂也会算投产比,砸钱也要看能占领多少市场、图什么。

张鹏:

从商业模式看,达瓦科技接下来会怎么做?

李宗兴:

现在的收入偏内容制作,客户批量采买 Token、调 API,本质还是一个个项目。未来我们希望把实时世界模型部署到客户设备上,只收定期的 license 费用,让它成为人们进入虚拟世界、电影世界的登录大门——打开电脑、戴上眼镜就能进入一个完全仿真的世界。

张鹏:

FilmOS 和 Scenes AI 分别对应什么场景?

李宗兴:

FilmOS 专注离线内容生成,给影视、广告、短剧团队一个稳定、可交付的答案,客户不用等各家模型发版,就能明确知道抽多少次卡能满足交付,我们卖的是结果,不是过程。Scenes AI 面向未来,解决人怎么实时进入电影世界,可能会革新交互形态。

张鹏:

下一个阶段,你们的核心目标是什么?

朱子威:

技术上要把控制层 scale 出去,从传统影视扩展到更多环境,比如直播就是一个已经被我们踢开门的新边界;同时往更物理、更复杂的方向走,未来甚至能让机器人理解更复杂的变化。

李宗兴:

业务上,2027 年先推进直播场景,年中希望和合作伙伴一起推出游戏化产品。过去 AR 游戏里大量内容都要提前生产,现在 AI 可以实时生成,AI 宠物、精灵可以随时陪伴、随时变化形态。

张鹏:

今天我们理解了什么是控制层——它既降本增效,又打开想象空间。达瓦是一个很典型的样本:有传统业务、有健康收入,再把业务变成「矿」,迈向新时代。给大家的启发是,哪怕不是每家公司都能做模型,也应该从现在开始有计划地收集数据,这才是上个时代留给你、进入下一个时代的资本。

朱子威:越难收集的数据,越有价值。

张鹏:感谢两位的分享。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. cinecode用代码渲染视频:确定性输出告别AI抽卡

    土耳其开发者开源的 cinecode 技能包,能在 Claude Code 或 Cursor 中运行。它不依赖付费的视频生成 API,而是通过 three.js 和 Canvas 2D 逐帧代码渲染画面,配合自动剧本、专业运镜和 Web Audio 声音设计,输出带配乐的 MP4。支持快速短片和长片审批两种模式,彻底解

    来源 AI 应用前沿
  2. RPO新解法:AI画图模型强化学习,噪声该往哪加?

    你可能没想过这个问题:训练一个会画图的AI,让它根据人类打分不断优化,到底难在哪里?答案听起来有点反直觉。难点不在于"告诉AI哪张图更好",这个人类反馈模型早就能做了。真正卡住所有人的是另一件事:要让强化学习生效,你得先让生成过程变得"随机",可现在最先进的图像和视频生成模型,走的恰恰是一条确定性路径。这就...

    来源 腾讯网
  3. 谷歌Gemini上线GIF生成:Omni 1.2 Flash驱动,8国免费

    IT之家 11 月 21 日消息,谷歌宣布为 Gemini 上线 GIF 生成功能,相应功能由视频模型 Gemini Omni 1.2 Flash 驱动,可生成循环动态图效和搞笑表情包。 该功能面向所有 Google AI 订阅用户开放,并在美国、日本、韩国、澳大利亚、加拿大、英国、德国和法国免费。用户可在主聊天输入提

    来源 AI 行业观察
  4. 英伟达单周跌近23%创2008年来最差,美股AI板块集体重挫

    板块方面,半导体产业链成为重灾区,费城半导体指数暴跌10.73%。英伟达跌14.01%,报收125.53美元,连续第7个交易日下跌;特斯拉跌7.64%,Meta跌5.93%,亚马逊跌4.10%,微软跌2.77%,谷歌跌2.59%,苹果跌1.90%。值得一提的是,英伟达本周累计下跌近23%,创2008年10月以来最大单周

    来源 TechWeb
  5. 问诊AI?一场死亡背后的追问

    查症状、看药品说明书、理解检查报告,优先用有明确医学语料来源、答案带引用且被设计为“转介医生”而非“替代医生”的专业医疗AI产品,而不是把通用聊天大模型当成全科大夫。

    来源 凤凰科技
  6. 三星高管谈AI投资:Neocloud风险有限,需求真实非投机

    IT之家 11 月 20 日消息,据路透社当地时间 18 日报道,三星电子两位高管在本周举行的摩根士丹利会议上表示 Neocloud(新兴 AI 云服务企业)面临的不确定性对整体市场的影响有限,这轮 AI 投资基于实际需求而非投机。 三星 DS(设备解决方案,半导体板块)部门经营战略总管负责人 Kim Yong-kwa

    来源 AI 行业观察
  7. 李彦宏雷军同台谈AI,宇树王兴兴:机器人想象力超汽车

    11月17日至18日,2026年亚太经合组织(APEC)工商领导人峰会在深圳前海国际会议中心举行。作为亚太经合组织第三十三次领导人非正式会议的配套活动,峰会由中国贸促会主办,主题为“共促繁荣,共赢未来”,2000余位政商代表参会,参会企业包括115家世界500强企业。百度李彦宏、小米雷军、比亚迪王传福、宁德时代曾毓群、

    来源 AI 行业观察
  8. 自家人都看不下去了?数百谷歌员工要求公司允许中小学使用不含 AI 的谷歌搜索

    IT之家 11 月 20 日消息,当地时间 19 日,据彭博社报道,超过 500 名谷歌员工和合同工联名请愿,要求公司允许中小学继续使用不含 AI 功能的谷歌搜索。 请愿书致谷歌 CEO 桑达尔 · 皮查伊、搜索业务负责人伊丽莎白 · 里德和教育业务负责人克里斯 · 菲利普斯。活动由 Alphabet 员工工会发起,其

    来源 AI 行业观察
  9. 李在明视察SK蔚山数据中心:AI竞赛速度至关重要

    IT之家 11 月 21 日消息,据路透社报道,当地时间 21 日,韩国总统李在明前往韩国东南部城市蔚山,视察当地一座在建数据中心,并敦促韩国加快在全球 AI 竞赛中的步伐。“全世界都在竞相角逐,速度至关重要。”数据中心是芯片需求的重要来源。李在明希望,SK 建设的蔚山项目能够取得成功,进而吸引全球 AI 企业加大投资

    来源 腾讯网
  10. 三星高管回应AI投资:Neocloud风险有限,芯片短缺短期难解

    IT之家 11 月 20 日消息,据路透社当地时间 18 日报道,三星电子两位高管在本周举行的摩根士丹利会议上表示 Neocloud(新兴 AI 云服务企业)面临的不确定性对整体市场的影响有限,这轮 AI 投资基于实际需求而非投机。三星 DS(设备解决方案,半导体板块)部门经营战略总管负责人 Kim Yong-kwan

    来源 腾讯网
  11. 演员把脸授权给AI短剧公司,好莱坞要跟吗?

    一位演员将自己的面部授权给一家微短剧初创公司,这一模式在中国已相当流行。随着AI生成内容技术成熟,面部授权可能成为好莱坞的新生意,但专家警告称,若这成为行业趋势,演员对自身形象的控制权、劳工权益以及长期职业生态都可能面临深远冲击。

    来源 AI 科技快讯
  12. 韩国教育部长崔教振辞职:高考AI作弊防控不足引混乱

    IT之家 11 月 22 日消息,据韩联社报道,当地时间 22 日,韩国教育部长官崔教振辞去职务,为韩国 2027 年度大学修学能力考试(韩国高考)期间防范高科技作弊措施不足引发混乱而承担责任。 近期,韩国发生多起利用人工智能工具作弊事件,引发民众广泛担忧。针对在考试前几天反复修改使用人工智能(AI)作弊的指导方针被不

    来源 AI 行业观察
向下滚动自动加载更多