AI视频"抽卡"难题:十次生成才得一次满意,成本花在哪

资讯 InfoQ 作者:林绮蓓 蔡芳芳 全文 3754 字 · 约 10 分钟读完 配图 1 张 分类多模态

多模态AI加速内容创作,距离一次成型还有多远?

所属频道 模型发布

拿 AI 生成一条视频,几分钟就能出片。可要让它真正对上创作者的心思,通常还是得一遍遍试。业内把这种反复生成、再反复挑的过程叫"抽卡"。

腾讯云 WAND 多模态应用负责人朱琳在接受采访时说,按行业经验,一部 AI 短漫剧从分镜做到成片,中间大概要生成十次,才能换来一次满意的效果。这种落差不只出现在视频上,它说明当下 AI 创作有个绕不开的矛盾:生成速度越来越快,创作者拿到自己想要的作品却未必同样快。生成门槛降下来了,反复试的代价却不低。每"抽"一次,都意味着多一次模型调用、多一段等待,还可能搭上人工筛选、修改和返工。

AI视频"抽卡"难题:十次生成才得一次满意,成本花在哪(配图 1)

10 月 30 日,腾讯全球数字生态大会多模态应用专场举行,会后还有媒体采访。腾讯云、智象未来等企业的嘉宾到场,围绕这个难题讲了各自在真实内容生产里碰到的困难和做过的技术尝试。

AI 能生成好画面,为什么还是难以一次性交付?

电商这边,商家常要借 AI 给商品换背景、调光影,同时保证形状、颜色和品牌标识不变。同一件商品还得出一套素材:主图、卖点图、场景图等等。也就是说,模型不光要生成达标的画面,还得在批量生成时把商品特征守准、守住一致。

视频制作更难。单个镜头看着够真了,放进连续叙事里,还得让角色形象、人物动作、空间关系和镜头衔接都对得上。一个镜头偏了,前后内容就可能接不上。

今年 9 月发表的论文《Better Call CineCrew: Consistent Ultra-Long Narrative-to-Film Generation》也提到,长篇叙事视频生成仍受制于镜头级控制、跨片段视觉身份和角色行为一致性等问题。研究者认为,现有基于提示词的工作流容易出岔子,一个重要原因是剧本和视频生成模型之间少了一层结构化的中间层,镜头、角色、连续性这些约束没法充分表达出来。

换成直白的话说,剧本讲的是故事里发生了什么,却未必写清摄像机怎么动、人物站在哪儿、哪些细节在不同镜头之间必须保持一致。这些信息要是在生成前没表达充分,创作者就只能等结果出来再一遍遍改。

腾讯云副总裁、媒体 AI 产品负责人李志成在采访中也说,即便是行业头部的视频生成模型,放到光影、物理规律比较复杂的影视场景里,仍有没解决的问题。

这也说明,商业生产对多模态模型的要求已经不止于画面逼真,还要看它能不能准确听指令、保持内容一致、稳定产出合要求的素材。不然,生成再快,也可能只是更快地攒出一堆等着筛选和修改的素材。

十次生成才有一次满意,成本究竟花在哪里?

生成结果的不确定,最后都会落成实打实的时间和钱。

多模态模型一般按调用次数、视频时长或输出规格收费,可单次生成的价格说明不了成品的成本。打个比方,生成一次视频 10 元,平均十次才出一个可用镜头,光生成费就是 100 元;可用率若提到 50%,理论上平均两次就有可用结果,费用降到 20 元。这还没算人工筛选、修改和后期处理。所以对批量生产内容的团队来说,把生成结果的可用率提上去,和把单次调用价格压下来一样要紧。

腾讯云今年推出的音视频 AI 产品家族 WAND,就是想从模型优化、生成控制、后期处理这几环入手,减少返工。据腾讯云披露,WAND 已帮客户把内容生产的综合成本降了约 20%。

这笔钱是怎么省下来的?朱琳在采访中解释,提高内容可用率是重要的一条路。除了优化模型生成效果,WAND 还用白模前置、擦除修复和生成式增强等技术,让一些原本要重新生成的素材处理之后就能用,反复生成和返工因此减少,综合成本也就降了下来。

漫森文化的实践给出了更具体的数据。公司助理总经理谭琳介绍,团队此前的镜头可用率约 30%。接入腾讯云 WAND 的视频生成、画面修复与增强等能力后,可用率升到 50%—80%,再经过精细化运营,能稳定在 80% 左右。

漫森文化还把 WAND 的视频生成、画质增强等能力接进自研制作中台,用 Agent 工作流把剧本、分镜、画面生成、后期处理和剪辑串起来。谭琳透露,公司做的精品 AI 短剧单部成本约 10 万—20 万元,用上 WAND 相关能力后,成本又省了约 30%,整体效率提升约 30%。

电商领域也有类似变化。紫讯科技联合创始人杜玉生介绍,公司主要服务跨境电商 B 端客户,帮商家做广告获客素材。接入 WAND-Vega 后,图片素材的有效使用率从原来的 50%—60% 提高到 70%—80%;业务效果一样的情况下,商家的素材成本有所下降。

减少"抽卡",为什么需要在模型之外做文章?

想把内容可用率提上去,光优化模型不够,还可以在生成前把约束讲清楚,在生成后把缺陷补上。

先说生成之前,把含糊的创作要求变成更明确的约束。

李志成在采访中介绍,针对复杂的影视场景,WAND 试着引入 3D 白模:先用 3D 软件做出一段简化的场景视频,把物体位置、空间关系和部分运动信息定下来,再拿它当参考交给视频生成模型。

跟完全靠自然语言描述相比,白模能把场景布局、物体位置和运动关系变成更明确的视觉约束。创作者在正式生成前就能调整空间结构和镜头安排,之后再由模型出最终画面,生成结果的不确定性因此减少。

现场一位业务负责人讲了一个真实客户案例。一家保险客户想呈现春节燃放鞭炮出事故、救护车赶到现场的情节。用户口述需求后,平台的工具先做出对应的白模场景,再交给 WAND-Vega 或其他模型生成视频,反复尝试的次数就少了。

通用模型放到专业场景里,未必就是最合适的那一个。李志成在采访中解释,WAND-Vega 并非从零训练的通用基座模型,它是在腾讯混元及部分开源基础模型上做后训练和调优。

腾讯云选这条路线,跟它看到的实际业务需求有关。不少通用场景里,现有生成模型已经能应付基本要求,可电商、短剧这类专业场景还是有一些反复冒出来的问题。电商要准确保留商品特征,影视制作更在意人物一致性、动作和镜头衔接。围绕这些高频需求做优化,图的是提高模型在特定业务里的适用性,而不是单纯去追通用评测成绩。

版本上,WAND-Vega 还分侧重性价比的 Lite 和侧重生成质量的 Pro 等。李志成透露,在效果基本对齐部分行业主流模型的情况下,面向成本敏感客户的方案能把模型成本降低约 20%—30%。

最后一种情况是,生成结果只有局部毛病时,修复往往比重新生成更划算。视频主体内容已经符合要求,只剩错误字幕或局部画面瑕疵,重新生成不光增加成本,还可能把原本满意的部分改掉。

这类问题交给 WAND-EraseVibe+ 处理,它提供视频擦除与画面重建能力。按腾讯云披露的技术方案,该工具采用基于隐空间 Transformer 的生成式修复架构:先把视频画面编码为隐空间特征,在特征层推断并重建需要修复的区域,再解码成视频画面。

白模前置、垂直场景调优和局部修复各自作用在不同环节,目的都是减少为了拿到可用内容而付出的重复生成成本。可当一个生产任务要经过多个模型与工具,新问题又来了:这些能力该怎么接起来,下一步做什么由谁来决定?

从模型调用到自动交付,Agent 能接管多少工作?

一段视频从生成到成片,中间可能要过画面修复、增强、配音、字幕和剪辑好几个环节。这些任务通常由不同模型或工具完成,开发者不光要处理它们之间的依赖关系,还得管执行状态和异常情况。固定的自动化工作流能完成一部分任务,漫森文化就通过自研制作中台,按预设流程调用不同模型和处理工具。至于需要临时组合不同能力的任务,Agent 给出的方式更灵活。

一位业务负责人介绍,其平台的 Creative OS 允许用户用自然语言提出创作需求,由 Agent 参与模型选择和工具调用。按平台此前的一次统计,82% 的视频模型调用已经由 Agent 发起,有些过去要手动搭建画布节点的操作,现在可以交给系统完成。

Agent 能帮忙理解任务、选择工具、组织执行步骤,但生成结果符不符合创作意图、达不达到商业使用要求、还要怎么改,仍然可能要创作者来判断。

智象元一沈伟峰在采访中提到,普通个人创作者通常更关注最终结果,专业影视团队除了成片质量,还要求创作过程有较高的可控性和可编辑性。比如创作者可能认可一个镜头的整体效果,却只想改人物表情;也可能想保留现有场景,只调整镜头运动。如果工具每次都重新生成完整画面,或者无法保留和编辑中间结果,那自动化程度再高,也未必适合严肃的商业生产。所以 Agent 不只是要减少人工操作,还得让创作者能在关键节点检查、修改和调整结果。

从模型生成、工具处理到 Agent 编排,多模态内容生产正在尝试把原本分散的能力组织成一套完整的工作流。但要真正实现稳定交付,系统不光要完成各环节的调用,还要保证生成结果符合要求,并允许创作者在关键节点介入修改。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关 AI 工具

AI 导航
OpenAI最新发布的多模态AI大模型 GPT - 4o是OpenAI最新推出的先进人工智能模型。它具备强大的多模态推理能力,能处理语音、文本和视觉… AI 写作 · openai.com 多模态跨尺度生物医学成像 以亚纳米分辨光电融合技术为代表的多模态高分辨分子成像装置、以毫秒分辨显纳成像为代表的多模态活体细胞成像装置、… 知识管理 · bjmu.edu.cn 深思考Dongni多模态大模型 Dongni多模态大模型搜索引擎通过结合文本、图像等多模态数据,为用户提供了一个功能强大、操作简便的搜索工具 大模型与开发平台 · dongni.ai 达闼RobotGPT多模态大模型 达闼RobotGPT多模态大模型是一个创新的AI工具,它通过整合多模态数据处理能力,为机器人在多样化的应用场… 大模型与开发平台 · dataarobotics.com Wordware Wordware是一个集成开发环境(IDE),其最大亮点在于零代码开发,任何人无需编程知识,通过日常语言就能… AI 写作 · wordware.ai Seko Seko是商汤科技(SenseTime)推出的行业首发创编一体的AI短视频创作Agent。Seko可以根据用… AI 智能体 · sensetime.com 腾讯混元大模型 腾讯混元大模型由腾讯全链路自研,在文本和多模态模型性能方面表现卓越,处于业界领先水平。其混元 API 整合了… 大模型与开发平台 · tencent.com 蛙蛙写作 蛙蛙写作是由杭州引力智航科技有限公司开发的一款AI智能写作工具。产品定位为帮助不同类型的作者,提供个性化的写… AI 写作 · wawawriter.com

相关推荐 按相关度与热度排序

全部资讯 →
  1. AI空间推理新突破:不用工具也能学会,MindCube-Tiny涨到62.9分

    你可能没想过这样一个问题:一个AI模型要判断"从第一张照片到第二张照片,相机往哪个方向移动了",到底有多难。对人类来说这几乎是本能。你瞥一眼两张照片,大脑自动比对一下沙发的位置、窗户的角度,答案就出来了。但对多模态大语言模型来说,这件事出奇地难。这就是这篇论文要解决的问题,也是它故事的起点。**空间推理这...

    来源 腾讯网
  2. 亚历山大·王:29岁Meta AI官,接班人传闻外的百亿朋友圈

    智东西(公众号:zhidxcom)作者 | 江宇编辑 | 云鹏一个由华尔街量化实习生组成的“硅谷新黑帮”,再次走入聚光灯下。智东西11月4日报道,近期,英国《金融时报》刊发了对Meta首席AI官、29岁华裔创业者亚历山大·王(Alexandr Wang)的人物报道,讨论了他在Meta内部的影响力,以及未来接替扎克伯格掌

    来源 腾讯网
  3. 谷歌Omni 1.2 Flash上线:视频时长增至15秒,API降价约30%

    人工智能视频生成与编辑领域迎来重要更新。Google DeepMind 正式发布了全新的多模态视频生成模型——Gemini Omni1.2Flash。该模型在生成时长、画面一致性、多轮对话修改以及 API 价格上均带来了全方位的重大升级。 核心性能升级:时长翻倍、一致性优化与多轮对话编辑 在核心功能方面,Gemini

    来源 AI 开发者社区
  4. 埃森哲报告被指15条引用造假:AI幻觉还是虚构案例?

    GPTZero 分析发现,埃森哲与 IE 大学合作的《跨越式发展》报告含 15 条虚假引用及完全虚构的案例研究。埃森哲否认是 AI 所致,称系人为失误,正修正报告。此前该公司曾警告不用 AI 的员工将被“淘汰”。#埃森哲AI幻觉#

    来源 IT之家
  5. 埃森哲报告被指15条虚假引用:AI幻觉还是编造案例?

    IT之家 11 月 8 日消息,埃森哲(Accenture)被指发布了一份充斥人工智能“幻觉”的研究报告,其中不仅包含大量虚假信息,还出现了多处疑似捏造的研究案例。 据 GPTZero 最新分析,这家咨询巨头发布的一份报告涉嫌包含 15 条虚假引用,以及完全虚构的案例研究,因此正受到外界审查。 这份名为《跨越式发展》(

    来源 AI 行业观察
  6. 张艺谋谈AI冲击电影:短视频产值已达几百亿,电影院还进吗

    据电影频道融媒体中心报道,第 39 届中国电影金鸡奖金鸡・国际电影节展对话在厦门开讲,张艺谋以主嘉宾身份分享了自己对 AI 冲击电影行业的看法。他坦言,AI 短视频产值已到几百亿,大量的人看,是一个很大的挑战。#张艺谋谈AI对电影的挑战#

    来源 IT之家
  7. 张艺谋谈AI冲击电影:短视频产值几百亿,年轻导演该怎么做

    IT之家 11 月 7 日消息,据电影频道融媒体中心报道,第 39 届中国电影金鸡奖金鸡・国际电影节展对话在厦门开讲,张艺谋以主嘉宾身份分享了自己对 AI 冲击电影行业的看法。 张艺谋称,AI 短视频产值已到几百亿,大量的人看,那还进电影院吗?他坦言,这其实是一个很大的挑战,自己也不知道未来(比如五年、十年之后),当

    来源 AI 行业观察
  8. 蚂蚁Ling-3.2-flash上线:560B MoE只激活25B,1M上下文

    蚂蚁百灵今日推出原生多模态模型 Ling-3.2-flash,560B 总参数每次仅激活 25B,配 1M 上下文、走 MoE 路线——前向只调部分参数,留知识容量、压单步开销。这"大骨架、小激活",正是平衡能力的核心。 四项能力同步上桌 模型架构层原生打通视觉与语言,图文视频通吃。官方强化四块:复杂视觉理解做图像视频

    来源 AI 开发者社区
  9. 中国移动供应链生态论坛:发布3项成果,陈怀达谈AI新阶段

    2026移动网络大会供应链生态合作论坛在广州成功召开。论坛以“聚链成势・向新同行”为主题,以技术演进、安全可控、绿色低碳为核心导向,全方位牵引产业链结构优化与创新协同,构建“协同共建、能力共享、价值共创”的供应链生态合作新范式。

    来源 TechWeb
  10. 埃森哲报告被指15条引用造假:AI幻觉还是编造案例?

    IT之家 11 月 8 日消息,埃森哲(Accenture)被指发布了一份充斥人工智能“幻觉”的研究报告,其中不仅包含大量虚假信息,还出现了多处疑似捏造的研究案例。据 GPTZero 最新分析,这家咨询巨头发布的一份报告涉嫌包含 15 条虚假引用,以及完全虚构的案例研究,因此正受到外界审查。这份名为《跨越式发展》(Le

    来源 腾讯网
  11. 张艺谋谈AI冲击电影:短视频产值几百亿,年轻导演该讲自己的故事

    IT之家 11 月 7 日消息,据电影频道融媒体中心报道,第 39 届中国电影金鸡奖金鸡・国际电影节展对话在厦门开讲,张艺谋以主嘉宾身份分享了自己对 AI 冲击电影行业的看法。张艺谋称,AI 短视频产值已到几百亿,大量的人看,那还进电影院吗?他坦言,这其实是一个很大的挑战,自己也不知道未来(比如五年、十年之后),当 A

    来源 腾讯网
向下滚动自动加载更多