文生文文生图文生视频之外还能生成什么

内容创作

给AI爱好者梳理文本、图像、视频之外的多模态生成形态:音频、3D、动作与可交互产物分别能做出什么成品、怎么算钱、授权上要注意什么。

很多人用AI生成只停在文、图、视频三件套,遇到要做一段配音、一个能走能转的3D模型、一个能点能玩的交互页面时就不知道从哪下手。这篇把三件套之外的几种生成形态按「能交付什么成品」摆出来,每种给判断标准和可执行动作,付款前该看哪几个页面也一并说清。

很多人提起 AI 生成,脑子里只有文、图、视频三件套。真到项目里就会发现,一段要配旁白的短片、一个要在网页里转起来的立体模型、一个能点能玩的演示页,三件套根本补不齐。这时候要么临时到处找工具,要么干脆改需求,两条路都费劲。

这篇不按模型名来讲,按「最后能交付什么成品」把三件套之外的生成形态摆一遍:声音类、空间类、动作类、可交互类。每种给一条上手路径和几个付款前必须看的页面,具体数字一律去站内对应页对,别凭印象下单。

先弄清三件套之外还有哪几类产物

分类别盯着模型名看,按交付物形态分更实用。声音类是配音、音乐、音效;空间类是 3D 模型、场景、点云;动作类是骨骼动画、表情驱动、镜头运动;可交互类是能点能玩的页面、小游戏、仿真环境。同一类里不同产品名头很花,但你要验收的东西是同一坨。

产物形态典型交付物验收时最先看什么
声音类旁白、配乐、音效语种音色、能不能调语速停顿、导出格式
空间类网格模型、场景、点云面数拓扑、UV 与材质是否完整、导出格式
动作类骨骼动画、表情、镜头运动骨架是否干净、驱动后会不会散
可交互类可操作页面、小游戏、仿真一条完整操作路径能不能跑通

判断自己该不该跨出三件套,看最终交付里有没有这三样:有人声、有立体物件、有可操作界面。只要占一样,纯文图视频就得靠人工拼补丁,早期换工具比事后补省事。反过来,交付物只是给人看一段内容、不需要别人上手操作,硬上 3D 或交互只会拖长工期,这种情况不适用本条。

声音类生成:配音、音乐、音效怎么落地

配音落地前先把三件事定死:语种与音色数量够不够用、能不能调语速停顿和情绪、导出格式与采样率是否匹配你的剪辑软件。音色与语种清单别靠猜,到 语音模型(/voice) 和 ElevenLabs 官方入口(/official-api/providers/elevenlabs) 对照当时的列表。

  1. 先出十秒样音用你自己的稿子跑一小段,重点听多音字和断句,这两处最容易翻车
  2. 确认参数可调语速、停顿、情绪能不能单独改,改完重出是否需要重头再跑一次
  3. 再批量生成样音过了再整篇跑,避免几十条返工;导出后用剪辑软件实际拖一遍确认能识别

音乐和音效是另一条线,授权口径和配音不一样。商用前先确认能不能分发、要不要署名、能不能二次修改,去 安全与合规(/safety) 把说明看完再下单。判断标准很简单:只要这条内容要对外投放或卖钱,就按商用口径查,别拿个人试用的规则套。

空间与动作类生成:3D模型、场景和骨骼动画

空间类下手前先分清用途。游戏或产品展示要的是能进引擎的网格模型,概念稿只要一张多角度图,两者对面数和拓扑的要求完全不是一回事。拿错类型,不是模型不能用,而是后期重做比重新生成还贵。

拿到模型别直接上线,按固定顺序过一遍:面数是否在目标平台吃得下、UV 和材质通道还在不在、导出格式目标软件读不读得进。这三步任何一步不过,先回去调,不要指望在渲染阶段补救。

网格模型
能进引擎、能被灯光和骨骼使用的三维体,重点是拓扑与材质完整
点云
由大量空间点组成的形态,适合扫描还原,不适合直接做动画
骨骼动画
依附在已有模型上的动作数据,模型骨架脏就没法驱动
表情驱动
在面部区域做形变,通常需要干净的面部骨骼或 blendshape

动作与表情这类生成,一般依附在已有模型上。没有干净骨架的模型要先补骨架再驱动,否则一动就散。这条的例外是:只做静帧展示或多角度渲染,不需要动,那骨架问题可以先放一边。

可交互类生成:会动的页面、小游戏与仿真

可交互产物的验收标准不是好不好看,而是能不能跑通一条完整操作路径。测的时候按三条线各走一遍:点进去、退回来、重开一次。三条都顺,才算能用;卡在任意一条,说明状态管理没做干净。

  • 把生成的代码或场景当草稿,不当成品,先确认它还依赖哪些外部库
  • 接自己的数据之前,先确认运行环境和依赖版本,别等上线才发现跑不起来
  • 在目标设备上实测一遍,桌面能跑不等于手机能跑
  • 留一版可回退的旧实现,改交互逻辑出问题时不至于全盘停摆

不适用的情况也要说清:交付给人看的宣传页、只需要滚动浏览的落地页,用现成模板更快更稳,不必上生成式交互。交互类真正的价值在于「别人要动手操作」,不需要操作就不必引入这层复杂度。

钱怎么算、授权怎么查:动手前先对一遍

计费口径必须先对齐。按字符、按分钟、按订阅、按张数各有各的算法,同一种产物在不同平台口径差很多,光靠记印象算成本一定算错。当前的价格和规格到 价格变动追踪(/price-watch) 对当时的数字,别拿几个月前看到的值做预算。

生成类接口的价格与规格分散在各家官方页,统一入口在 官方 API 价格(/official-api)。建议先把单次成本算出来,再决定是批量做还是先试做一批。这个顺序反了,很容易在小批量试水里烧掉大量额度。

产物类型计费口径通常看什么授权要重点确认什么
声音类按分钟或字符,注意是否含试听声音克隆权、对外分发权、是否需署名
空间类按次或按订阅,注意导出限制模型权重与引擎许可、能否商用
动作类多依附订阅或按次驱动数据能否随模型一起发布
可交互类按调用或订阅,注意运行环境依赖库许可、生成代码能否商用

授权边界按产物分头查:声音类看声音克隆与分发权,空间与交互类看模型权重和引擎许可。拿不准就交叉核对 多模态模型(/multimodal) 和 安全与合规(/safety) 两个页面的说明。判断标准是「这条内容最终给谁用、要不要收钱」,按这个口径查出来的答案才算数。

三件套之外的能力,验收标准都不是好不好看,而是能不能直接交付、能不能合法用。
下一步先想清楚你这单活最后交付的是什么:有人声、有立体物件、还是有可操作界面。定了形态,再到站内把对应的计费和授权口径对一遍,比先挑工具省事得多。

常见问题

除了文、图、视频,现在还能生成什么?

大致分四类:声音类(配音、音乐、音效)、空间类(3D模型与场景)、动作类(骨骼动画、表情驱动)、可交互类(能点能玩的页面或仿真)。选哪类不看模型宣传,看你的最终交付里有没有人声、立体物件或需要别人操作的界面。

这些形态的计费方式有什么不一样?

文本图像视频常见按量或按张,声音类多按字符或按分钟,3D和交互类往往按订阅或按算力时长算。同一个产物换平台口径可能差一截,动手前先到站内价格与官方API页面把单次成本算出来,别按印象估。

生成的声音或3D模型能直接商用吗?

先看授权范围再决定用途,尤其是声音克隆和分发权、模型权重与商用条款这几项,各家差别不小。判断标准是这份产物对外发布还是内部使用、有没有转卖成分,拿不准就先去站内安全与合规页面核对当时的条款。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。