Suno上线Visuals视觉工具:AI歌曲配视频,底座来自中国大模型
作者|莉拉 这两天,娱乐资本论身边不少音乐行业从业者,都在讨论Suno的新功能Visuals。 11月17日,美国AI音乐平台Suno上线视觉创作工具Visuals,将图像和视频....
最近,音乐行业里不少人都在议论
Suno的新功能。娱乐资本论接触的从业者中,这个话题出现频率很高。
11月17日,美国AI音乐平台Suno上线了一款视觉创作工具。
有意思的是,这项功能背后的模型底座,来自一家中国AI大模型公司。
在YouTube上,不少音乐博主发了测评视频,评论区聊得很热。有用户说自己之前用过。
今年年初,娱乐资本论就关注过AI把音乐创作门槛拉低之后创作者面对的现实:写一首歌不难,难的是让它出圈。短视频看起来是AI音乐传播最快的一条路。用AI做音乐的时候,视觉传播就成了创作者绕不开的问题。
这么看,Suno这次推出。
过去几年,Suno给更多人打开了音乐创作的口子,而。
AI音乐得有一套完整的视觉生产力。
过去一年,一首AI歌曲想在各个平台火起来,常常得靠一条点赞10w+的短视频先撕开口子。
比如最近短视频上冒出来的各种“宠物合唱团”。画面里是AI生成的小猫小狗对着口型,唱主人和它们之间的故事。原本只是主人与宠物之间的生活片段,变成了一支能传开的音乐MV。
海外的创作者也在拿AI工具做完整的音乐MV。
前两天,小娱刷到一位YouTuber发布的赛博朋克音乐MV《Just NPCs (feat. Crissy)》,就是其用。
这些现象都指向同一个变化:AI音乐传播越来越靠具体的视觉记忆点。人物、剧情、场景和音乐情绪凑到一起,歌曲才有机会挤进短视频的内容流,拿到更长的讨论和传播周期。
视觉上的需求,也已经渗进音乐综艺的制作环节。
音综导演诗文告诉娱乐资本论,就当下而言,AI音乐可以说是听觉和可视化一体的产物。
她说,目前国内接触过的AI音综提案,大多要把一首歌的视觉呈现考虑进去,“我们之前做过一个提案,就是用音乐作品+创作mv的形式让选手竞赛。”
AI音乐短视频和音综之外。
河豚君此前采访过的小旭音乐,就是从一家传统音乐公司转型做AI歌手矩阵,试着给不同风格的AI音乐配上不同的歌手形象。举例来说,他们旗下走民俗、荒诞曲风的AI歌手,视觉上带着浓厚的中式怪诞感。歌曲情绪和画面里的诡异氛围搭在一起,相关内容单条播放量达到千万级。
很明显,AI音乐行业的竞争,一定会延伸到视觉内容的生产能力上。AI音乐想真正走到台前,就得和可视化内容结合。
这正是Suno推出。
当然,对AI音乐创作者来说,做完一首歌之后还有一串具体问题要解决:怎么让同一个角色出现在不同视频里,怎么让人物唱歌时的嘴型跟上音乐,怎么让画面呼应歌词和歌曲情绪。Visuals把这些需求直接塞进了音乐创作流程。
Visuals可以让用户挑平台提供的原创角色,也可以上传参考图片,让生成视频沿用指定的人物形象;视频能呼应歌曲结构和歌词,并支持演唱。
对用户来说,参考图片有助于让歌曲的视觉IP形象保持一致。
用户还能把音乐和文字提示放在一起,生成最长15秒的视频片段,再用时间轴做延长、编排和编辑。歌词视频、专辑封面这些功能,也够让一首歌继续长出适合不同平台发布的内容。
照这个路子看,Visuals一上线,AI歌曲的生命周期就被视觉内容撑长了。音乐生成只是开头,角色、MV和不断更新的内容,才是AI音乐触达更多听众的关键环节。
把用户需求和产品功能一一对上之后,小娱更想知道的是:Suno作为AI音乐平台,怎么与
AI音乐到底需要什么样的视频工具?
回答这个问题,先得从产品需求那边做个判断。
在小娱看来,Suno要的视频工具,起码得满足两个条件:懂音乐,也懂Suno自己的创作生态。
先讲懂音乐这一条。
音乐生成器里的视频功能,对模型提出的要求和普通文生视频很不一样。
用户手里已经有一首完整的歌,模型得围着这首歌来组织画面:搞懂歌曲的节奏和结构,认出歌词在表达什么,对上相应的画面情绪,还得处理人物形象和演唱状态之间的关系。
人物演唱场景尤其如此,口型跟不跟得上音频,直接决定最后视频的观感。
这就要求模型有比较完整的多模态理解和生成能力。文本、图像、视频、音频得在同一套生成流程里配合起来,模型既要看懂用户给的素材,也要看懂不同素材之间的关系。
MiniMax H3的技术路线,恰好就是围着这一点做的。
今年7月31日,MiniMax发布H3,把它定位成通用多模态生成模型;到了8月,MiniMax又开放模型权重,开发者和企业可以基于模型做部署与开发。
以前文生视频、图生视频、视频编辑这些任务是分开处理的,H3不一样,它用统一的模型架构来处理文本、图像、视频和音频构成的多模态上下文。
放进音乐创作场景里,可以想象这样一段过程:
一位Suno用户刚生成了一首歌,想给自己的虚拟歌手做支MV。他上传歌手的形象参考图,输入一段画面描述,再提供歌曲音频,甚至加一段动作参考视频。
模型看懂了这些素材各自在说什么,然后把人物形象、动作、歌曲情绪和声音组织进同一段视频。
创作者给的素材可能来自不同媒介,最后想要的却是一段完整的视听内容。H3能在统一的多模态框架下处理这些输入,创作者不用在图像、视频和音频工具之间来回切换。
它还有个特点和音乐视频的需求直接相关:支持视频和声音同步生成。按照MiniMax公布的技术规格,H3支持
对刚才那位想做MV的用户来说,多张图片能帮着固定虚拟歌手的外形,视频参考能给出动作和表演方向,音频则为画面生成提供歌曲内容。
原生音视频生成能力,也让声音和画面能在同一生成流程里得到处理。创作者可以围绕一首歌反复生成不同片段,再挑出来、编排成完整作品。
对Visuals来说,这套能力提供了比较合适的技术基础:用户上传角色参考图,模型围绕歌曲生成画面,再通过
当然,通用模型的能力只是起点。Suno真正需要的,是一套能“无缝衔接”音乐产品和用户习惯的视频生成工具。
拆开说,Suno长期泡在音乐生成场景里,对用户怎么创作歌曲、怎么使用歌曲,以及想围绕歌曲生成什么样的视觉内容,都有自己的理解。一个通用视频模型就算有多模态生成能力,也得进一步适配具体产品场景,才能把这些能力变成用户真正用得上的功能。
反过来看,对Suno而言H3更关键的一点,是它走的是开源路线。
MiniMax把H3的模型权重开放出来,Suno因此有了继续定制的余地。比起直接接入一个封闭的视频生成服务,权重开放意味着合作方能按自家产品需要去做部署、调整和后训练,把模型能力接进自己的技术流程。Suno首席产品官Jack Brody也提到过,团队拿自己的数据对这个开源模型做了优化,让它更贴合音乐视频的制作。
按Suno官方FAQ的说法,Visuals所用的模型名称是
好的技术合作,多半起于双方各有所需,又在互相成就里打开新空间。这么看,Suno选中MiniMax,是“一个有能力,一个有场景”的双向选择:MiniMax交出模型能力和开发空间,Suno拿自己的音乐场景和用户需求,让H3有了更清楚的落地路径。
技术有了用武之地,产品拿到了继续进化的空间,用户“渴望已久”的需求也被接住了,三方都赢。
从Suno到好莱坞,开源模型在海外走到了哪一步?
一个开源模型能走多远,要看全球开发者拿它做出了什么。
Suno只是H3进入海外文娱产业的一个入口。最近三个月,围绕这款模型的开发与合作,已经铺到专业影视制作、视频生成平台,还有更底层的技术开发环节。
AI影视公司
对Utopai这类公司来说,视频生成模型要应对的是电影、剧集制作里更具体的专业要求。在H3基础上继续开发专业模型,也意味着它能把自身的影视制作经验带进模型训练,让通用的视频生成能力更贴近专业制作的需要。
类似的二次开发,也出现在视频生成平台上。
Pika基于H3推出
FastVideo
从这些合作能看出,模型进入文娱产业后,面对的并不是一套统一的需求。影视制作公司在意模型能不能适应专业内容生产,视频工具平台要权衡生成效果、操作体验和产品差异化,音乐平台则想围绕歌曲搭出更完整的视听创作流程。
这正是开源最大的好处:同一套模型进入不同公司的业务体系,就能长出不同的产品形态,模型能力会成为企业产品的核心能力之一。合作方也就可以把研发投入集中在自己最擅长的环节。公开数据显示,H3开源100天,下载量已经超过1.48亿次,衍生模型共1472个。
换个角度看,现阶段开源也给H3提供了一个更大的试验场。海外企业正用具体的业务需求检验开源模型的能力,也让它有机会进入更多细分的内容生产场景。
说到底,开源模型的价值和野心,不只是被世界看见,更是被世界拿去创造。