Suno推Visuals视频工具:底层用MiniMax H3模型
美国AI音乐平台Suno宣布推出视觉创作工具Visuals
美国AI音乐平台
Suno近日上线视觉创作工具Visuals,把视频与图像生成接进音乐创作流程。Suno方面披露,Visuals所用的模型叫H3 Move,以中国AI公司MiniMax的开源视频模型H3为底子,并针对音乐创作场景做了调优。

Suno首席产品官Jack Brody称,团队拿自家数据对这款开源模型做了优化,让它更贴合音乐视频制作。按他的说法,
MiniMax H3提供底层模型基础,Suno在这之上完成音乐场景适配与产品整合,歌曲创作、画面生成、人物口型同步被放进同一条创作流程。
据Suno介绍,Visuals产出的视频能呼应歌曲结构和歌词,并支持演唱口型同步。用户可挑平台提供的原创角色,也可上传参考图片,配合音乐和文字提示生成最长15秒的视频片段,再沿时间轴延长、编排和编辑。歌词视频和专辑封面同样能做,歌词字体与颜色可自定义,画面比例按发布需求选。

视频创作其实是Suno一直想拓展的方向,只是过去生成速度偏慢、成本偏高,普通用户难以用起来。Brody表示,视频模型在速度、成本和质量上已经够格,可以向普通用户提供视频创作服务。
作为H3 Move的基础模型,MiniMax H3于今年8月开放模型权重,企业及开发者可在其之上部署、微调和定制。H3能统一理解由文本、图像、视频和音频构成的上下文,生成带原生立体声音频的视频,最高支持2K分辨率和15秒时长。
放到Suno这次的产品形态里看,这类跨模态能力与音乐视频的创作需求正好对得上。H3 Move走出了一条基座视频模型与垂直应用结合的路径:以基础模型的多模态生成能力为支撑,再围绕音乐内容加入场景优化、编辑功能和内容保护机制。

Visuals用独立的付费积分体系,视频和图片生成消耗Visual credits,与歌曲生成积分分开计费。
内容保护上,Suno称Visuals设置了文本与视觉过滤机制,对特定艺人、公众人物形象及受版权保护内容作出限制,生成内容对外分享前还会嵌入水印。Suno官网披露,已有超过1亿人使用其平台创作音乐。