原始音频生成
模型直接生成原始音频而非符号化的钢琴卷帘,因此能保留人声以及更细微的音色、力度与表现力,这是符号化生成方式难以覆盖的部分。
拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
OpenAI 推出的神经网络音乐生成模型,能直接输出带简单人声的原始音频
Jukebox 是 OpenAI 于 2020 年 4 月 30 日发布的神经网络音乐生成模型,输入音乐类型、艺术家风格与歌词后,可直接从零生成新的原始音频歌曲,并带有简单的人声演唱。模型权重与代码一并开放,官方还提供了探索生成样本的工具。为处理一首 4 分钟 CD 音质歌曲超过 10 million timesteps 的超长序列,它先用 VQ-VAE 把 44kHz 音频压缩 8x、32x、128x 三个层级,再用 Transformer 生成编码。未公开定价与使用额度。
Jukebox 是 OpenAI 发布的一款神经网络音乐生成模型,能够以原始音频(raw audio)的形式生成音乐,包含初步的人声演唱,覆盖多种音乐类型与艺术家风格。官方在发布时同时放出了模型权重与代码,并提供了一个用于探索生成样本的工具。
在技术路径上,Jukebox 把音乐直接当作原始音频来建模,而不是先生成钢琴卷帘这类符号化表示。由于音频序列极长——一首 4 分钟 CD 音质(44 kHz、16-bit)的歌曲超过 10 million timesteps,远超 GPT‑2 的 1,000 timesteps 和 OpenAI Five 每局数万的 timesteps——模型先用基于 VQ-VAE 的自编码器把 44kHz 原始音频压缩 8x、32x、128x 三个层级,每层码本大小 2048,再用 Transformer 在压缩后的编码空间里生成音乐,最后还原回原始音频。
使用时,用户向模型提供音乐类型、艺术家风格与歌词作为输入,模型即从零产出一段新的音乐样本。由于模型权重与代码开放,研究人员和开发者可以在此基础上复现、微调或做进一步实验;对普通听众而言,官方提供的样本探索工具可用于试听生成效果。官网未公开面向普通用户的在线创作入口。
模型直接生成原始音频而非符号化的钢琴卷帘,因此能保留人声以及更细微的音色、力度与表现力,这是符号化生成方式难以覆盖的部分。
生成结果包含 rudimentary singing,即初步的人声演唱,而不只是纯器乐;官方将这一点列为与既有音乐生成方案的主要差异之一。
输入音乐类型、艺术家风格与歌词后,模型会在给定的类型与风格范围内从零生成一段新的音乐样本,官方展示了若干精选样本。
自编码器把 44kHz 原始音频分别压缩 8x、32x、128x,每层码本大小 2048;越往下的层级丢失的音频细节越多、噪声越明显,但保留音高、音色与音量等关键信息。
在压缩后的离散编码空间里训练先验模型来生成音乐编码,再解码回原始音频,以应对超过 10 million timesteps 的长程依赖问题。
官方在发布时一并释出模型权重与代码,并提供用于探索生成样本的工具,便于研究者复现结果或在此基础上继续实验。
关注长序列建模与原始音频生成的研究者可以直接拿到模型权重与代码,复现 VQ-VAE 三级压缩加 Transformer 先验的完整流程。
想在音乐类型与艺术家风格范围内做生成实验的人,可以借助官方样本工具先看效果,再决定是否基于开源权重做二次开发。
没有公开的生成额度或定价,直接拿来当出歌工具用并不现实。
输入音乐类型、艺术家风格与歌词后,模型会从零生成一段新的音乐样本,并包含初步的人声演唱。强调它生成的是原始音频,因此能捕捉人声以及符号化生成方式难以覆盖的细微音色、力度与表现力。
在发布时释出了模型权重与代码,同时提供了一个用于探索生成样本的工具。想实际使用的人可以基于开放权重自行部署与实验。
两者都出自 OpenAI 的音乐生成方向。MuseNet 基于大量 MIDI 数据做音乐合成,属于符号化路线;Jukebox 则直接在原始音频上建模,需要处理高多样性和极长的序列结构,对短、中、长期时序上的误差都更敏感。
难点在序列长度。一首 4 分钟 CD 音质(44 kHz、16-bit)的歌曲超过 10 million timesteps,而 GPT‑2 只有 1,000 timesteps、OpenAI Five 每局也只用数万 timesteps。要学到音乐的高层语义,模型必须处理极长程的依赖关系。
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| Jukebox本工具 | 4.2 | 未标价 | 原始音频生成;简单人声演唱;多类型与风格;VQ-VAE 三级压缩 | — |
| SAAR | — | 注册送 1,000 tokens,付费档位官网未公开具体价格 | AI 音乐助手,通过对话生成音乐 | Web |
| Splash Pro | — | 未标价 | 秒级生成音乐 AI | Web |
| MusicFX DJ | — | 未标价 | 利用 AI 生成音乐,让创作更简单 | Web |
| aimi.fm | — | 工作室永久免费,AI 每回合 10 credits,credits 不过期 | aimi.fm 官网,基于 AI 的音乐生成作曲平台 简介 Aimi.fm,用 AI 打造个性化音 | Web |
| Suno MP3 Downloader | — | 未标价 | 免费无广告下载 AI 生成音乐 | Web |