MIRA 世界模型
与 General Intuition 联合发布、并与 Epic Games 合作的实时多人世界模型,基于 10k 小时火箭联盟游戏数据训练,可在单张 B200 GPU 上以 20fps 模拟最多四名玩家的对局。
拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
KYUTAI 是一个位于巴黎的开放科学人工智能研究实验室,使命是通过开放科学研究构建并普及通用人工智能。实验室以多模态、流式、实时为方向,推出 MIRA、Moshi、Unmute 等演示项目,并开源了 100M 参数的 Pocket TTS 多语言语音合成模型,可在 CPU 上以快于实时的速度运行。其研究覆盖音频、视觉与语言三大领域,包括 Helium 1 的 2B 参数多语言大模型。不足在于目前主要以研究成果和演示形式呈现,缺少面向普通用户的成品化产品与清晰的商业化定价。
KYUTAI 是一个位于巴黎的开放科学人工智能研究实验室,其使命是通过开放科学构建并普及通用人工智能。实验室以多模态、流式、实时为核心方向,面向研究社区与开发者开放研究成果。
看,KYUTAI 当前的主力方向分为音频、视觉与语言三大板块。音频方面有首个语音原生对话系统 Moshi,以及 Hibiki-Zero、Unmute、Muscriptor 等项目;视觉方面有 MIRA、MoshiVis、CASA;语言方面有 2B 参数的模块化多语言大模型 Helium 1。
普通用户可以通过官网的演示入口体验 MIRA、Moshi、Unmute;开发者可以获取开源模型与训练代码;团队与研究机构则可以参考其科学出版物与教程。
与 General Intuition 联合发布、并与 Epic Games 合作的实时多人世界模型,基于 10k 小时火箭联盟游戏数据训练,可在单张 B200 GPU 上以 20fps 模拟最多四名玩家的对局。
首个语音原生对话系统,直接处理语音而非先转文字再转回,因此延迟极低,并能理解情绪以及其他非语言交流要素。
为任意文本 LLM 即时赋予实时语音能力,通过为其配备低延迟流式文本转语音与语音转文本模型来实现听与说。
开源的 100M 参数多语言文本转语音模型,可在 CPU 上以快于实时的速度运行,用一行代码即可为低资源设备带来语音能力,目前已支持六种语言。
基于 Moshi 多流范式构建的语音到语音翻译模型,可实时运行,将一种语言的语音直接转换为另一种语言的语音。
轻量级开源模型,可将任意音乐转写为多乐器 MIDI,为音乐信息检索与创作提供结构化输出。
模块化多语言 2B 参数大语言模型,是 KYUTAI 在语言理解方向的第一个里程碑,同时开源了复现训练数据集所需的 dactory 代码库与工具。
通过 MoshiVis 与 CASA 研究利用交叉注意力,将视觉输入与文本或语音高效融合,以支持对长时视觉流(如视频)的实时交互。
实验室提供科学出版物、教程与开源代码,覆盖音频、视觉、语言多模态方向,适合跟进前沿研究。
可获取 Pocket TTS、Helium 1、Moshi 等开源模型与训练代码,直接集成到自己的项目中。
Unmute 可为现有文本 LLM 加上实时语音,Moshi 提供低延迟语音对话能力,适合构建语音交互产品。
官网只提供 MIRA、Moshi、Unmute 等演示入口,没有成熟的消费级订阅产品,日常办公使用并不合适。
实验室以开放研究为主,官网未提及企业级支持、服务等级或合规方案,生产环境需谨慎评估。
官网未提及任何价格或收费方案,官网也未列出付费档位。其定位是开放科学人工智能研究实验室,主要发布开源模型、演示与科学出版物,因此其研究方向是开放与开源的,但具体使用条款需以各项目官方页面为准。
视觉与语言三大板块。音频方面有 Moshi、Hibiki-Zero、Unmute、Muscriptor,其中 Pocket TTS 为 100M 参数多语言 TTS,可在 CPU 上快于实时运行并支持六种语言;视觉方面有 MIRA、MoshiVis、CASA;语言方面有 2B 参数的 Helium 1。
MIRA 是实时多人世界模型,与 General Intuition 联合发布并与 Epic Games 合作,基于 10k 小时火箭联盟游戏数据训练,可在单张 B200 GPU 上以 20fps 模拟最多四名玩家。Moshi 则是首个语音原生对话系统,直接处理语音而非先转文字再转回,具备低延迟且能理解情绪。
网络访问限制或合规说明的信息。提供 MIRA、Moshi、Unmute 的演示入口,是否可访问需以实际网络环境为准。
可以。发布了 Helium 1 的 dactory 代码库与复现训练数据集所需的工具。此外 Moscriptor、Hibiki-Zero、MoshiVis、CASA 等项目也以开源形式发布。
致力于将开放的语音研究进一步转化为生产就绪系统,以支持各类语音应用并实现大规模实时语音交互。除此之外,官网未列出 KYUTAI 自身的付费产品或定价方案。
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| KYUTAI本工具 | 4.1 | 未标价 | MIRA 世界模型;Moshi 语音对话;Unmute 语音化;Pocket TTS 语音合成 | Web |
| Constitute AI | — | 未标价 | Constitute AI 提供高效的法律文本生成与分析工具 | — |
| Confi AI | — | 未标价 | Slack 和 Confluence 的 AI 助手,简化内部文档管理 | — |
| Oneconscious AI | — | 未标价 | Oneconscious AI 是一个致力于整合人类知识的人工智能平台 | — |
| Vrain | — | 未标价 | Your scattered data, Search in one place | — |
| Lavo AI | — | 未标价 | Lavo Life Sciences 利用 AI 加速药物开发,通过精准晶体结构预测降低风险 | — |