豆包SeedRealtime 1.0 API上线:端到端全模态实时交互
ITCOW牛新网 11月19日消息,火山引擎正式发布SeedRealtime 1.0(豆包实时音视频通话模型1 […]
11月19日,火山引擎正式发布
豆包实时音视频通话模型1.0(SeedRealtime 1.0)的API。该模型走的是端到端路线,声音、画面、时序、表达被收进同一个模型里,能连续完成“边看、边听、边说”的多模态实时交互。
与传统的ASR‑VLM‑TTS模块级联方案不同,这套模型把多级串联造成的延迟叠加和信息损失消掉了。它不局限于被动应答,能持续感知场景,主动介入、适时给出反馈。音视频与时序信息被融在一起,同音词歧义因此得以消解,画面里的时序指代也能读懂;在嘈杂、多人的环境里,它能区分不同说话人,并理解上下文。
主动协作是它的另一项能力:用户不必逐条提问,模型会依据画面变化和任务节点主动提醒、给出建议,设备操作辅助、学习辅导、机场导览、家庭陪伴等场景都能用。抗干扰方面,背景杂音、旁人闲聊可以被过滤掉;相比级联方案,对话节奏问题减少一半,对话流畅成功率有所提升。面向开发者,该API可用于智能硬件、语音助手、陪伴应用、实时客服等业务开发。