豆包SeedRealtime 1.0上线:音视频端到端融合,能主动开口
豆包AI又进化了!实时音视频模型上线 能看会听还能主动开口
11月19日,火山引擎正式开放
豆包实时音视频通话模型SeedRealtime 1.0的API服务。该模型把声音、画面、时序信息和语音表达整合进同一条端到端链路,AI可以在连续的多模态信息流里实时互动,边看、边听、边说。
火山引擎在介绍中提到,过去的语音交互系统一般要把ASR语音识别、VLM视觉语言模型、TTS语音合成等模块一级级串起来跑,延迟容易叠加,信息也在传递中损耗。
SeedRealtime 1.0则把声音、画面和表达收进同一个模型。它不只是等用户发问,还会持续感知周围环境的变化,挑合适的时机主动开口,把看到的和听到的一起用于实时判断和表达。
在多模态理解上,这个模型能结合画面与语音辨认不同人物、理清上下文关系,再根据实际场景作出回应。
比如多人聚餐时,它可以把视觉和语音结合起来区分在场的人,记住各自是谁,再按不同人的需求给出定制化的旅行方案。
除了被动答问,SeedRealtime 1.0还能持续感知环境并主动表达,一旦发现关键目标、画面变化或任务节点,就会提醒用户。
做咖啡的场景可以说明这一点:用户把整颗咖啡豆倒进萃取手柄,模型会主动提醒应当先研磨;萃取结束后,它还能依据咖啡油脂和出液量,建议缩短萃取时长。
学习场景里,模型会一直盯着翻页画面,识别到指定章节就及时提醒,并主动报出学习率、动量、权重衰减这些训练参数。
实时对话方面,SeedRealtime 1.0能察觉用户的交流状态和对话节奏,接话、停顿、回应都做得比较自然,对背景噪声的过滤能力也较强。
火山引擎称,与传统的级联模型相比,SeedRealtime 1.0在音视频对话节奏上的问题减少了一半,单次对话能完整顺畅进行的概率也有明显提升。
机场这类嘈杂环境就是一个例子:模型可以滤掉无关的闲聊,结合此前识别到的航班大屏信息回答提问,也能看懂指示牌,主动指路让旅客去网约车上车点。
目前SeedRealtime 1.0的API服务已由火山引擎正式开放,开发者可将其接入语音助手、智能硬件、实时客服、学习辅助等应用。
从传统语音问答,到实时音视频融合,再到主动感知与表达,SeedRealtime 1.0把AI与真实世界交互的能力边界又往外推了一步。
