豆包实时音视频通话模型 1.0 API 全量上线,可实现边看边听边说全模态实时交互

资讯 IT之家 全文 1358 字 · 约 4 分钟读完 配图 1 张 分类豆包字节跳动产品更新多模态

该模型实现边看、边听、边说的全模态实时交互,能显著降低交互延迟与信息损耗,支持主动场景提醒与自然接话,为人机交互带来全新体验。#豆包#

所属频道 大厂动态产品更新模型发布国产大模型

IT之家 11 月 19 日消息,今天,火山引擎正式上线豆包实时音视频通话模型(SeedRealtime 1.0) API 服务,带来全模态交互的新体验。

据介绍,SeedRealtime 将声音、画面、时序与表达统一到同一个端到端模型中,能在连续的多模态信息流上实时交互,带来“边看、边听、边说”的全新体验。

这大大降低了传统语音级联系统依赖 ASR、VLM、TTS 等多个模块串联带来的延迟叠加和信息损耗。模型不再只是等待用户提问,而能持续理解场景变化,在合适的时机主动开口,把看、听、说纳入同一套实时决策体系,让“听到的”和“看到的”共同参与每一次实时判断与表达。

IT之家注意到,SeedRealtime 原生支持声音、画面与时序信息的深度融合,既能结合场景消解同音词歧义,也能准确理解视觉中的时序指代,让所见、所闻与所说融为一体。

这意味着,在多人、嘈杂、开放的真实环境中,模型不仅能看懂当前画面,还能分清说话对象、理解上下文关系,并基于多模态信息完成更准确的实时判断。无论是多人协同交流、跨语言导览,还是带视觉上下文的实时问答,交互都更自然、更完整。

在多人聚餐场景中,Seed Realtime 1.0 可结合视觉、语音区分自动不同人物,记住各人身份,还能能依据多人不同需求定制旅行方案。

Seed Realtime 1.0 具备持续环境感知与主动表达能力,能够在察觉关键目标出现、画面状态变化或任务节点到来时,主动进行提醒、反馈和补充,让交互从被动响应升级为主动协作。

这种能力让模型可以更好适配真实业务流程。例如在设备操作、学习辅助、任务提醒等场景中,模型能够持续观察当前状态,在合适时机主动介入,而无需用户每一步都显式发问。对开发者而言,这将帮助实时 AI 应用从“会对话”进一步走向“会协助”。

在机器操作场景中,Seed Realtime 1.0 看到用户将整颗咖啡豆倒入萃取手柄,及时提醒咖啡豆需要先研磨;萃取完成后,根据咖啡油脂和出液量,主动给出缩短萃取时长的建议,可在真实场景里自主点评,不用用户一步步提问。

在学习场景中,Seed Realtime 1.0 能持续监控翻页画面,识别到指定章节后快速提醒用户并,并随即报出学习率、动量、权重衰减等关键配置训练参数。

Seed Realtime 1.0 能够实时感知用户的对话状态与交流节奏,在适当时机自然接话、停顿与回应,并具备较强的抗干扰能力,可分辨旁人闲聊与背景噪声,不因干扰误触发。

相比级联模型,Seed Realtime 1.0 的音视频对话节奏问题减少了一半,单次对话能够完整、顺畅交流的概率也有明显提升。这意味着,开发者在构建语音助手、智能硬件、陪伴式应用、实时客服等场景时,有机会获得更接近自然交流的人机互动体验。

在嘈杂交通场景中,Seed Realtime 1.0 能够自动过滤机场内的无关闲聊信息,当用户询问时,调用之前看到的大屏航班信息作答,同时精准识别指示牌,主动指引旅客到达网约车上车点。

在家庭场景中,妈妈在一旁忙着别的事,让 Seed Realtime 1.0 陪女儿学习动物英文。背景里爸爸正在接电话、人声不断,但模型不受影响,始终跟着女孩手指的方向实时纠音、举例造句,出声时不迟疑,受干扰时不跑偏。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 火山引擎上线豆包实时音视频通话模型 SeedRealtime 1.0 API

    实时多模态交互正朝更自然、流畅演进。火山引擎正式上线豆包实时音视频通话模型 SeedRealtime1.0 的 API 服务,为开发者与应用提供全新实时音视频交互能力。该模型采用端到端统一建模,打破传统语音及多模态架构中 ASR、VLM、TTS 等多模块串联的级联链路瓶颈,减少级联处理带来的问题,提升实时交互体验。

    来源 AI 产业速递
  2. Gemini 4 Neon发布:跑分逼近旗舰,单任务成本砍半

    作者|Wildcard编辑|靖宇谷歌,这次是真的回来了。11 月 18 日,Google DeepMind 点亮了Gemini 4 Neon的霓虹灯牌。这是 Gemini 4 系列在短短 7 周内甩出的第 4 款元素模型。如果看一眼官方放出的基准跑分长表和社区实测反馈,你会发现它精准卡在了一个极其舒服的「甜点」位上,既

    来源 腾讯网
  3. 豆包工作、千问办公集体接入第三方模型:办公Agent转向任务入口之争

    11月中旬,国内办公智能体赛道发生了一个微妙但具有分水岭意义的转折。 11月12日,字节跳动旗下豆包工作宣布接入Kimi K3.1 Pro、GLM 5.3、DeepSeek V4.1 Flash等多款第三方模型,并在模型选择页面标注各模型的“额度消耗倍率”,让用户在任务需求与使用成本之间自行权衡。四天后的11月16日,

    来源 AI 行业观察
  4. OpenAI发布GPT-6.2 Astra与Sol:API缓存输入降价60%

    人工智能领域的竞争再度迎来实质性进展。当地时间11月17日,OpenAI 正式发布了全新升级的两款主力模型——GPT-6.2Astra 与 GPT-6.2Sol。作为面向不同应用场景打造的新一代智能引擎,这两款模型在专业工作、日常任务处理以及 API 使用成本上均实现了显著优化。 双核驱动:Astr

    来源 AI 开发者社区
  5. GLM-4.6守约榜88.60分登顶,豆包Pro 65.40分居末

    GLM-4.6以88.60分位列WDCD v3.1守约总榜第一,豆包Pro以65.40分垫底。15个模型中头部与尾部差距达23.2分,R3崩溃率仅6%,满分率44.7%。数据揭示不同模型在多轮施压下的约束维持能力存在显著差异。

    来源 AI 科技快讯
  6. AnthropicIPO定价83美元:估值1.5万亿,80余人联名质疑安全性

    就在定价公布同一天,一份名为《MisAnthropic Statement》的公开声明在misanthropicstatement.com上线,由AI安全中心推动、80余名跨阵营人士联署,开篇即给出结论:“Anthropic is not a safe AI company”——史上最大IPO与史上罕见的跨阵营围剿,在

    来源 TechWeb
  7. 4.8亿美元GPU贷款被叫停 曝字节跳动马来西亚算力计划生变

    据报道,在美国出口管制新规生效后,字节跳动一笔原本用于在马来西亚采购英伟达GPU的4.8亿美元贷款突然被叫停。有知情人士消息称,评估该交易的至少五家银行已内部讨论退出或不参与,部分银行人士私下判断,这笔贷款“实际上已经死亡”。

    来源 TechWeb
  8. 字节跳动马来西亚买GPU的4.8亿美元贷款被叫停,发生了什么?

    据报道,在美国出口管制新规生效后,字节跳动一笔原本用于在马来西亚采购英伟达GPU的4.8亿美元贷款突然被叫停。有知情人士消息称,评估该交易的至少五家银行已内部讨论退出或不参与,部分银行人士私下判断,这笔贷款“实际上已经死亡”。

    来源 TechWeb
  9. 字节跳动马来西亚买GPU贷款被叫停:4.8亿美元融资生变

    【TechWeb】11月18日消息,今日,话题“字节跳动买显卡贷款被叫停”冲上微博热搜,引发热议。 据报道,在美国出口管制新规生效后,字节跳动一笔原本用于在马来西亚采购英伟达GPU的4.8亿美元贷款突然被叫停。有知情人士消息称,评估该交易的至少五家银行已内部讨论退出或不参与,部分银行人士私下判断,这笔贷款“实际上已经死

    来源 AI 行业观察
  10. 可灵AI上线Kling Image 4.0:原生8K生成,单图可写2000字

    【TechWeb】11月17日晚,可灵AI全新一代图像创作模型Kling Image 4.0正式上线。 真实、文字表现、指令理解和一致性,是这一代模型升级的核心方向。Kling Image 4.0聚焦影视创作、广告营销等专业图像创作场景,在三个方向实现集中突破:画面真实感全面升级,光影、肤质与材质纹理呈现接近相机直出的

    来源 AI 行业观察
  11. 郑渊洁用AI做动画短片:8部已上线,宣布作品免费开放

    11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文化作品、人人可以参

    来源 TechWeb
  12. 郑渊洁71岁用AI做动画,8部短片免费开放

    11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文化作品、人人可以参

    来源 TechWeb
  13. 71岁郑渊洁用AI“手搓”动画短片,停更两年后宣布全面免费开放

    【TechWeb】11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文

    来源 AI 行业观察
向下滚动自动加载更多