豆包实时音视频通话模型 1.0 API 全量上线,可实现边看边听边说全模态实时交互

资讯 AI 行业观察 全文 1358 字 · 约 4 分钟读完 配图 1 张 分类豆包字节跳动产品更新多模态

IT之家 11 月 19 日消息,今天,火山引擎正式上线豆包实时音视频通话模型(SeedRealtime 1.0) API 服务,带来全模态交互的新体验。 据介绍,SeedRealtime 将声音、画面、时序与表达统一到同一个端到端模型中,能在连续的多模态信息流上实时交互,带来“边看、边听、边说”的全新体验。 这大大降

所属频道 大厂动态产品更新模型发布国产大模型

IT之家 11 月 19 日消息,今天,火山引擎正式上线豆包实时音视频通话模型(SeedRealtime 1.0) API 服务,带来全模态交互的新体验。

据介绍,SeedRealtime 将声音、画面、时序与表达统一到同一个端到端模型中,能在连续的多模态信息流上实时交互,带来“边看、边听、边说”的全新体验。

这大大降低了传统语音级联系统依赖 ASR、VLM、TTS 等多个模块串联带来的延迟叠加和信息损耗。模型不再只是等待用户提问,而能持续理解场景变化,在合适的时机主动开口,把看、听、说纳入同一套实时决策体系,让“听到的”和“看到的”共同参与每一次实时判断与表达。

IT之家注意到,SeedRealtime 原生支持声音、画面与时序信息的深度融合,既能结合场景消解同音词歧义,也能准确理解视觉中的时序指代,让所见、所闻与所说融为一体。

这意味着,在多人、嘈杂、开放的真实环境中,模型不仅能看懂当前画面,还能分清说话对象、理解上下文关系,并基于多模态信息完成更准确的实时判断。无论是多人协同交流、跨语言导览,还是带视觉上下文的实时问答,交互都更自然、更完整。

在多人聚餐场景中,Seed Realtime 1.0 可结合视觉、语音区分自动不同人物,记住各人身份,还能能依据多人不同需求定制旅行方案。

Seed Realtime 1.0 具备持续环境感知与主动表达能力,能够在察觉关键目标出现、画面状态变化或任务节点到来时,主动进行提醒、反馈和补充,让交互从被动响应升级为主动协作。

这种能力让模型可以更好适配真实业务流程。例如在设备操作、学习辅助、任务提醒等场景中,模型能够持续观察当前状态,在合适时机主动介入,而无需用户每一步都显式发问。对开发者而言,这将帮助实时 AI 应用从“会对话”进一步走向“会协助”。

在机器操作场景中,Seed Realtime 1.0 看到用户将整颗咖啡豆倒入萃取手柄,及时提醒咖啡豆需要先研磨;萃取完成后,根据咖啡油脂和出液量,主动给出缩短萃取时长的建议,可在真实场景里自主点评,不用用户一步步提问。

在学习场景中,Seed Realtime 1.0 能持续监控翻页画面,识别到指定章节后快速提醒用户并,并随即报出学习率、动量、权重衰减等关键配置训练参数。

Seed Realtime 1.0 能够实时感知用户的对话状态与交流节奏,在适当时机自然接话、停顿与回应,并具备较强的抗干扰能力,可分辨旁人闲聊与背景噪声,不因干扰误触发。

相比级联模型,Seed Realtime 1.0 的音视频对话节奏问题减少了一半,单次对话能够完整、顺畅交流的概率也有明显提升。这意味着,开发者在构建语音助手、智能硬件、陪伴式应用、实时客服等场景时,有机会获得更接近自然交流的人机互动体验。

在嘈杂交通场景中,Seed Realtime 1.0 能够自动过滤机场内的无关闲聊信息,当用户询问时,调用之前看到的大屏航班信息作答,同时精准识别指示牌,主动指引旅客到达网约车上车点。

在家庭场景中,妈妈在一旁忙着别的事,让 Seed Realtime 1.0 陪女儿学习动物英文。背景里爸爸正在接电话、人声不断,但模型不受影响,始终跟着女孩手指的方向实时纠音、举例造句,出声时不迟疑,受干扰时不跑偏。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 火山引擎上线豆包实时音视频通话模型 SeedRealtime 1.0 API

    实时多模态交互正朝更自然、流畅演进。火山引擎正式上线豆包实时音视频通话模型 SeedRealtime1.0 的 API 服务,为开发者与应用提供全新实时音视频交互能力。该模型采用端到端统一建模,打破传统语音及多模态架构中 ASR、VLM、TTS 等多模块串联的级联链路瓶颈,减少级联处理带来的问题,提升实时交互体验。

    来源 AI 产业速递
  2. Gemini 4 Neon发布:跑分逼近旗舰,单任务成本砍半

    作者|Wildcard编辑|靖宇谷歌,这次是真的回来了。11 月 18 日,Google DeepMind 点亮了Gemini 4 Neon的霓虹灯牌。这是 Gemini 4 系列在短短 7 周内甩出的第 4 款元素模型。如果看一眼官方放出的基准跑分长表和社区实测反馈,你会发现它精准卡在了一个极其舒服的「甜点」位上,既

    来源 腾讯网
  3. 字节跳动马来西亚买GPU贷款被叫停:4.8亿美元融资生变

    【TechWeb】11月18日消息,今日,话题“字节跳动买显卡贷款被叫停”冲上微博热搜,引发热议。 据报道,在美国出口管制新规生效后,字节跳动一笔原本用于在马来西亚采购英伟达GPU的4.8亿美元贷款突然被叫停。有知情人士消息称,评估该交易的至少五家银行已内部讨论退出或不参与,部分银行人士私下判断,这笔贷款“实际上已经死

    来源 AI 行业观察
  4. 可灵AI上线Kling Image 4.0:原生8K生成,单图可写2000字

    【TechWeb】11月17日晚,可灵AI全新一代图像创作模型Kling Image 4.0正式上线。 真实、文字表现、指令理解和一致性,是这一代模型升级的核心方向。Kling Image 4.0聚焦影视创作、广告营销等专业图像创作场景,在三个方向实现集中突破:画面真实感全面升级,光影、肤质与材质纹理呈现接近相机直出的

    来源 AI 行业观察
  5. OpenAI发布GPT-6.2 Astra与Sol:API缓存输入降价60%

    人工智能领域的竞争再度迎来实质性进展。当地时间11月17日,OpenAI 正式发布了全新升级的两款主力模型——GPT-6.2Astra 与 GPT-6.2Sol。作为面向不同应用场景打造的新一代智能引擎,这两款模型在专业工作、日常任务处理以及 API 使用成本上均实现了显著优化。 双核驱动:Astr

    来源 AI 开发者社区
  6. 71岁郑渊洁用AI“手搓”动画短片,停更两年后宣布全面免费开放

    【TechWeb】11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文

    来源 AI 行业观察
  7. GLM-4.6守约榜88.60分登顶,豆包Pro 65.40分居末

    GLM-4.6以88.60分位列WDCD v3.1守约总榜第一,豆包Pro以65.40分垫底。15个模型中头部与尾部差距达23.2分,R3崩溃率仅6%,满分率44.7%。数据揭示不同模型在多轮施压下的约束维持能力存在显著差异。

    来源 AI 科技快讯
  8. AnthropicIPO定价83美元:估值1.5万亿,80余人联名质疑安全性

    就在定价公布同一天,一份名为《MisAnthropic Statement》的公开声明在misanthropicstatement.com上线,由AI安全中心推动、80余名跨阵营人士联署,开篇即给出结论:“Anthropic is not a safe AI company”——史上最大IPO与史上罕见的跨阵营围剿,在

    来源 TechWeb
  9. 黄仁勋X账号移除CEO头衔与企业徽标,马斯克回应免费恢复蓝标

    IT之家 11 月 17 日消息,英伟达前 CEO 黄仁勋的官方 X 账号 @JensenHuang 今天(11 月 17 日)更新,在个人账号中移除了原本标注的“CEO”职务头衔和企业徽标等,账号简介仅保留“Founder of NVIDIA”(英伟达创始人)。 这一情况随后被一位名叫亚历山德拉 · 梅尔茨(Alex

    来源 AI 行业观察
  10. 字节跳动马来西亚买GPU的4.8亿美元贷款被叫停,发生了什么?

    据报道,在美国出口管制新规生效后,字节跳动一笔原本用于在马来西亚采购英伟达GPU的4.8亿美元贷款突然被叫停。有知情人士消息称,评估该交易的至少五家银行已内部讨论退出或不参与,部分银行人士私下判断,这笔贷款“实际上已经死亡”。

    来源 TechWeb
  11. 4.8亿美元GPU贷款被叫停 曝字节跳动马来西亚算力计划生变

    据报道,在美国出口管制新规生效后,字节跳动一笔原本用于在马来西亚采购英伟达GPU的4.8亿美元贷款突然被叫停。有知情人士消息称,评估该交易的至少五家银行已内部讨论退出或不参与,部分银行人士私下判断,这笔贷款“实际上已经死亡”。

    来源 TechWeb
  12. DeepSeek开源Agent框架WorkBuddy:154万日活,社区养出3.5万插件

    龙虾(OpenClaw)成为过去时,现在AI社区里流行起了“养鱼”。 近日,一群有独特个性的AI小鱼活跃在互联网各个角落。除了在办公、编程中干活,还做了不少意想不到的事儿,有的在社交平台到处留言互动,还有的跑到抖音直播,甚至相互之间还谈起了恋爱。 而它们的“本体”,来自DeepSeek开源的Agent框架DeepSee

    来源 AI 行业观察
  13. 寒武纪Day 0适配商汤SenseNova Loop-9B,打通循环计算推理链路

    IT之家 11 月 18 日消息,商汤科技昨日晚间正式发布 SenseNova Loop-9B 模型。寒武纪官方宣布,已完成对商汤新发布模型日日新 SenseNova Loop-9B 的 Day 0 适配。据介绍,该模型通过 Loop 结构复用模型层的参数,并结合流形约束超连接(mHC),在有限的参数规模下扩展计算深度

    来源 腾讯网
  14. 《持械入宋》120亿播放背后:6人团队与AI短剧的造神逻辑

    11月5日,2026中国广播电视精品创作大会微短剧论坛上,红果总编辑把一部AI短剧抬上了桌面,称它是"AI短剧精品化、题材创新的代表性作品",并预告该剧第11季请了宋史专家参与创作指导。 这就是最近舆论场上沸沸扬扬的《持械入宋》。自8月21日在红果上线后,两个多月连更十季、约一千集,每集两分钟左右。播放量口径的变化极其

    来源 AI 行业观察
  15. 郑渊洁71岁用AI做动画,8部短片免费开放

    11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文化作品、人人可以参

    来源 TechWeb
  16. 黄仁勋道歉后想回英伟达:与特朗普走太近遭质疑?

    一句“我爱我们的国家”,让黄仁勋的道歉变成新一轮舆论风暴。据Ars Technica报道,在英伟达面临的监管调查不断升级之际,黄仁勋表达了希望重回公司的意愿,却被批评者指为与特朗普政府关系过密。本文梳理事件脉络、英伟达的监管处境,以及芯片巨头在政治漩涡中的两难。

    来源 AI 行业观察
向下滚动自动加载更多