豆包SeedRealtime 1.0上线:音视频端到端融合,能主动开口

资讯 快科技 全文 951 字 · 约 3 分钟读完 配图 2 张 分类豆包字节跳动产品更新视频生成

豆包AI又进化了!实时音视频模型上线 能看会听还能主动开口

所属频道 大厂动态产品更新国产大模型视频图像生成

11月19日,火山引擎正式开放豆包实时音视频通话模型SeedRealtime 1.0的API服务。该模型把声音、画面、时序信息和语音表达整合进同一条端到端链路,AI可以在连续的多模态信息流里实时互动,边看、边听、边说。

火山引擎在介绍中提到,过去的语音交互系统一般要把ASR语音识别、VLM视觉语言模型、TTS语音合成等模块一级级串起来跑,延迟容易叠加,信息也在传递中损耗。

SeedRealtime 1.0则把声音、画面和表达收进同一个模型。它不只是等用户发问,还会持续感知周围环境的变化,挑合适的时机主动开口,把看到的和听到的一起用于实时判断和表达。

在多模态理解上,这个模型能结合画面与语音辨认不同人物、理清上下文关系,再根据实际场景作出回应。

比如多人聚餐时,它可以把视觉和语音结合起来区分在场的人,记住各自是谁,再按不同人的需求给出定制化的旅行方案。

除了被动答问,SeedRealtime 1.0还能持续感知环境并主动表达,一旦发现关键目标、画面变化或任务节点,就会提醒用户。

做咖啡的场景可以说明这一点:用户把整颗咖啡豆倒进萃取手柄,模型会主动提醒应当先研磨;萃取结束后,它还能依据咖啡油脂和出液量,建议缩短萃取时长。

学习场景里,模型会一直盯着翻页画面,识别到指定章节就及时提醒,并主动报出学习率、动量、权重衰减这些训练参数。

实时对话方面,SeedRealtime 1.0能察觉用户的交流状态和对话节奏,接话、停顿、回应都做得比较自然,对背景噪声的过滤能力也较强。

火山引擎称,与传统的级联模型相比,SeedRealtime 1.0在音视频对话节奏上的问题减少了一半,单次对话能完整顺畅进行的概率也有明显提升。

机场这类嘈杂环境就是一个例子:模型可以滤掉无关的闲聊,结合此前识别到的航班大屏信息回答提问,也能看懂指示牌,主动指路让旅客去网约车上车点。

目前SeedRealtime 1.0的API服务已由火山引擎正式开放,开发者可将其接入语音助手、智能硬件、实时客服、学习辅助等应用。

从传统语音问答,到实时音视频融合,再到主动感知与表达,SeedRealtime 1.0把AI与真实世界交互的能力边界又往外推了一步。

豆包AI又进化了!实时音视频模型上线 能看会听还能主动开口

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 火山引擎上线豆包实时音视频通话模型 SeedRealtime 1.0 API

    实时多模态交互正朝更自然、流畅演进。火山引擎正式上线豆包实时音视频通话模型 SeedRealtime1.0 的 API 服务,为开发者与应用提供全新实时音视频交互能力。该模型采用端到端统一建模,打破传统语音及多模态架构中 ASR、VLM、TTS 等多模块串联的级联链路瓶颈,减少级联处理带来的问题,提升实时交互体验。

    来源 AI 产业速递
  2. 豆包实时音视频通话模型 1.0 API 全量上线,可实现边看边听边说全模态实时交互

    IT之家 11 月 19 日消息,今天,火山引擎正式上线豆包实时音视频通话模型(SeedRealtime 1.0) API 服务,带来全模态交互的新体验。 据介绍,SeedRealtime 将声音、画面、时序与表达统一到同一个端到端模型中,能在连续的多模态信息流上实时交互,带来“边看、边听、边说”的全新体验。 这大大降

    来源 AI 行业观察
  3. Gemini 4 Neon发布:跑分逼近旗舰,单任务成本砍半

    作者|Wildcard编辑|靖宇谷歌,这次是真的回来了。11 月 18 日,Google DeepMind 点亮了Gemini 4 Neon的霓虹灯牌。这是 Gemini 4 系列在短短 7 周内甩出的第 4 款元素模型。如果看一眼官方放出的基准跑分长表和社区实测反馈,你会发现它精准卡在了一个极其舒服的「甜点」位上,既

    来源 腾讯网
  4. 范式发布Phai系列模型:语言模型提速8-10倍,视频模型弱化AI感

    11 月 18 日,范式智能无预告发布了自己的两款 Phai 系列模型:语言模型 Phai-A1 主打“快”,官方口径是同等质量下响应速度比同参数级别模型快 8–10 倍;视频模型 Phai-M1 主打“真”,即 AI 感更弱、画风细腻。 两款模型上线后,很快引起了 AI 圈的关注。部分网友甚至反应当天体验入口的服务器

    来源 AI 行业观察
  5. 豆包工作、千问办公集体接入第三方模型:办公Agent转向任务入口之争

    11月中旬,国内办公智能体赛道发生了一个微妙但具有分水岭意义的转折。 11月12日,字节跳动旗下豆包工作宣布接入Kimi K3.1 Pro、GLM 5.3、DeepSeek V4.1 Flash等多款第三方模型,并在模型选择页面标注各模型的“额度消耗倍率”,让用户在任务需求与使用成本之间自行权衡。四天后的11月16日,

    来源 AI 行业观察
  6. 莫少君接手抖音生活服务,豆包能成为他的胜负手吗?

    眼看交易规模即将追平美团,抖音生服却换下了掌门人。 据36氪报道,浦燕子不再担任抖音生活服务总裁,转任公司顾问,后续参与公益相关工作,职务由红果短剧负责人莫少君接任。 对此,抖音回应字母榜称,此次调整属于正常的管理岗位轮换与交接,生活服务是公司长期发展方向之一,对该板块会持续投入、长期经营。 浦燕子是2023年11月开

    来源 AI 行业观察
  7. GLM-4.6守约榜88.60分登顶,豆包Pro 65.40分居末

    GLM-4.6以88.60分位列WDCD v3.1守约总榜第一,豆包Pro以65.40分垫底。15个模型中头部与尾部差距达23.2分,R3崩溃率仅6%,满分率44.7%。数据揭示不同模型在多轮施压下的约束维持能力存在显著差异。

    来源 AI 科技快讯
  8. AnthropicIPO定价83美元:估值1.5万亿,80余人联名质疑安全性

    就在定价公布同一天,一份名为《MisAnthropic Statement》的公开声明在misanthropicstatement.com上线,由AI安全中心推动、80余名跨阵营人士联署,开篇即给出结论:“Anthropic is not a safe AI company”——史上最大IPO与史上罕见的跨阵营围剿,在

    来源 TechWeb
  9. 4.8亿美元GPU贷款被叫停 曝字节跳动马来西亚算力计划生变

    据报道,在美国出口管制新规生效后,字节跳动一笔原本用于在马来西亚采购英伟达GPU的4.8亿美元贷款突然被叫停。有知情人士消息称,评估该交易的至少五家银行已内部讨论退出或不参与,部分银行人士私下判断,这笔贷款“实际上已经死亡”。

    来源 TechWeb
  10. 字节跳动马来西亚买GPU的4.8亿美元贷款被叫停,发生了什么?

    据报道,在美国出口管制新规生效后,字节跳动一笔原本用于在马来西亚采购英伟达GPU的4.8亿美元贷款突然被叫停。有知情人士消息称,评估该交易的至少五家银行已内部讨论退出或不参与,部分银行人士私下判断,这笔贷款“实际上已经死亡”。

    来源 TechWeb
  11. 71岁郑渊洁用AI“手搓”动画短片,停更两年后宣布全面免费开放

    【TechWeb】11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文

    来源 AI 行业观察
  12. 跑分狂飙,实测翻车,刚发的 GPT-6.2 暴露了 OpenAI 的软肋

    「基本不可用,不推荐」。OpenAI 新模型上线仅仅 8 分钟,硅谷知名创业者 Matt Shumer,就在社交平台上扔下一句毫不留情的评价。紧接着,拥有大批开发者拥趸的 Theo Browne,发了一篇长文《我为什么讨厌 GPT-6.2 Astra》。向来对前沿模型保持温和耐心的沃顿商学院教授 Ethan Molli

    来源 腾讯网
  13. GPT-6.2 上线12小时:开发者为何称其“史上最糟”

    就在今天,OpenAI 正式发布了新一代旗舰模型 GPT-6.2 Astra,以及主打性价比的 GPT-6.2 Sol。从官方公布的成绩来看,GPT-6.2 Astra 在专业 Agent 任务上反超 Claude Fable 5.2,完成同等任务的综合成本却只有后者的 5%,堪称一次漂亮的反击。上下滑动查看更多内容然

    来源 腾讯网
  14. 梁文锋的“大肥鱼”,围剿大厂 Agent 地盘?

    点击 Tech星球 > 点击右上角“···” > 设为星标 Tech星球(微信ID:tech618)文 | 华卫封面来源 | 豆包AI龙虾(OpenClaw)成为过去时,现在AI社区里流行起了“养鱼”。近日,一群有独特个性的AI小鱼活跃在互联网各个角落。除了在办公、编程中干活,还做了不少意想不到的事儿,有的在社交平台到

    来源 腾讯网
  15. 抖音重拳治理“代解封”黑灰产:一个月处置1878条违规内容,137个账号被禁言

    11月19日,抖音黑板报发布《关于深入治理“代解封”黑灰产的公告》,晒出近一个月的治理战果:平台共处置传播“账号代解封”攻略及宣传代解封服务的违规内容1878条,对137个违规账号予以禁言。2026年以来,抖音已上报多起违法犯罪线索,协助有关部门抓获相关产业链犯罪嫌疑人11人。

    来源 TechWeb
  16. 抖音整治代解封黑灰产:月内处置1878条违规内容,137个账号被禁言

    11月19日,抖音黑板报发布《关于深入治理“代解封”黑灰产的公告》,晒出近一个月的治理战果:平台共处置传播“账号代解封”攻略及宣传代解封服务的违规内容1878条,对137个违规账号予以禁言。2026年以来,抖音已上报多起违法犯罪线索,协助有关部门抓获相关产业链犯罪嫌疑人11人。

    来源 TechWeb
  17. DeepSeek开源Agent框架WorkBuddy:154万日活,社区养出3.5万插件

    龙虾(OpenClaw)成为过去时,现在AI社区里流行起了“养鱼”。 近日,一群有独特个性的AI小鱼活跃在互联网各个角落。除了在办公、编程中干活,还做了不少意想不到的事儿,有的在社交平台到处留言互动,还有的跑到抖音直播,甚至相互之间还谈起了恋爱。 而它们的“本体”,来自DeepSeek开源的Agent框架DeepSee

    来源 AI 行业观察
向下滚动自动加载更多