字节Seed全双工模型落地豆包：年轻研究者走向台前

引子

大模型这几年越来越聪明，可有个局限不容易被察觉：世界一直在变、交互一直在发生，模型却很难在这种过程里保持智能。

用户提问，模型推理，生成答案，然后等下一次输入。外部世界被切成一个个完整片段，智能只发生在片段与片段之间。

现实世界不等人。人跟人说话，不必等对方讲完才开始理解，也不必想好全部内容才开口；听着听着就有了判断，说着说着还在继续想，对方一个停顿或一个表情，原本要说的话随时会改。

这种本事看着理所当然，今天的大模型却很难做到。

一批前沿研究正试图改变这一点。2026 年，字节跳动 Seed 先后把原生全双工语音模型 Seeduplex 和音视频全双工模型 SeedRealtime 推上豆包 App；OpenBMB 开源了可在端侧运行的全模态实时交互模型 MiniCPM-o 4.5；Thinking Machines Lab 发布 Interaction Models 研究预览；OpenAI 推出 GPT-Live 并开放 API。阿里通义、小米、阶跃星辰等团队，也沿着不同路线推进实时语音、持续推理与全模态建模。

这些问题最终指向同一处：输入不再完整、环境持续变化时，模型能不能一直保持感知、推理与行动的连续性？

投资人也开始盯上这个方向。科技投资人、a16z Scout Rubén 曾在 LinkedIn 上讨论清华研究者胥博凯参与的 MiniCPM-o 4.5，他看的不只是模型，还有做出这些突破的年轻研究者，以及他们从实验室走向创业的可能。

Rubén 的 LinkedIn 帖子截图

往前追技术路线会发现，推动这场变化的人背景并不相同。有人从同声传译出发，研究模型何时开口；有人让模型边听边说；有人让内部推理与外部表达同时进行；还有人负责让这一切在真实系统中稳定运行。这些原本各自独立的方向，正在汇成一张新的技术与人才图谱。

下一代实时交互：关键技术问题与人才图谱

要理解这些工作怎么汇合，得先回到一个基础问题：今天的人机对话，和真实的人际交流差在哪？

从轮流对话到持续交互：技术演进的脉络

人际交流里，一句“我没事”，可能是真的平静，也可能是硬撑。语气、停顿、表情都能帮我们读出言外之意；对方话没说完，我们已经在组织回应；他突然改口，我们又能马上调整。人不会把交流切成一次次独立问答，而是在信息不断变化中实时判断什么重要、何时回应、下一步做什么。

大模型的本事恰恰反着来：先收进一整段输入，再吐出一整段输出。于是人机对话一直是轮流来的，你讲完它算，它讲完你接，中间还断着。简单问答凑合能用，可一旦要持续配合做一件事，这套节奏就卡住了。实时交互研究盯的就是这件事：模型能不能不再当一台离散的问答机，而变成随时感知、随时琢磨、随时回话的智能体。

全双工：不是更快的语音助手

全双工（Full-Duplex）这个词本来出自通信：对讲机属于半双工，同一刻只容一方开口；电话则是全双工，两边能同时讲、同时听。搬到 AI 交互上，原生全双工的意思是模型一边输出，一边还在接收并理解新进来的内容，再据此判断是接着说、先停下，还是改口。

2024 年 5 月，GPT-4o 让端到端语音模型走进大众视野，模型可以直接处理音频，理解语调与情绪，并生成有自然起伏的语音。

GPT-4o 官方发布页：实时多模态语音开始进入大众产品语境。资料来源：OpenAI， Hello GPT-4o

可端到端和全双工并不是一回事。前者讲的是输入输出能不能交给同一个模型统一建模，后者讲的是两者能不能在时间上一直并行。早先的级联系统让语音识别、语言模型、语音合成挨个干活，延迟大，语调和情绪也丢掉了；端到端模型省掉了中间的转写环节，却依旧没跳出轮次式交互，一般得等用户说完才回应。

“低延迟”这个说法也容易把两者的差别盖过去。系统靠语音活动检测（VAD）判断用户什么时候开口，一收到打断信号就停止播报，响应能做到百毫秒级；可要是模型发声时把听觉通道关了，每被打断一次就得重新开一轮推理，那它仍然只是台反应更快的轮次式机器。VAD 只认有没有声音，不认内容：用户停顿下来想词，它可能当成说完了；旁边有人咳嗽，它又可能当成用户开口了。

设想 AI 正在介绍一家餐厅，用户忽然插一句“等一下，我其实不吃辣”。靠 VAD 的系统只会停掉播放，等着下一轮输入；原生全双工模型则得在说话的同时把这句话听懂，再调整后面怎么讲。至于用户随口一声“嗯嗯”，意思通常是“接着说”，并非要求停下。

可见全双工的难处不只在能不能被打断，还得把噪声、附和、迟疑、抢话和真实意图分清楚。严格讲，原生语音全双工要求模型在生成输出的同时继续处理新进来的音频，再按语义和时机决定接着说、暂停还是调整回应，说到底拼的是对连续时间的掌控——每一刻模型都得判断自己该听、该说、该停，还是该换种说法。

原生全双工在 2026 年扎堆落地产品。4 月，字节跳动 Seed 团队的原生全双工语音模型 Seeduplex 在豆包全量上线。官方评测显示，对比半双工模型，复杂场景下误回复和误打断少了约一半，抢话比例降了约 40%。7 月，OpenAI 拿全双工架构的 GPT-Live 换掉了 ChatGPT 原来的语音模式，模型每秒能多次决定继续听、开口、暂停、打断或调用工具。对话的基本单位，正从一问一答的“轮次”变成持续的时间流。

Seed 官方将 Seeduplex 定义为可“边说边听”的全双工语音模型。

实时交互并非某个实验室一蹴而就的产物。同声传译、听说并行、全模态建模、持续推理、交互后训练与推理基础设施，这些路线各走各的，直到近两年才在同一批模型和产品上汇合。

流式处理：向同声传译学“何时开口”

同传这份活儿，天然不允许译者等到演讲收尾才张嘴，信息不完整的时候，也得边判断边往外说。

机器同传研究把这个矛盾提炼成读写策略（Read/Write Policy）：输入还没结束，是接着等，还是信息够了先开始生成？说到底是延迟和质量之间的取舍。中科院计算所自然语言处理团队（ICTNLP）在这一方向上有多年的积累。

ICTNLP 的 StreamSpeech 把语音识别、翻译和合成装进同一个同步语音翻译框架；后来的 Stream-Omni 又把流式处理推向更多模态。LLaMA-Omni 系列也属同类，做到了低延迟的语音生成。不过这些还停留在流式与端到端层面的前期探索，算不上全双工。

这条路线的意义，在于给出了一种思路：把“何时听、何时说”变成可以学习的决策问题。局限同样明显。同传的输出目标相对固定，原文说什么就译什么；开放对话的目标却一直在变，还得应付插话和意图转向。从同传到对话，难度又上了一层。

听说并行：对话控制交回模型手里

上海交通大学 X-LANCE 实验室与字节跳动研究者合作提出的 LSLM（Listen-while-Speaking Language Model），发表于 AAAI 2025，比较早地把“边说边听”单列成一个问题：模型一边生成语音，一边持续接收外界声音，传来的如果只是噪音、闲聊或附和，就继续说；一旦判定用户真的插话，就停下来听。

2026 年 6 月，中科院计算所冯洋团队发布 BayLing-Duplex，把用户语音、助手文本和助手语音编成一条多通道交错序列，开口、被打断、重新开始，统统归为下一个 token 的预测，外部 VAD 不再参与。论文显示，它从一个公开的轮次式模型出发，仅用约 40 万条全双工样本微调，轮次切换与打断测试的成功率就相当高。对话控制正从外部工程规则，转为模型自己学出来的能力。

端到端全模态：在同一条时间轴上看、听、说

真实交流里不只有语音，还有画面、环境声和手势。模型不能只在某个时间点把模态拼起来，得弄明白它们何时发生、彼此怎么影响。

开源项目 Mini-Omni 系列较早对端到端实时语音与多模态做了开源探索。2026 年 2 月初，清华大学自然语言处理实验室与面壁智能共同发起的开源社区 OpenBMB 开源 MiniCPM-o 4.5，其 Omni-Flow 框架把轮次式交互改写成时间对齐的全双工过程，感知与回应并行展开，还能根据持续观察的画面主动提醒。按技术报告的说法，这个约 9B 参数的模型能跑在内存不足 12GB 的端侧设备上。

三个月后，Thinking Machines Lab 公布 Interaction Models，把音视频与文本切成约 200 毫秒的片段并行处理，另配一个异步后台模型负责推理与工具调用。

国内团队其实不只是追着海外概念跑，模型和系统已经先一步公开落地了。8 月，字节 Seed 团队的音视频全双工模型 SeedRealtime 在豆包上跑通了“边看、边听、边说”。

Thinking Machines Lab：Interaction Models 把“实时交互”提升为研究方向

这里要分清，全模态和全双工是两个维度。阿里通义的 Qwen-Omni 系列把音频、视觉与文本纳入统一的感知底座，回答的是“模型能理解多少种信息”；全双工回答的则是“这些信息能否在时间上持续并行”。两种能力可以叠加，却替代不了对方。

持续推理：边听边想，边说边想

能同时听说，不等于能边说边想。用户的期待往往是既要又要——既想模型快点开口，又不愿它为了速度丢掉推理深度。

这条路线上的工作各管一段。南洋理工大学与阶跃星辰联合完成的 Chronological Thinking 盯的是“听”的阶段。多数全双工模型在用户说话时只是反复预测静音，等于空转；它让模型随话语推进按时间顺序梳理意图与逻辑，用户一停就能开口。南洋理工大学团队（作者包括图灵奖得主 Yoshua Bengio）的 The Silent Thought（FLAIR）更进一步，让模型在倾听时以隐式表征推理，不需要显式思维链标注。同样出自 NTU 与阶跃合作的 Mind-Paced Speaking 管的是“说”的阶段，让负责推理的“构思脑”和负责发声的“表达脑”并行，表达不必等推理做完；阶跃的 Step-Audio R1.1（Realtime）已明确采用这套“双脑”架构，输出语音的同时进行链式推理。

Mini-Omni-Reasoner 在 token 级别交错生成推理与语音；MiniCPM-o 团队的 Listen-Write-Speak 则把倾听、可见文字输出与语音组织成三条并行通道，模型边说边把代码、要点写出来。

工业系统那边的做法更接地气：实时对话和深度工作分开处理。前台由 GPT-Live 维持对话，搜索、推理这类任务丢给后台模型，算完再把结果接回对话里；Thinking Machines Lab 的结构同样是前台交互、后台异步、上下文共享。学术界提的双脑、多通道方案，和工业界这种快慢分工，从两个方向往同一个目标靠。

交互后训练与评测：教模型掌握分寸

全双工架构有了，模型也未必天生懂分寸。交互后训练专门校准实时行为，比如何时切入、何时倾听、怎么过滤噪音、半路被修正如何收尾，以及被打断后怎样接续。

难就难在目标本身高度依赖语境。开口太早显得冒失，开口太晚又没了实时感；插话太勤会打断沟通，从不插话又显得呆板。模型得学会一套随场景变化的交互策略。评测同样棘手——对话至少涉及两方，只给单个模型打分，很难反映真实的互动情况。2026 年以来，全双工评测基准与基于强化学习的交互对齐研究陆续冒出来，这个环节正成为新的研究热点。

工业一侧，阶跃的 Step-Audio-R1 系列把强化学习与推理带进语音，StepAudio 2.5 强化交互表现，DuplexSLA 则探索语音、语言与动作的同步调度。从语音推理到交互表现，再到语音与动作的同步，这条线把后训练从“说得对”推到“在对的时机说、边说边做”。开源一侧，MiniCPM-o 的交互对齐、双工评测，加上 Listen-Write-Speak 的多通道调度，构成了另一套闭环。

这个环节的意义不止于语音。同传要判断何时开口，智能体要判断何时调用工具、何时继续执行，两者底层的逻辑是相通的——都是在信息不完整的情况下决定下一步动作。实时交互攒下的时序决策方法，正在往 Agent 领域迁移。眼下短板之一是评测还没形成统一标准，各家报告的指标口径不一，横向比较依然困难。