当AI学会在脑子里偷偷想事,嘴上还能正常说话
你有没有过这种经历:脑子里飞速转了十几个念头,但嘴上只说出一句话。比如朋友问你晚饭吃什么,你脑子里可能闪过了"今天运动了要不要吃点清淡的"、"冰箱里还有昨天的菜要不要先吃掉"、"楼下那家新开的店评价怎么样",但最后你只说了一句"吃面吧"。这个过程效率极高。你不需要把每一个念头都组织成完整的句子说出口,但你的...
你有没有过这种经历:脑子里飞速转了十几个念头,但嘴上只说出一句话。
比如朋友问你晚饭吃什么,你脑子里可能闪过了"今天运动了要不要吃点清淡的"、"冰箱里还有昨天的菜要不要先吃掉"、"楼下那家新开的店评价怎么样",但最后你只说了一句"吃面吧"。
这个过程效率极高。你不需要把每一个念头都组织成完整的句子说出口,但你的大脑确实完成了复杂的思考,而且这些思考是连贯的、可以追溯的,如果有人问你"为什么吃面",你能把刚才脑子里那些闪过的念头重新讲出来。
现在的AI智能体做不到这一点。
**它们要么把所有念头都变成文字说出来,要么干脆把思考过程藏起来,变成一堆谁也看不懂的数字。**
这正是斯坦福大学、Together AI和UIUC的研究团队在一篇名为《Hybrid Reasoning Agents》的论文里想解决的问题。他们造了一个名叫HybridAgent的智能体,试图让AI既能像人一样在脑子里"悄悄想",又能在需要的时候开口说话、动手操作工具。
这篇论文里到底藏着什么样的设计巧思,让我们一点点拆开看。
两条路线的拉锯战
要理解HybridAgent解决了什么问题,得先搞清楚AI智能体目前走的两条路有什么矛盾。
第一条路是文本推理。
现在几乎所有的AI智能体,不管是ChatGPT还是各种Agent框架,思考过程都是一个字一个字"说"出来的。它想解一道数学题,会先写"我需要先算出X的值",再写"然后代入公式",每一步都变成了人类能读懂的句子。
这样做的好处显而易见:你能看懂它在想什么,能在它出错的时候及时发现,还能让它在需要查资料、跑代码的时候随时切出来调用工具,再把结果接回来继续想。
但代价也很明显。每一步思考都要先在脑子里形成想法,再把这个想法翻译成人类语言的token,一个一个蹦出来。这就像让一个数学家做题的时候,不能在草稿纸上随便画示意图和省略号,必须每一步都写成完整的、符合语法的句子念出来给别人听。
想想看,如果你做数学题的时候不能用简写、不能跳步骤,必须把每一个中间推导都组织成完整句子说出口,你的解题速度会慢多少?这就是纯文本推理智能体正在付出的代价,每一步思考都要经过"组织语言"这道工序,而这道工序本身不产生任何有效信息,只是把脑子里的东西翻译成了外部可读的形式。
第二条路是潜在推理。
**
这条路线的想法很直接:既然把想法翻译成文字要耗费额外的计算和时间,那干脆不翻译了,让模型直接在它自己的"思维空间"里转圈。具体做法是把Transformer模型最后一层算出来的隐藏状态直接喂回去,当作下一步的输入,不经过词表投影、不采样token、不做embedding查表,整个过程完全在连续向量里完成。
这样做效率确实更高,因为跳过了反复的解码和重新编码。但问题也随之而来:这些连续的向量到底在表达什么,没人知道。它们没办法被翻译回人类能懂的文字,这意味着模型没法在潜在推理的过程中查资料、调用计算器、执行代码,因为这些操作都需要明确的、离散的指令。而且因为完全不可读,训练的时候很难监督它到底学到了什么,上线之后出了问题也无从排查。
这就形成了一个两难局面。要效率,就得放弃可监控性和工具调用能力;要可监控和工具调用,就得接受较慢的生成速度。
研究团队的想法是,为什么不能两者兼得?让模型在需要深度思考、不需要对外交互的环节钻进潜在空间里高速运转,在需要调用工具、给外部观察者看结果的环节切回文本模式。这就是HybridAgent的核心思路:一个生成过程里,动态地在文本和潜在两种模式之间切换。
HybridLink
说起来容易,做起来难。真正的障碍在于,文本和潜在向量根本不是一个"语言体系"。
模型每一步生成之后,会算出一个隐藏状态。如果是文本模式,这个隐藏状态会被投影到词表空间,采样出一个具体的词,再查表变成嵌入向量,作为下一步输入。如果是潜在模式,传统做法是直接把这个隐藏状态原封不动地喂回去。
**问题就出在这里。** 直接把隐藏状态喂回去,这个向量从没有经历过模型预训练时学到的那套输入空间的"校准"。它和真正的词嵌入向量,在分布上是对不上的。模型看到这样一个陌生的输入,很容易"晕"。
研究团队设计了一个叫
**HybridLink**:一个轻量级的残差适配器,作用是把模型最后一层的隐藏状态重新映射回输入嵌入空间,让潜在向量和真正的词嵌入在分布上对齐。
它的公式其实很简单:
$$e_{t+1} = \mathcal{R}(h_t) = h_t + W_2\sigma(W_1 h_t)$$
意思是说,拿到上一步的隐藏状态h,不是原样喂回去,而是加上一个经过两层线性变换和激活函数处理过的修正量,再喂给模型。这个设计里最关键的一点是
为什么要加这个残差连接?
想象你在给一份英文文档做翻译校对。如果让你从零开始重新翻译整篇文档,工作量巨大,而且很容易丢失原文的语气和细节。但如果原文已经有了一个机器翻译的初稿,你只需要在这个初稿基础上做局部修改和润色,工作量会小得多,而且能最大程度保留原文信息。
HybridLink的残差设计干的就是"润色"而不是"重新翻译"的活。隐藏状态h本身已经携带了模型当前生成内容的丰富语义,如果让HybridLink从零学习整个映射关系,等于让它重新发明一遍这些语义怎么表达,这既浪费计算资源,也容易丢失信息。残差连接保留了h的原始语义,HybridLink只需要学习"分布上的微调"这一件事。正因为任务变简单了,这个适配器才能做得足够轻量,一个40亿参数的模型配上它也只需要大约1000万参数,相当于给大房子装了个小对讲机,而不是重新盖一栋房子。
那模型怎么知道什么时候该切换模式呢?
答案是设计了两个特殊的
进入潜在模式之后,每一步的隐藏状态都经过HybridLink处理,生成下一步的输入,整个过程不再有token采样和重新嵌入这道工序,纯粹是向量到向量的连续计算。退出的判断更巧妙:在每一步潜在计算结束后,把HybridLink算出来的输出向量和词表里所有词的嵌入做
这个设计带来一个意想不到的副产品:潜在推理过程居然可以被"翻译"回人类能看懂的伪文本。因为HybridLink每一步的输出本质上还是落在嵌入空间里,你随时可以拿它去跟词表里的词做最近邻匹配,把这一步潜在推理"读"出来,看看它大概在表达什么意思。论文里专门做了实验验证这件事,发现潜在步骤的可读性相当高,而且内容和上下文高度相关,不是随机噪声。这就相当于给黑箱装了一扇可以随时打开查看的小窗。
跨轮次的记忆:工作记忆怎么保存混合上下文
光是单次生成里能切换模式还不够。真实的智能体任务往往需要多轮交互:想一想、查个资料、再想一想、跑段代码、再给出答案。每一轮之间,怎么把前面积累的所有信息,包括文字、潜在推理、工具返回结果,完整地传递下去?
传统做法很简单粗暴:把上一轮生成的所有内容,不管是什么形式,都转换成文本,拼接到下一轮的输入前面,重新喂给模型。
但这招对HybridAgent行不通。潜在推理产生的是连续向量,根本没办法被还原成离散的token序列,你没法把它"转换成文本"再重新喂回去,这个转换本身就是有损的,甚至是不可能的。
研究团队的解法是让HybridAgent拥有自己的**连续工作记忆**。
**
具体来说,不管一段内容是文本、潜在向量还是工具返回的观察结果,它们都会先被映射进同一个输入空间(文本走嵌入层,潜在向量走HybridLink),然后Transformer在处理这些统一格式的输入时,会在每一层为每个位置算出一组键值对,这些键值对会被持续保留、累积。下一轮生成的时候,模型不需要重新读一遍前面所有内容,而是直接复用这些已经算好的键值对,在此基础上继续往后生成。
这就好比你在图书馆查资料,第一次查的时候你做了详细的读书笔记,笔记里记录了书名、页码、关键论点。第二次需要用到这些信息的时候,你不需要把那本书从头到尾重新读一遍,只需要翻开笔记本,直接用你当时记下的结论继续往下推导。如果没有这份笔记,每次需要引用之前的信息都得把原书翻出来重读一遍,不仅慢,还可能因为理解角度不同而得出不一致的结论。
工作记忆机制省去的正是"重新读原书"这一步,而且因为它保存的是模型内部计算的中间状态而非外部文本,所以不存在"潜在推理怎么转文本"这个无解的问题。
论文里专门给出了一个数学证明(附录A的定理A.1),证明了只要固定住模型参数和HybridLink,用工作记忆续接生成和把完整前缀重新喂一遍给模型,算出来的结果是完全一致的,不会有任何信息损失。这个证明过程用的是数学归纳法,一步步验证每个时间步的隐藏状态和键值对都和"重新跑一遍完整序列"得到的结果严格相等。这个理论保证很重要,它意味着跨轮次的记忆续接不是一种"近似"或者"凑合",而是在数学意义上无损的。
训练一个会"看菜下碟"的智能体
架构设计好了,接下来的问题是怎么训练它。毕竟HybridAgent要学会什么时候该钻进潜在空间快速思考,什么时候该切回文本调用工具,这不是写死的规则,而是需要从数据里学出来的能力。
研究团队设计了两阶段的训练流程:先用监督微调(HybridSFT)让模型学会和HybridLink配合着生成,再用强化学习(HybridRL)让模型学会自主决定什么时候该用哪种模式。
### HybridSFT:先解决"听不懂自己的话"这个尴尬
这一步最棘手的问题,论文里管它叫**
**什么意思呢?** 训练的时候,研究者通常采用"
但是到了推理阶段,情况完全反过来了。模型进入潜在模式之后,每一步的输入都是HybridLink自己算出来的预测值,而不是什么标准答案,因为压根没有标准答案可用。这就意味着模型在推理时面对的输入,是它在训练时从未真正"用过"的东西。
这就好比一个学生在准备演讲比赛的时候,老师每次都把标准讲稿的每一句话念给他听,他只需要跟着模仿发音和语调。可是到了真正上台的那一刻,没有人在耳边念标准讲稿了,他必须根据自己刚才说出的上一句话,自己接着往下说。如果他从来没有真正练习过"听自己说话再接下去"这件事,临场表现很可能磕磕绊绊,因为这是一种完全陌生的体验。
更麻烦的是,文本模式和潜在模式面对这个问题时情况不太一样。文本模式下,就算模型预测错了一个词,采样出来的还是词表里某个真实存在的词,这个词重新嵌入之后,输入空间没有离开模型见过的范围,误差是有边界的。但潜在模式不一样,HybridLink输出的是连续向量,哪怕只是和标准答案有一点点偏差,这个带着偏差的向量被喂回去作为下一步输入时,模型从未在训练中见过这种带噪声的输入,误差会在几十到几百步的潜在推理过程中不断累积放大,最终可能让整段潜在推理偏离得面目全非。
解决方案是**
第一遍照常教师强制,记录下HybridLink在每个潜在位置实际算出来的预测向量(这些预测只用来存档,不改变这一遍的训练行为)。第二遍,把这些记录下来的、模型自己的预测结果,替换掉原来的标准答案嵌入,重新喂给模型,再联合训练骨干网络和HybridLink。
这样一来,骨干网络学会的是"如何读懂HybridLink自己生成的潜在输入",而HybridLink学会的是"如何在模型实际会用到的条件下生成合适的潜在输入",两者在同一套真实条件下共同进化,而不是各自为战。
实验数据证实了这个设计的必要性。只做格式激活和HybridLink激活,不做
### HybridRL:policy怎么优化一段"半文半暗"的轨迹
监督微调只能让模型学会"照着葫芦画瓢"地生成混合轨迹,但没法让它学会根据任务难度自主调整文本和潜在模式的比例。这就需要强化学习登场了。
但这里遇到一个技术性的硬障碍。像
**问题来了。** 文本位置上,模型确实是从词表里采样出一个token,这个token有明确的概率。但潜在位置上,模型生成的是连续向量,根本不存在"采样概率"这个概念,HybridLink的输出是一个确定性的函数映射,不是从某个概率分布里抽出来的。
研究团队给出的解法分两步。第一步是理论层面的,证明了一个叫做**
这个证明的意义在于,它从数学上合法化了"只在文本位置做策略梯度更新"这件事,不是一种工程上的妥协或近似,而是严格成立的等式。
第二步是工程实现层面的,叫**
论文里的定理C.3进一步证明,在这套回放机制下,对采样文本位置做的梯度更新,在数学上等价于对整条完整混合轨迹做
奖励函数的设计则相对简单,由答案正确性、格式合规性、工具使用三部分组成,论文特意强调没有给"用潜在模式还是文本模式"这件事单独设计奖励,让模型完全自主地去发现怎么分配两种模式最划算。
从训练过程的曲线看,这种自主发现确实发生了。随着训练步数增加,14B模型逐渐把更多生成任务转移到潜在模式,潜在推理步数从训练初期较低的水平一路爬升到276步左右,同时文本token用量从接近800降到约500,工具调用的成功率也同步提升到98.8%。这说明模型学会了一种"分工":把大量不需要外部展示的中间推理挪进潜在空间加速处理,只在真正需要工具交互、关键决策的节点才切回文本。
实验结果:效果和效率的双丰收
说了这么多设计思路,最终还是要看数据说话。
研究团队用Qwen3-Base系列模型,在4B、8B、14B三个规模上训练了HybridAgent,拿到11个涵盖数学、科学、医学、知识检索和复杂智能体任务的基准测试上做了评测。
先看效果层面的对比。在
横向对比业界前沿模型,结果同样亮眼。像GPT-5.6-Luna、Kimi-K3、DeepSeek-V4.1-Flash这些参数量大得多的闭源模型,在
数学和知识密集型任务上同样保持优势。14B规模HybridAgent在
再看效率这条线,这也是整篇论文的一大卖点。论文统计了token用量、推理耗时、计算成本三个维度的对比。
效率这一块的数据相当扎实。HybridAgent相比纯文本智能体,token使用量减少了35.5%到54.7%,推理速度提升了1.8到2.6倍,计算成本降低了2.7到3.7倍。具体拆解一下,在14B规模上,纯文本智能体平均每个问题要用2200个token左右,HybridAgent只需要900个左右,相当于节省了54%的生成量,而且这900个token里还有35%属于潜在推理步骤,意味着真正对外展示的文本内容压缩得更狠。
成本这块论文做了具体估算:按照每小时2.5美元的H100 GPU租用价格,以及10%的峰值算力利用率估计,在14B规模上,回答一百万个问题的估算成本,从纯文本智能体的470美元降到HybridAgent的176美元,降幅约为62.5%。
这里有个容易被忽略但很重要的细节:节省下来的计算开销,不是靠偷工减料实现的,论文的成本估算方法是把每一次文本或潜在生成步骤,都按一次完整的骨干网络前向传播来计费,潜在推理一步都没有被"免费处理"。换句话说,效率提升确实来自推理路径本身变短了,而不是统计口径上的取巧。
几组特别有意思的消融实验
论文里做了大量细致的消融和因果干预实验,其中几组特别值得拿出来单独说一说。
第一组是**潜在模式的因果依赖测试**。研究者想验证,HybridAgent生成的潜在向量,到底是不是真的在起作用,还是说它只是个摆设、换成随便什么向量模型照样能蒙对答案。
他们设计了四类干预方式:往潜在向量里加噪声、把潜在向量替换成别的内容、打乱潜在向量的顺序、限制潜在推理的步数。结果非常清楚:换成完全不相关的"跨问题"潜在向量,准确率直接从88.2%跌到48.6%,接近腰斩;换成随机采样的token嵌入,跌到44.6%;就算只是打乱同一段潜在推理内部的顺序,也会跌到76.4%。更关键的对照是,哪怕施加了比"跨问题替换"强度更大的纯高斯噪声,模型性能的下降幅度反而没那么剧烈(70.2%)。这说明关键不在于扰动的"力度"有多大,而在于扰动是否破坏了潜在向量携带的语义内容。这组实验相当扎实地证明了,HybridAgent不是在"假装思考",它的潜在推理是真实承载着有效信息、而且这些信息的顺序也是有意义的。
第二组是**HybridLink的架构选择对比**。研究者比较了五种设计:什么都不做直接复用隐藏状态、单层投影、单层投影加残差、双层投影、双层投影加残差(也就是论文最终采用的方案)。结果显示,完全不做对齐的直接复用方案,在
第三组是**文本模式的可审计性测试**,这组实验回应了一个很自然的担忧:既然大量推理挪进了潜在空间,会不会导致外部监督变得更难?
研究团队设计了一套相当严谨的评测协议,涵盖监控、调试、纠错、充分性四个维度。监控维度测试一个外部的"裁判模型"能不能单凭可见的文本轨迹预测整条推理是否正确;调试维度测试裁判模型能不能准确定位失败案例里第一个出错的步骤;纠错维度测试基于可见文本生成的纠错提示,能不能真正帮模型把错误改对;充分性维度测试仅凭可见文本能不能反推出模型自己给出的答案。
结果显示,HybridAgent虽然暴露的文本token数量比同规模纯文本智能体少了43%到49%,但每100个可见token里包含的"关键推理步骤"密度反而高出26%到28%。监控维度的
这组数据传递的信息挺耐人寻味:把大量日常推理挪进潜在空间,并没有让留在文本里的那部分变得"稀释",反而因为去掉了大量冗余的口水话式推理,剩下的文本反而更"干货",信息密度更高了。这就像一篇被精心编辑过的文章,删掉了啰嗦的过渡句之后,留下的每一句话反而都更有分量。
写在后面
读完这篇论文,有一个细节让我反复琢磨。
论文第八节讨论了一个几乎没有被同类工作提及的应用场景:大模型提供商的知识产权保护。目前OpenAI、Anthropic这些公司提供推理模型API服务时,通常会把
HybridAgent的架构恰好从根本上堵上了这个漏洞。因为潜在推理从始至终都只是模型内部的隐藏状态,只有通过服务提供商自己掌握的HybridLink才能被"翻译"成可读内容,根本就不存在可以被窃取的文本形式。这意味着服务提供商既能对内部完整地审查推理过程是否安全合规,又能对外部只暴露用户真正需要看到的工具调用和最终结论,而不用担心这中间存在被完整复现的风险。这个设计初衷可能是为了效率,但意外地在安全层面上也带来了一个附加的好处。
另一个让我觉得有意思的地方,是论文提出了一种全新的评估思路:不只是测准确率,还专门设计了"调试难度""纠错效率""信息充分性"这些偏工程化的指标,去衡量一个推理轨迹到底有多"好用"。这种评估方式本身,其实暗含了一种判断标准的转变:对于AI智能体来说,"推理正确"已经不是唯一重要的事,"推理过程能不能被人类有效理解和干预"正在变成一个独立的、需要被量化衡量的维度。
如果这个思路继续往前推演,未来的AI智能体评测体系里,会不会出现专门针对"可监督性"的排行榜,就像今天大家争相刷准确率榜单一样?一个模型即便准确率略低一点,但因为推理过程足够透明、容易纠错,会不会在实际部署中反而更受青睐?
Q&A
Q1:HybridAgent是什么?
A:HybridAgent是斯坦福大学、Together AI等机构联合提出的一种混合推理智能体,它能在同一次生成过程中动态切换文本推理和潜在空间推理两种模式,既保留工具调用能力又获得更快的内部思考速度。
Q2:HybridAgent和传统纯文本智能体相比有什么优势?
A:在11个基准测试中HybridAgent平均性能提升10.4%,同时token使用量减少35.5%到54.7%,推理速度提升1.8到2.6倍,计算成本降低2.7到3.7倍,实现了效果和效率的双重提升。
Q3:HybridAgent的潜在推理过程能被人类看懂吗?
A:可以。得益于HybridLink设计,潜在推理生成的向量可以通过最近邻匹配映射回可读的伪文本,实验显示其可读性和上下文相关性都很高,不是不可解释的黑箱计算。