DeepSeek模型自我改写：7层激活读脑，AIME涨7分

新智元报道  

AI盯着自己的内部状态动手改自己，这事真的发生了。

参数量7630亿的DeepSeek-V4.1-Flash，把做数学题时最深的7层激活状态直接调出来读了一遍。

这不过是今天刷屏AI圈的DoubleAI重磅研究中的一角。

这家AI机构由Mobileye创始人Amnon Shashua创办，此次抛出一个颠覆传统深度学习的新范式，叫「机制干预」。

实验细节先放一放，先看这套「机制干预」是怎么跑起来的：

• 头一步是找瓶颈。Agent实时读每层网络的梯度信号，把那些光靠调权重学不动的短板挑出来。

• 第二步是写代码。Agent当场生成几十个候选Python函数，再实测哪一段最能帮模型把误差压下去。

• 第三步是热插拔。胜出的代码挂在一个初始值为0的门控后面接进网络，往后训练会自己把门控推开。

第一组实验拿语言模型预训练开刀，看训练中途插进Python代码，能不能让模型把预测误差压得更快。

12层模型nanochat训练1500步，Agent前后三次出手，塞进Python代码层。

每回代码一并进去，模型预测误差（bpb）就跟着降一次，连降三次。

1500步训完，带代码层的模型等于白捡了15%的训练进度。

对照组换成了逻辑被打乱的「假代码」，它的训练曲线跟常规训练几乎叠在一起。这说明涨的那部分分数，全靠AI自己写出来的代码逻辑。

网络有12层，Agent能判断出该往哪一层加代码，凭的是「幽灵梯度」。

做法是假设在某一层后面接一个新模块，再算一算往哪个方向调，误差掉得最快。

把常规噪声过滤掉之后，第2层和第4层需求最集中的区域就露出来了。

瓶颈层定下来，Agent一口气写出几十个候选函数，拿单批数据逐个试，看哪个最贴合第2层的梯度方向。

评分最高的那个函数，被挂到一个初始值设为0的门控上g然后接进网络里。

刚接进去时门控输出是0，原来的网络照常运转，不受干扰。

可100步不到，梯度下降就发现这段代码确实能压低误差，门控自己就调到了0.58。

这套流程跑到第1000步，Agent往最后一层放进了那个最让人意外的「错误记忆层」。

区区20行代码，冲击力在于它推翻了过去的定式：前向只负责推理，改错得等反向传播。

现在不必等反向传播，模型一边往后读，一边就能核对前面的答案，当场把预测误差算出来，并定位到64个最相似的出错位置。

接下来它在内部直接做一步梯度下降，一次前向传播里就把错边读边改了。

Python代码层既然这么好用，那从第0步训练起就把它装进模型，行不行？

第二组实验给出的结果，却跟直觉完全相反。

团队把记忆窗口卡在500词以内，让模型去回忆几千词之前赋过的变量。

另一边，Agent写了个能跨窗口查字典的「代码缓存层」，按三种时机装进模型：

• 常规训练基线：超出500词窗口的变量统统忘掉，召回率0%。

• 第0步自带组：开训之前就装好代码缓存层，召回率停在55%。

• 第1200步半路插入组：先练1200步，再把同一个缓存层塞进去，召回率升到72%。

同样一个Python代码层，训到一半才插，反而比一开始就带着高出17个百分点。

反转背后有原因：开训第一天就给出成型的代码捷径，神经网络会偷懒去靠外部字典，不肯下功夫打磨底层表征。

反过来做才有效：先逼模型在500词限制内把底层表征练扎实，等它撞上瓶颈，再接入Python代码，神经权重和符号代码这时候才真正形成合力。

「半路插入」的优势得到验证之后，第三组实验把目标对准30种经典计算机算法，看一口气连塞10层代码到底能带来多大变化。

Transformer学算法一直有个要命的短板：测试时一旦碰到训练中跳过的「中间长度」，准确率立刻塌方。

下图里，常规训练的灰线一遇上没见过的中间长度就跌到0%，接上代码层的橙线则始终停在高位。

总分层面，常规模型就算训满20000步，30种算法的总准确率也只到55%。

第10000步时，Agent开始每隔500步介入一次，连续塞进10个Python代码层，替模型记住「哪些节点访问过」「当前最小值」这类关键状态。

只过了5000步，此前拿0分的广度优先搜索升到97%，拓扑排序达到93%，30种算法总准确率提高29个百分点，来到84%。

涨幅之所以这么猛，是因为神经网络和Python代码在内部形成了精细的分工。

举个例子，代码层要比较数字大小，可原始输入不过是拆开的字符「8」和「3」。

Agent拿线性探针逐层扫了一遍，发现到第4层，神经网络已经把零散字符拼成了真正的数字。

代码层于是通过探针从第4层读出数值82.6，在Python里做完比大小和循环更新，再写回网络，神经表征与符号计算就此打通。

回到开头那一幕：已经训好的DeepSeek-V4.1-Flash和Qwen3-8B，是怎么靠写代码原地完成进化的。

团队把它在243道数学题上的做题轨迹，连同最深7层的内部激活状态，一并交给DeepSeek-V4.1-Flash自己。

摸清犯错规律之后，DeepSeek亲手写出了探针重采样程序probe_and_resample，杀进AIME与HMMT 2026考场！

在相同的token预算下，三组对照结果分明：

• 标准单次长思维链推理一路算到底，准确率63.9%。

• 只按长度重采样的一组，单纯按字数盲目重算，准确率65.4%。

• DeepSeek自写探针那一组实时「读脑」、提前止损，准确率升到71.0%，高出7个百分点以上。

一个权重都没改，分数涨了7分，靠的就是DeepSeek给自己写的这段监控代码。

过去大模型思路一旦走偏，常常要白算几万个token才发觉全错。

如今思维链每到检查点，程序就自动提取最深7层的激活特征打分，一旦测出轨迹偏离正常分布，一旦测出轨迹跑偏，程序当场就回滚重算。rollback！

Qwen3-8B那边也没做任何梯度更新，自己试了15000个Python调度策略；在AIME和HMMT 2026上，准确率从58.5%抬到65.5%，同样多出7个百分点。

省下算力还能反超，靠的是Qwen3-8B专门写的那段代码：32条并发轨迹每跑2048个token就查一次，凑满8条算出答案、且头名票数超过第二名2倍，就全员提前收工。

那些跑到12288个token还没算完、重复率突破0.35的「死循环复读」轨迹，会当场被砍掉重启，投票权重也一并下调。

四组实验摆在一起，递归自我改进这条路——通往超级人工智能（ASI）最关键的一步——被清楚地画了出来。

模型究竟卡在哪个算子、在哪段长度上崩掉，人类不用再盯着Loss曲线一点点猜；AI能读懂自己的内部状态，当场写几行Python，就能给自己的大脑动手术。

从「人类调权重」走到「AI写架构」，大模型已经亲手接管自己的神经网络。AI真正自我进化的时代，已经来了。

参考资料：