DeepSeek-V4.1-Flash自我改写架构：数学竞赛准确率涨7分
Al亲手改写Transformer架构！DeepSeek自我改造暴涨7分
新智元报道
新智元报道
AI盯着自己的“脑子”动刀改写，这一幕真的发生了。
DeepSeek-V4.1-Flash拥有7630亿参数，它直接调取了自己做数学题时最深7层的内部激活状态。这不过是今天刷屏AI圈的DoubleAI重磅研究中的一部分。
这家AI机构由Mobileye创始人Amnon Shashua创办，此次首次提出名为“机制干预”的新范式，对传统深度学习形成颠覆。
先说清楚这套“机制干预”是怎么运作的，再看实验细节。
-
第一步找瓶颈：Agent实时读取每层网络的梯度信号，揪出靠调权重学不会的短板。
-
第二步写代码：Agent现场生成几十个候选Python函数，实测哪段代码最能帮模型降误差。
-
第三步热插拔：把胜出代码挂在初始值为0的门控后面并入网络，由后续训练自动把门控推开。
第一组实验从语言模型预训练切入，验证训练中途塞入Python代码能否帮模型更快压低预测误差。
在12层模型nanochat的1500步训练中，Agent先后三次出手塞入Python代码层。
每次代码一并入，模型预测误差（bpb）就跟着连降三次。
训练到1500步时，加了代码层的模型拿到的效果，等于凭空多跑了15%的训练进度。
对照组那边，把代码逻辑打乱之后，训练曲线和常规训练完全重合。这说明多出来的分数，全靠AI写出来的代码逻辑。
网络有12层，Agent要判断该往哪一层塞代码，用的办法叫「幽灵梯度」。
它的做法是先假设在某层后面挂一个新模块，再测算往哪个方向推能让误差掉得最快。
常规噪声被滤掉以后，第2层和第4层这两块需求集中的热区就露了出来。
瓶颈层定下来，Agent一口气写出几十个候选函数，放到单批数据上逐个实测，看谁最贴合第2层的梯度方向。
得分最高的那个函数，被挂到初始值为0的门控后面，再并进网络。g
刚插进去的时候门控输出是0，原来的网络一点没受影响。
可100步不到，梯度下降就发现这段代码确实能压误差，门控自己被调到了0.58。
按这套流程走，Agent在第1000步往最后一层塞进了一个「错误记忆层」，效果最让人意外。
这段代码只有20行，之所以让人吃惊，是因为它推翻了「前向只负责推理、改错得靠反向」的老规矩。
模型不用等反向传播，一边往后读一边就能核对前面的答案，当场把预测误差算出来，定位到64个最相似的出错位置。
然后它直接在内部走一步梯度下降，一次前向传播里就把错给纠了。
Python代码层这么好用，那从训练第0步就把它装进模型，行不行？
第二组实验给出的结果，却完全反着来。
团队把模型的记忆窗口卡在500词以内，然后考它能不能找回几千词之前赋过的变量。
同时Agent写了一个能跨窗口查字典的「代码缓存层」，按三种时机装进模型：
-
常规训练基线：超出500词窗口的变量全忘了，召回率是0%。
-
第0步天生自带组：开训之前就装好代码缓存层，召回率停在55%。
-
第1200步半路插入组：先练1200步，再把同一个缓存层塞进去，召回率冲到72%！
同样一个Python代码层，训到半路才插，居然比天生自带高出整整17个百分点。
原因就藏在这个反转里：开训头一天若把现成的代码捷径摆到面前，神经网络便容易「偷懒」，转头去靠外部字典，不肯下功夫打磨底层表征。
反过来做才有效——先逼模型在500词限制下把基础表征练扎实，等它撞上天花板，再把Python代码接上去，神经权重和符号代码的合力才能拉满。
「半路插入」的优势坐实之后，第三组实验把矛头对准30种经典计算机算法，看连塞10层代码究竟能带来什么质变。传统Transformer学算法有一处致命盲区：测试一旦撞上训练时跳过的「中间长度」，准确率就会崩盘。
下图里，常规训练（灰线）一碰到没见过的中间长度，瞬间跌到0%；接入代码层后（橙线）则始终稳在高位。
总分层面，常规模型就算训满20000步，30种算法的总准确率也只到55%。
第10000步时，Agent每隔500步出手一次，连续塞进10个Python代码层，帮模型记住「哪些节点访问过」「当前最小值」这类关键状态。
只过了5000步，原本考0分的广度优先搜索就干到97%，拓扑排序冲到93%，30种算法总准确率抬升29个百分点，达到84%。
涨分这么猛，靠的是神经网络与Python代码在内部打出精妙配合。譬如代码层要比数字大小，可原始输入只是拆散的字符「8」和「3」。
Agent拿线性探针逐层检测，发现到第4层时，神经网络已经把零散字符拼成了真正的数字。
代码层随即用探针从第4层读出数值82.6，在Python里做完比大小和循环更新，再写回网络，神经表征与符号计算就此彻底打通。
视线拉回开篇那一幕：已经训好的DeepSeek-V4.1-Flash与Qwen3-8B，是怎么靠写代码原地进化的。
团队把DeepSeek-V4.1-Flash在243道数学题上的做题轨迹，连同最深7层的内部激活状态，一并交给它自己。
DeepSeek分析完犯错规律后，亲手写出探针重采样程序probe_and_resample，杀进AIME与HMMT 2026考场！
花掉同样的token预算，三组对照结果一目了然。
-
标准单次长思维链推理一条道走到黑，准确率63.9%；仅按长度重采样的那组只按字数盲目重算，准确率仅65.4%。
-
DeepSeek自写探针组实时「读脑」、提前止损，准确率冲到71.0%，涨了超过7个百分点。半个权重都没改就能多拿7分，靠的全是DeepSeek给自己写的这段监控代码。
过去，大模型要是思路跑偏，常常得把几万个token全算完，才发现整条路都错了。
如今不一样了：思维链每到检查点，程序就会自动抽取最深7层的激活特征打分；一旦发现轨迹偏离正常分布，立刻回滚重算。rollback！
Qwen3-8B这边，在零梯度更新的条件下，自主试了15000个Python调度策略；AIME和HMMT 2026两场考试上，准确率从58.5%提高到65.5%，同样涨了7个百分点。
算力省下来、成绩还能反超，靠的是Qwen3-8B专门写的那段代码。
它让32条并发轨迹每跑2048个token就检查一次；只要有8条算出答案，且头名票数超过第二名的2倍，就提前收工，全员省算力。
反过来，跑满12288个token还没算完、重复率超过0.35的「死循环复读」轨迹，会被当场砍掉、重启，并降低它的投票权重。
四组实验放在一起，指向的是通往超级人工智能（ASI）最关键的一步：递归自我改进。
模型究竟卡在哪个算子、在哪个长度上崩掉，不用再靠人盯着Loss曲线一点点猜。AI能读懂自己的内部状态，当场写几行Python，就能给自己的大脑动手术。
从「人类调权重」走到「AI写架构」，大模型已经亲手接管自己的神经网络。AI真正自我进化的时代，已经来了。
参考资料：
