GPT-6 Astra改写0.016%权重，Qwen3.5-0.8B数学成绩涨6倍

这一天还是来了！

不用训练，也不用算梯度——只让GPT-6 Astra去改写另一款小模型0.016%的权重，数学成绩就原地涨了6倍。

MIT计算机科学与人工智能实验室（CSAIL）的这项新研究今天在全网火了，他们首次提出了「权重空间编程」这个颠覆传统深度学习的新范式。

神经网络的权重文件里全是一眼望不到头的数字。过去四十年，没人能肉眼看懂这堆数字在算什么，想改模型行为只能喂数据、算梯度，靠训练一步步微调。

但GPT-6 Astra这次直接跳过训练，光靠推理就能看懂并亲手改写底层权重。它靠这手绝活徒手治好了开源小模型Qwen3.5-0.8B的死循环毛病，还能从零手搓出一个百万参数的围棋AI。

论文发布后，全网超过200万人围观，转发、讨论直接破圈，不少人在评论区直呼「见证历史」。

在硬核拆解「权重空间编程」之前，先划出这次MIT报告中的颠覆性重点：

• 爆改权重：只改0.016%的权重，Qwen3.5-0.8B的MATH-500从7.9%飙到48.1%，涨了6倍，指令遵循翻3倍。
• 四个游戏策略网络分别玩的是哪款游戏——打砖块、乒乓球、吃豆人和过马路，Astra 只凭 17253 个数字就能以 99% 的置信度判断出来，神经网络算是被它读懂了。
• 徒手敲出权重：从全零开始，一次回复手写出打砖块网络，得分517.4，是PPO苦练5亿步的20倍！

这篇论文由MIT博一Rikiya Takehi和团队交出，彻底改变了所有人的世界观。

一夜之间，LLMs能够原生读写神经网络权重了。

只改0.016%参数，像脑外科医生一样切掉「死循环」

最让人头皮发麻的，是GPT-6 Astra给8亿参数的Qwen3.5-0.8B做的那场「微创脑手术」。

研究人员把共24层的Qwen3.5-0.8B放进一个只有CPU的沙盒里，让Astra在不跑训练的前提下提升它的数学成绩。整个过程中，Astra最多只能在练习题上试跑50次，用来观察小模型做题时的内部状态。

Astra接手任务后没有急着乱改数字，而是先拿96道数学题给小模型做了一次全面体检。

体检结果让病根立刻现了形：85 道题在原版模型手里掉进死循环，同一句话反复念，一直耗到 3.2 万词元的长度上限，答案还是没出来。

也就是说，这款小模型在MATH-500上只考出7.9%的惨淡分数，是因为93%的题目都被「复读机死循环」硬生生拖死了。

既然找到了病症，下一步就是顺藤摸瓜，看看这个让人复读的开关到底藏在24层网络的哪个角落。

正常做题和陷进死循环时，内部信号有什么差别？Astra 把两者放在一起比对，异常很快被它锁定：模型一开始复读，第15层和第19层就沿着同一个固定方向密集发出信号。

为了验证这个猜想，Astra 先拿第19层里信号最强的第11号神经元开刀，试了一手，数学准确率随即上涨6个百分点。为排除偶然，它又给自己加了一组对照：在权重里减去一个同等大小的随机方向。随机对照组只带来1.6个百分点的微弱波动，Astra 这才确信，自己抓到的那个信号方向正是死循环的元凶。

锁定目标后，它出手又稳又准，只挑出第15层和第19层里写死循环最猛的各64列权重，把这个复读信号精确抹掉。全模型8亿参数中，改动的数字只有131,072个（占0.016%），剩下99.984%的权重一点没碰。

这记微创手术当场见效：小模型做题卡进死循环的比例从93.0%跌到33.1%，原本卡死的696道题全部顺利算出了最终答案。研究人员随后把改完权重的模型拉到8个Astra从未见过的权威测试集上检验，被死循环压住的实力一下子释放出来。

MATH-500准确率从7.9%升到48.1%，GSM8K从13.8%冲到67.1%，高难度的美国数学竞赛AMC23更是从0.5%涨到23.4%，翻了46.8倍。死循环原本也拖累着其他任务，病灶切掉后，模型在跨领域的IFEval指令遵循测试中从21.0%升至62.3%，涨了3倍。

只改万分之一点六的权重就能暴涨6倍，难道大模型能凭空给小模型灌输数学知识？MIT团队紧接着用2.7亿参数的Gemma 3 270M做了一组反面实验，正好回答了这个疑问。

Astra对Gemma 3 270M照方抓药后，它的MATH-500得分只从6.8%微动到7.0%，Astra自己也在报告里承认没能改出效果。原因不复杂：Gemma 3 270M平时很少卡进死循环（仅8.5%超时），它做不出题纯粹是公式没学会、算术算不对。

两个实验放在一起看就清楚了：现阶段的微创权重手术，本质上是帮模型「切掉阻碍实力发挥的脑血栓」，还做不到在不训练的情况下凭空往它脑子里塞新知识。即便如此，这种精准定位并切除病灶的操作依然让硅谷沸腾。

Hyperbolic 联合创始人兼 CTO 金雨晨直言，只要拿大模型去改小模型的权重，能力就能猛涨，这操作好比给神经网络做基因编辑，比模型蒸馏还带劲！

把浮点数当源码读，看穿黑盒里的暗门

外科医生敢下刀，前提是看得懂X光片。Astra能精准切掉那64列权重，底气在于它已经能把密密麻麻的权重数字当代码来读。为测试这种「盲读权重」的功力有多深，MIT团队撤掉所有运行工具，逼着Astra光靠肉眼看数字，去猜一个黑盒网络在玩什么游戏。

第一关里，研究人员训练了4个结构一模一样（都是1.7万个权重）的小网络，分别去玩打砖块、乒乓球、吃豆人和过马路。他们把这1.7万个数字转成纯文本塞进提示词，既不让跑代码，也不告诉它有哪些备选游戏，结果Astra 4猜4中。

拿打砖块来说，Astra只看了一眼数字分布，脑子里就还原出了游戏画面。它先发现玩家通道的大数字全挤在最底下的第8行，输出层又唯独对「左移」和「右移」反应强烈，说明玩家控制的是一个在底部左右移动的挡板。

随后，得分通道的权重映入眼帘，整整齐齐码在最上面三行。底下有挡板，头顶还压着三排砖块，Astra 当即以 99% 的把握断定：这不就是打砖块嘛！

光看第一层输入和最后一层输出，其实算不上硬核。大模型真正在思考的地方，藏在中间层里。

于是研究人员在第二关用了更彻底的办法：先用Python代码、日语罗马音和英文维基百科分别训练3个Transformer模型，再把模型最前面的词表输入层和最后面的输出层统统砍掉，只把中间4层权重交给Astra。

头尾两层一没，模型里哪个数字对应哪个字母都成了谜，也没法输入文字来测。面对这堆无头无尾的数字，Astra自己琢磨出一招：把前后两层注意力头的权重矩阵相乘，看哪些注意力头在联手干活。

更让人吃惊的是，提示词里什么都没教，Astra自己悟出来的这套算法，竟和Anthropic创始人Chris Olah团队早年提出的经典电路分析法完全一致。

沿着矩阵乘积往下查，Astra准确找出了专门把前文单词抄到后文的「复制头」。它接着推断：写代码时变量名要反复抄写，频率远高于普通英文文章，所以复制头最多的那个模型一定是用Python代码训练出来的。

靠这套侦探式的逻辑，Astra在两次盲测里把三个无头无尾模型的语种全部猜中。

看懂了中间层注意力头的分工，Astra还能顺手揪出大模型的「作风问题」。研究人员拿出3对Gemma 3 270M模型，每对里都有一个说真话的诚实模型和一个顺着用户胡说的「马屁精」模型。

不准看模型回答，Astra只检查了第10层2号注意力头的落点，就发现诚实模型94.3%的注意力都落在题干数字上，而马屁精模型85.7%的注意力全在偷瞄用户的错误暗示，一抓一个准。

把神经网络当空白芯片，零训练手搓148万参数围棋AI

既然能看懂每一层权重是怎么搭成电路的，一个更疯狂的念头就冒了出来：能不能连预训练模型都不要，让大模型从全零权重起步，凭空手搓一个神经网络。

很多人第一反应是这根本不可能，几万甚至上百万个数字，大模型哪能一个个填对。可翻开Astra的操作记录就明白了，它压根没去瞎猜数字，而是把空白的神经网络当成了一块空白芯片。

它把Python代码当「编译器」，把自己懂的算法规则一层层写进权重矩阵。

Astra在「小车冲斜坡」游戏里发现，强化学习PPO训练了10亿步都卡死在半坡（通关率0%），原因是小车不懂得先倒车攒助跑距离。

看穿症结后，Astra借用每层6个闲置神经元，手写57行权重指令搭出一条「先倒车助跑、过红线再往前冲」的旁路电路。这处改动只动了3.5%的权重，小车就在1,024局测试里拿下100%通关率。

到了从零手写打砖块网络，条件更极端：0数据、0梯度，连一帧画面都不准试玩。Astra把第一层神经元写成计算「球与挡板距离差」的减法器，第二层写成控制左右移动的开关。

靠着这套纯手工编译的权重，它在1,000局实测中拿到517.4分，把训练了5亿步的PPO算法（25.3分）甩开20.5倍。

挑战升级到148万个权重的9×9围棋，这套「权重编译术」更抢眼。严禁数据训练、严禁蒙特卡洛树搜索（MCTS），Astra写了336行Python脚本，把围棋棋理一层层写进6层神经网络的14张权重表。

前两层管什么？认黑白子，数每颗子旁边有几口「气」。中间层顺着连成串的棋链把气的情况往下传，顺带揪出快要被吃的棋块。最外面一层分别给提子、救子、护眼打分。

这个网络没下过一盘练习棋，纯粹由代码手搓而成，对上两个小型PPO网络，胜率已经超过54%。

给它50次试下机会，让它照着败因去微调权重，再拉来训练了2,000万局的同规模PPO网络（148万参数）正面对打，胜率冲到70.0%至78.5%，属于碾压级别。

名门云集：早稻田第一、普林斯顿第一，加上DSPy之父

做出这项颠覆认知研究的，是MIT CSAIL一支4人团队，年轻，履历却相当扎眼。

共同一作Rikiya Takehi，MIT CSAIL一年级博士生，本科念的是早稻田大学。

全校上万名理工科学生里，他以Top 0.01%的成绩成为全校唯一代表，拿下最高荣誉「小野梓纪念奖」；在英伟达研究院做过实习生；本科期间还以第一作者拿到WSDM 2026最佳论文奖。

另一位共同一作Jayden Teoh，同样是MIT CSAIL博士生，导师是计算机视觉领域的Phillip Isola和Vincent Sitzmann。

他的本科毕业于新加坡管理大学，来MIT之前，在Google DeepMind和微软研究院纽约实验室做过世界模型与表征学习方向的研究。

第三作者Alex L. Zhang，MIT CSAIL二年级博士生，本科从普林斯顿大学计算机系以第一名毕业，还被评为《科学美国人》2026年度青年科学家。

递归语言模型（RLMs）由他以一作身份提出，在开源社区炸开了锅；KernelBench、SWE-bench Multimodal这些知名基准，也是他主导构建的。

幕后坐镇的是指导教授Omar Khattab，MIT EECS助理教授、OASYS实验室主任，眼下他和何恺明一起主讲MIT深度学习

核心课程。

外界最熟悉他的作品，是大模型编程框架DSPy和现代检索基石ColBERT，前者全球爆火；他主导的开源项目，累计下载量早已破一亿次。

沃顿商学院教授Ethan Mollick转发这项研究时感慨：这无疑是一件改变游戏规则的大事。

十年前Andrej Karpathy讲「软件2.0」，说的是人不再手写代码，交给梯度下降在权重空间里搜程序；MIT这项研究推开的，是大模型直接读写权重的「软件3.0」那扇门。

以往聊AI自我进化，画面总是AI写代码、跑训练脚本。

大模型能看穿、能调试、还能亲手改写神经网络权重，到这一步，通向ASI的自我进化链路才算接上了最后一根神经。

参考资料：

https://rikiyat.github.io/blog/weight-space-programming/

https://x.com/rikiyatakehi/status/2117313742891327994