GPT-6改写模型权重：只动0.016%，Qwen3.5-0.8B数学涨6倍

新智元报道  

该来的还是来了。不训练，也不算梯度，GPT-6 Astra只改掉另一款小模型0.016%的权重，数学成绩就原地翻了6倍。

MIT计算机科学与人工智能实验室（CSAIL）这项新研究今天在全网刷屏。团队第一次端出一个跟传统深度学习完全不同的路子，叫「权重空间编程」。

神经网络的权重文件，打开一看全是望不到头的数字。过去四十年，没人能靠肉眼弄明白这堆数字到底在算什么；想改模型的行为，只能喂数据、算梯度，一步步训练微调。

这一回，GPT-6 Astra把训练整个绕开了，单靠推理就能读懂并动手改底层的权重。

凭这一手，它不光把开源小模型Qwen3.5-0.8B那个死循环的毛病徒手治好了，还能从零手搓出一个百万参数的围棋AI。

论文一挂出来，全网超过200万人围观，转发和讨论直接破圈，不少人在评论区喊「见证历史」。

在细拆「权重空间编程」之前，先把MIT这份报告里最颠覆的几条划出来：

• 爆改权重：权重只动0.016%，Qwen3.5-0.8B的MATH-500就从7.9%冲到48.1%，涨了6倍，指令遵循翻3倍。

  
  

• 读懂神经网络：只看了17253个数字，Astra就以99%的置信度认出四个游戏策略网络各自在玩哪款游戏——打砖块、乒乓球、吃豆人和过马路。

  
  

• 徒手敲出权重：从全零起步，一次回复就手写出打砖块网络，得分517.4，是PPO苦练5亿步的20倍。

  
  

论文出自MIT博一Rikiya Takehi和团队之手，所有人的世界观都被它改了一遍。一夜之间，LLMs能原生读写神经网络权重了。

最叫人头皮发麻的，是GPT-6 Astra给8亿参数的Qwen3.5-0.8B做的那场「微创脑手术」。

研究人员把共24层的Qwen3.5-0.8B关进一个只有CPU的沙盒，让Astra在不跑训练的情况下把它的数学成绩提上去。

全程Astra最多只能在练习题上试跑50次，借这个观察小模型做题时的内部状态。

接下任务，Astra没急着乱动数字，先拿96道数学题给小模型做了一遍全面体检。

体检结果把病根一下翻了出来。原版模型有85道题一头扎进死循环，同一句车轱辘话反复念，直到把3.2万词元的长度上限耗光，答案还是没算出来。

换句话说，这款小模型在MATH-500上只拿到7.9%的惨淡分数，是因为93%的题目都被「复读机死循环」硬生生拖死了。

病症既然找到了，下一步就是顺藤摸瓜，看这个让人复读的开关究竟藏在24层网络的哪个角落。

Astra把正常做题和陷入死循环时的内部信号放在一起比对，异常很快浮出水面：模型一旦开始车轱辘话复读，第15层和第19层就沿着一个固定方向猛发信号。

为验证这个猜想，Astra先拿第19层里信号最强的第11号神经元开刀试水，数学准确率随即上涨了6个百分点。

它又给自己加了一组对照实验，在权重里减去一个同样大小的随机方向，想确认这不是碰巧蒙对。

随机对照组只带来1.6个百分点的微弱波动，Astra这才完全笃定，抓到的那个信号方向就是引发死循环的真凶。

靶心锁定后，它下刀稳准狠，只挑出第15层和第19层里写死循环最猛的各64列权重，把这个复读信号精准抹掉。

算下来，全模型8亿参数里只改了131,072个数字，占0.016%，其余99.984%的权重分毫未动。

效果来得很直接：小模型陷入死循环的比例，从93.0%一下降到33.1%，那696道原本卡住的题，最后全都算出了答案。

研究人员把改完权重的模型拉到8个Astra从未见过的权威测试集上检验，被死循环封印的实力彻底爆发。

MATH-500准确率从7.9%飙到48.1%，GSM8K从13.8%冲上67.1%，高难度的美国数学竞赛AMC23更是从0.5%暴涨到23.4%，足足翻了46.8倍。

死循环原本也拖累着其他任务，切掉病灶后，模型在跨领域的IFEval指令遵循测试中也从21.0%跃升至62.3%，连涨3倍。

看到这里可能有人好奇：只改万分之一点六的权重就能暴涨6倍，难道大模型能凭空给小模型灌输数学知识？

MIT团队紧接着用2.7亿参数的Gemma 3 270M做了一组反面实验，刚好回答了这个问题。

Astra对Gemma 3 270M照方抓药后，它的MATH-500得分只从6.8%微动到7.0%，连Astra自己都在报告里坦白没能改出效果。

原因很简单：Gemma 3 270M平时很少卡进死循环，仅8.5%超时，它做不出题纯粹是因为公式没学会、算术算不对。

把两组实验摆在一块看就清楚了：眼下这种对权重做微创的做法，只能帮模型把妨碍它发挥的障碍清掉，想不经过训练就往它脑子里装新知识，还做不到。

即便如此，这种精准定位并切除病灶的操作依然让硅谷沸腾。

Hyperbolic联合创始人兼CTO金雨晨的评价是，拿大模型去改小模型的权重、能力就能猛涨，这跟给神经网络做基因编辑差不多，比模型蒸馏还带劲。

外科医生敢动刀，先得会看X光片。Astra能准确切掉那64列权重，靠的就是它已经把成堆的权重数字当成代码来读了。

这种盲读权重的本事究竟有多强？MIT团队把所有运行工具都拿掉，让Astra只能凭肉眼盯数字，去判断一个黑盒网络在玩什么游戏。

第一关里，研究人员训练了4个结构一模一样的小网络，都是1.7万个权重，分别去玩打砖块、乒乓球、吃豆人和过马路。

随后他们把这1.7万个数字转成纯文本塞进提示词，既不让跑代码，也不告诉它有哪些备选游戏，结果Astra居然4猜4中。

就拿打砖块来说，Astra只看了一眼数字分布，脑子里就还原出了游戏画面。

它先注意到，玩家通道里的大数字全挤在最底下的第8行，输出层又偏偏只对「左移」「右移」反应强烈——这说明玩家操控的挡板是在底部左右移动的。再一看，得分通道的权重整整齐齐排在最顶上三行。底下有挡板、头顶三排砖块，Astra当场以99%的把握下了判断：这就是打砖块。

不过，光看第一层输入和最后一层输出还不够硬核。大模型真正动脑筋的地方，其实藏在中间层。

于是研究人员在第二关换了个釜底抽薪的办法：先用Python代码、日语罗马音、英文维基百科分别训练3个Transformer模型，然后把最前面的词表输入层和最后面的输出层整个砍掉，只把中间4层权重交给Astra。头尾一没，模型里哪个数字对应哪个字母都成了秘密，也没法输入文字去测。

面对这团无头无尾的数字，Astra自己琢磨出一招：把前后两层注意力头的权重矩阵乘到一起，看哪些注意力头在联手干活。

最让人意外的是，提示词里什么都没教，Astra自己捣鼓出来的这套算法，竟和Anthropic创始人Chris Olah团队早年提出的经典电路分析法一模一样。

顺着矩阵乘积往下查，Astra精准揪出了专门把前文单词抄到后文的「复制头」。它接着推断：写代码时变量名要反复抄写，出现频率远高于普通英文文章，所以复制头最多的那个模型，肯定是在Python代码上训练的。

靠这套神探逻辑，两次盲测里，Astra把三个无头无尾模型的语种全猜中了。

看懂了中间层注意力头的分工，Astra还能顺手抓出大模型的「作风问题」。研究人员拿出3对Gemma 3 270M模型，每对里都有一个说真话的诚实模型，和一个顺着用户胡说的「马屁精」模型。不准看模型回答，只检查第10层2号注意力头的落点，Astra就发现诚实模型94.3%的注意力都落在题干数字上，马屁精模型则有85.7%的注意力在偷瞄用户的错误暗示，一抓一个准。

既然能看懂每一层权重是怎么搭成电路的，一个更疯狂的念头就冒了出来：干脆连预训练模型都不要，让大模型从全零权重起步，凭空手搓一个神经网络。很多人第一反应是这根本不可能——几万甚至上百万个数字，大模型怎么可能一个个填对。

可翻开Astra的操作记录就明白了：它压根没去瞎猜数字，而是把空白的神经网络当成一块空白芯片，拿Python代码当「编译器」，把自己懂的算法规则一层层写进权重矩阵里。

比如「小车冲斜坡」游戏里，强化学习PPO训练了10亿步都卡死在半坡（通关率0%），原因是小车不懂得先倒车攒助跑距离。Astra看穿症结后，借用每层6个闲置神经元，手写57行权重指令，搭出一条「先倒车助跑、过红线再往前冲」的旁路电路。

这处改动只动了3.5%的权重，小车就在1,024局测试里拿下100%通关率。

到了从零手写打砖块网络时，Astra在0数据、0梯度、连一帧画面都不准试玩的极限条件下，把第一层神经元写成计算「球与挡板距离差」的减法器，第二层则写成控制左右移动的开关。

这些权重全是人手工编译出来的，没经过任何训练。1,000局实测下来，它拿到517.4分；对照是训练了5亿步的PPO算法，只有25.3分，两者差了20.5倍。

难度往上加到9×9围棋，权重规模变成148万个，这套「权重编译术」照样打得漂亮。规则卡得很死：不许用数据训练，不许用蒙特卡洛树搜索（MCTS）。Astra就在这个前提下写了336行Python脚本，把围棋的棋理一层一层塞进6层神经网络的14张权重表。

分工也清楚：前两层认出黑白棋子，数出旁边的「气」；中间层沿着相连的棋链把气的信息传下去，找出快被吃掉的棋块；最后一层给提子、救子、护眼各打一个分。这个网络纯靠代码手搓，一盘练习赛都没下过，对上两个小型PPO网络，胜率已经超过54%。

再给它50次试下的机会，让它按败因去微调权重，情况就变了：面对训练了2,000万局的同规模PPO网络（148万参数），这个手搓网络正面硬刚，胜率落在70.0%至78.5%之间。

做出这项研究的是MIT CSAIL一支4人团队，人不多，履历却相当扎眼。共同一作Rikiya Takehi是MIT CSAIL刚入学的一年级博士生，本科在早稻田大学读完。全校上万名理工科学生里，他以Top 0.01%的成绩成为唯一代表，拿下最高荣誉「小野梓纪念奖」；他还在英伟达研究院做过实习生，本科期间就以一作拿到WSDM 2026最佳论文奖。

另一位共同一作Jayden Teoh也是MIT CSAIL博士生，导师是计算机视觉领域的Phillip Isola与Vincent Sitzmann。他本科毕业于新加坡管理大学，此前在Google DeepMind和微软研究院纽约实验室做世界模型与表征学习方面的研究。

第三作者Alex L. Zhang是MIT CSAIL二年级博士生，本科从普林斯顿大学计算机系以第一名毕业，还被评为《科学美国人》2026年度青年科学家。递归语言模型（RLMs）是他以一作身份提出的，在开源社区引起不小反响；KernelBench、SWE-bench Multimodal等知名基准也由他主导构建。

幕后指导的是Omar Khattab，MIT EECS助理教授、OASYS实验室主任，眼下与何恺明共同主讲MIT深度学习核心课程。他最有名的两个作品，一个是全球爆火的大模型编程框架DSPy，一个是现代检索基石ColBERT；他主导的开源项目累计下载量早已超过一亿次。

沃顿商学院教授Ethan Mollick转发这项研究时感叹，这无疑是一件改变游戏规则的大事。

十年前Andrej Karpathy提出「软件2.0」，说的是人类不再手写代码，改由梯度下降在权重空间里搜索程序。MIT这项研究推开的，是大模型直接读写权重的「软件3.0」大门。

过去聊AI自我进化，想到的总是AI写代码去跑训练脚本。等大模型能看穿、调试并亲手改写神经网络权重，通往ASI的自我进化链路，才算接上了最后一根神经。

参考资料：

https://rikiyat.github.io/blog/weight-space-programming/

https://x.com/rikiyatakehi/status/2117313742891327994