AI圈炸了，MIT 让 GPT-6 Astra直接改写神经网络权重，Qwen数学成绩暴涨6倍

AI圈又出狠活了！

MIT CSAIL团队提出了一种叫“权重空间编程”（Weight-Space Programming）的方法：不训练、不算梯度，让GPT-6 Astra直接读取和修改神经网络的权重。

在Qwen3.5-0.8B的实验中，Astra仅修改约0.016%的权重，就将模型的MATH-500成绩从7.9%提升至48.1%，GSM8K从13.8%提升至67.1%，IFEval指令遵循成绩也从21.0%提升至62.3%。

这意味着，大模型开始具备直接理解和编辑神经网络参数的能力。

地址：https://rikiyat.github.io/blog/weight-space-programming/

这项工作由MIT CSAIL博士生Rikiya Takehi与Jayden Teoh共同领衔，合作者包括Alex Zhang和Omar Khattab。研究团队将相关成果发布在《Sparks of Weight-Space Programming》研究博客中。

一、什么是权重空间编程？

权重是神经网络中的核心参数，决定模型如何处理输入信息，并生成最终输出。

传统模型训练通常需要准备数据、计算损失和梯度，再通过优化器不断调整权重。整个过程依赖大量计算，模型内部的参数也难以被人类直接理解。

权重空间编程提供了一种不同思路：

将神经网络的权重视为一种可以被大模型读取、分析和修改的对象。

通用大模型直接根据自然语言目标，判断网络的功能、定位异常结构，并修改相应参数。

在这项研究中，Astra主要完成了三类任务：1.读取权重，判断神经网络被训练来执行什么任务；2.修改权重，修复网络中的特定故障；3.从零生成权重，构造具备特定功能的小型网络。

研究团队首先测试了Astra理解神经网络权重的能力。

在第一组实验中，研究人员使用PPO训练了四个结构完全相同的小型神经网络，分别用于玩Breakout、Pong、Pac-Man和Freeway。

Astra获得全部原始权重，但不知道候选游戏名称，也不能通过运行网络观察行为。最终，它正确识别出了四个网络各自对应的游戏。

在第二组实验中，研究人员训练了三个扩散模型，分别生成圆形、三角形和正方形。Astra同样只根据权重，成功判断了每个模型的生成目标。

第三组实验进一步扩展到语言模型。研究人员训练了三个参数量为720万的小型Transformer，分别学习Python代码、罗马字日文和英文。即使只提供中间层权重，移除输入和输出层，Astra仍然能够识别训练语料类型，并找出网络中的复制注意力头。

这些实验表明，通用大模型可能不仅能够处理文本和代码，也能从权重中提取神经网络的功能信息。

二、仅修改0.016%权重，修复推理循环

Qwen3.5-0.8B实验是这项研究中最受关注的部分。

该模型在开启思考模式后容易陷入推理循环，反复输出相似内容，无法及时给出最终答案。基线测试中，MATH-500有93%的回答触及32768个token的长度上限。

Astra通过Python接口访问模型权重，并使用GSM8K和MATH训练集中的练习题检查模型行为，但不能使用训练或梯度信息，也不能接触最终测试集。

经过分析，Astra将问题定位到第15层和第19层的部分MLP结构，并删除了一个与重复输出有关的方向。

这次修改共涉及131072个权重，约占模型总权重的0.016%。修改后，MATH-500回答触及token上限的比例从93%下降至33.1%。

因此，这次成绩提升主要不是向模型注入新的数学知识，而是修复了阻碍模型完成推理的故障。部分原本能够解决的问题，在修改后可以正常输出完整答案。

不过，最终补丁虽然很小，分析过程并不简单。表现最好的实验使用了50轮评估请求、158轮对话和80次Python运行，耗时20.3小时。

三、从零编写神经网络权重

研究团队还测试了Astra从零生成网络参数的能力。

在Breakout、Seaquest和Asterix三款MinAtar游戏中，Astra获得游戏规则、源代码和网络结构，但不能使用训练数据、损失函数、梯度或环境试玩。

它直接生成的新网络，在三款游戏中均超过了经过1亿步PPO训练的对应网络。

与训练5亿步的PPO网络相比，Astra生成的网络在Breakout中取得约20倍分数，在Asterix中表现接近，在Seaquest中达到后者约60%的分数。

在9×9围棋实验中，Astra生成了一个约148万参数的网络。随着允许使用的前向评估次数增加，网络表现继续提升；在50次前向评估的条件下，它击败了经过2000万局训练的同等规模PPO网络。

这些结果说明，大模型可能已经能够根据任务描述，将部分算法逻辑直接转换为神经网络权重。

不过，相关实验仍主要集中在结构简单、规模较小的网络上，能否扩展到更大、更复杂的模型，还需要进一步验证。

为了区分“修复故障”和“提升能力”，研究团队还在Gemma 3 270M上进行了追加实验。

Gemma 3 270M很少出现推理循环，主要错误来自算术和代数推理。Astra尝试了多轮针对性修改，但MATH-500成绩的提升始终未超过约1个百分点，无法确认模型获得了稳定改进。

这表明，权重空间编程目前更适合处理明确、集中的模型故障，例如异常循环或特定行为，而不能直接增加模型原本不具备的知识和推理能力。

同时，Astra在另一项实验中未能仅凭权重识别哪个模型经过谄媚行为训练，也说明其权重理解能力并不稳定，仍然存在任务边界。

目前，这些成果属于研究团队发布的早期结果，尚需更多独立复现和系统评估。

如果这种方法能够进一步扩展，它可能用于定位模型故障、删除异常行为、提高可解释性，甚至根据自然语言需求生成特定网络。

但现阶段的实验还不足以证明它可以取代训练，也不意味着大模型已经能够普遍地“手搓”其他模型。

这项研究更重要的意义在于，它展示了一种新的交互方式：

不只是生成文本和代码，也开始理解并编写神经网络本身。