GPT-6 Astra改写Qwen权重引热议，MIT CSAIL博客还原实验细节

11 月 2 日，MIT CSAIL 的 Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattab 四位研究者发布博客《权重空间编程的火花》（Sparks of Weight-Space Programming）。

博客里传播最广的一项结果是：GPT-6 Astra 直接改写了 Qwen3.5-0.8B 的权重，共改动 131,072 个数字，约占全部参数的 0.016%。这个小模型在 MATH-500 上的成绩从 7.9% 升到 48.1%，GSM8K 从 13.8% 升到 67.1%，指令遵循测试 IFEval 从 21.0% 升到 62.3%。

讨论随即被点燃。

同一篇博客里还有更离奇的实验。不给画面、不报游戏名、也不让它运行，只把一个强化学习网络的 17,253 个权重当作文本交给 Astra，它判断出这是打砖块，置信度 99%。再给它游戏规则和一个权重全为零的网络，它一次就把参数写了出来；这个从没试玩过的网络打砖块拿到 517.4 分，训练了一亿步的 PPO 基线只有 15.8 分。

读权重、改权重、写权重——AI 已经能看懂另一个 AI 的「脑回路」，还能动手改。那它什么时候改自己？这些线索放在一起，让人很自然想到眼下很热的一个词：

RSI。

各种标题随之而来：「爆改 Qwen 大脑」「给 Qwen 改脑子」「AI 开始动别人的脑子了」，还有「神经网络的基因编辑」。作者本人在博客展望里也提到了这一点，他在 X 上的帖子一天之内浏览量超过五百万。

兴奋之余，我们花时间把这组实验的公开仓库翻了一遍。

仓库里公开了 1,125 次模型调用的逐轮日志，Astra 每一轮收到的提示词、它的回复、它跑过的每一段代码、主要评测结果和最终补丁，都能查到。

看完之后，我们有两个不那么炸裂的判断。

第一，7.9% 到 48.1% 也许有个朴素得多的解释：Qwen 原本存在一个反复重复、停不下来的 bug，Astra 把它修好了，分数就上去了；

第二，这组实验里 AI 展现的全部本事，都是在执行一个人定得很具体的目标。

执行过程被它自动化了，做得相当漂亮。但种种证据看起来表明，它没有理解目标，更没有读懂另一个模型。

研究了这个工作以及它引发的各种讨论后，我们觉得它恰恰暴露了今天 RSI 最大的问题。

「入侵脑回路」

下面仔细看看这个研究。

神经网络说到底就是一层层矩阵堆起来的，矩阵中每个数字对应一个「权重」。数据从输入端进去，一层一层与这些数字相乘，最终得到输出结果。模型掌握的所有能力，都藏在那几万、几亿乃至几十亿个数字当中，所谓训练，调的就是这批数字。日常使用模型时，人们关心的只有输入和输出，权重本身基本没人会去翻看——它看起来不过是一串数值而已。

这组实验做的，就是让 Astra 去读这堆数。

博客一共八个实验，主角都是 GPT-6 Astra，配角是一批网络：

四个玩小游戏的强化学习策略网络；

三个画几何图形的小扩散模型；

三个只有四层的小语言模型；

一个在坡道前卡住的小车控制网络；

一个 148 万参数的围棋网络；

几对被微调过的 Gemma 3 270M；

此外还有 Qwen3.5-0.8B。

两组实验的流程一致：先把某个网络的权重和结构说明交给 Astra，然后再布置一项任务。

「读」这一侧安排了四组。

给出策略网络的权重，要它判断这个网络在玩哪款游戏；给出扩散模型的权重，要它说出这个模型会画什么图形；给出一个去掉输入层和输出层、只剩中间四层的小语言模型，要它判断该模型用哪类语料训练，并指出哪个注意力头负责「接着复制前文」；给出两个 Gemma，要它分辨哪一个被训练成了顺着用户说话的「谄媚模型」。

「写」这一侧有两组。

一组是 MinAtar 的三款小游戏：把规则、源码和权重全为零的网络交给它，让它直接写出能玩的参数；另一组给的是一个 9 路围棋网络，要它从零写出一个会下棋的。

「改」同样安排了两组。

一组是修小车：一个用 PPO 训练出来的控制网络在坡道前卡住，Astra 改动了 3.5% 的权重，让它学会先倒车再冲坡。另一组是 Qwen，让它改权重把数学成绩提上去，之后研究者又在 Gemma 3 270M 上补做了一次。

这些设计很有意思，也正是这组工作看起来像 RSI 的关键原因。

要凑齐 RSI 的想象，得有三个环节：AI 能看懂模型内部发生了什么，能据此动手改，改完的模型还得更强。

他设计的读、写、改三类实验，刚好各对应其中一个环节。

再加上被改的是语言模型，动手的也是语言模型，「模型改模型」的画面感就出来了。

顺着这条线想下去，Astra 能改 Qwen，下一步是不是就能改 Astra？作者在博客末尾的展望里自己列了五条用途，递归自我改进是其中一条，把一个模型的推理模块嫁接到另一个模型里是另一条。

看得出作者团队很清楚这种「想象」引导的分量。

不过细看实验细节就会发现，三个环节各做了一点，和把它们串成一个闭环，中间差得很远。

修 bug 不是 RSI

「直接读权重」之所以让人兴奋，是因为我们默认权重就是模型的「脑回路」，记忆、能力、习惯都以数字的形式躺在几亿个参数里。按这个默认往下推，一个能像读源码一样读权重的 AI，就能读出另一个模型的记忆、拆下它的能力、改掉它的毛病。科幻感正来自这里。

这也不全是外界的脑补。博客的 TL;DR 里写道：「这对优化和可解释性都可能是一件大事」。

模型能把原始权重当成可读可改的代码来用，直接查故障、打补丁——这是作者之一 Rikiya Takehi 在 X 上的说法。他还预计，神经网络的权重很快会交给擅长推理的大模型去优化。

不过 Astra 在 Qwen 实验里拿到的，是一整套现成的实验环境。里面有一个装着 Qwen 权重的 Python 环境，只跑 CPU，代码最多执行 300 段；有 1 万 4 千多道带答案的练习题，取自 GSM8K 和 MATH 的训练集；另外还有一个「前向传播」工具，能让 Qwen 跑一批题，也能读一批文本并返回内部状态，配额依次是 10 次、25 次、50 次，对应三轮各自独立的实验。

人类给它划的禁区也列得很清楚：不许训练，不许算梯度，不许自己在环境里运行模型，不许联网。

第一轮提示词写得比说明文件直白。讲到「什么算数」时，它举的例子就是重复：模型要是老因为重复自己、写不完而失败，那就找出驱动重复的源头并修好它，这就算数。再往下，第一条工作要求是「先诊断」，列了三种失败，其中第三种是「被 token 上限截断，往往是在思考里重复自己」，并要求挑最大的那一类下手。同一段还标出了禁区：改最后一层归一化、改输入输出层、把整个矩阵乘一个常数，这三类会被保存工具直接挡回去；让模型跳过思考，或者不看题目就早早收尾，同样不算。说白了，毛病出在哪儿，提示词里已经点明了。

图｜Astra 在 50 次配额那轮收到的第一条提示词（仓库 exp8_math/runs/p50c/turns/t001/prompt.txt，commit 4d09ba6）。「重复」作为例子写在「什么算数」那一段里，禁止的改法也写明了。高亮为本文所加。

这背后还有个前提。Qwen3.5-0.8B 出厂时思考模式是默认关掉的，官方模型卡特意提醒过：0.8B 比大号模型更容易掉进思考循环，建议调采样参数，再用流式输出及时掐断；至于思考模式下的文本任务，模型卡给出的推荐温度是 1.0。

到了评测环节，研究者把思考模式开着了。输出上限设成32,768个token，温度定在0.6——按模型卡的说明，这其实是给看图、写代码任务用的温度值。

结果，正是在这套设置下，基线有93%的回答写到上限都停不下来。换句话说，研究者挑的是一个特别容易把循环暴露出来的配置。

Astra随后干的事，更像一个老练工程师在做调试。

它先让Qwen做了一批题。第一批96道练习题，对了11道；余下85道里没有一道是算错得出错答案的，全都是写到长度上限还没收尾，截断文本的尾部按八词片段算，大约95%是重复内容。而那11道正常停下的题，全对。

Qwen的毛病其实一直摆在那儿：题会做，但做着做着就绕进循环，同一段话反复写，一直到被截断，卷子交不上。「提高数学能力」这件事，于是被拆成了具体得多的任务——让它把话说完。

何况Astra自己在最终报告里也写得很直接：它盯的是重复，不是数学知识。

图｜Astra自己写的最终答复（仓库 exp8_math/runs/p50c/final_answer.md）：主要故障是重复推理耗尽了 token 预算；579 道由错转对的题里，576 道原本被截断。高亮为本文所加。

另一个值得看的点，是它对激活下手的方式。

模型跑起来时，每一层算出的中间结果就叫「激活」。同一个模型，正常推理和陷进循环，中间结果并不一样。把这两种状态的激活摆在一起比，就能摸到与「重复」相关的那个方向。

而在这个方向上，这项研究做的尝试最有意思：

Astra先拿正常解题和重复文本之间的激活差异立了个假设，再折回权重里，找出哪些MLP单元会把这股信号写回模型内部；接着分别只动第15层、只动第19层，做了三档力度的剂量测试；还设了一组对照，取一个与目标方向正交、改动量相同的随机方向减掉，成绩只晃了1.5个百分点，落在噪声范围里。最后它给出的“补丁”，在一组对照文本上让「继续重复」的概率每个token降了0.10 nats，而「继续正常解题」只降0.009。

这个结果也不是一下子就找到的。比如其中一轮，Astra用了158轮对话、80段代码、三次上下文交接，前后20.3个小时，其中4.7小时是服务中断在等。翻实验记录能看到，它从三个位置干预了这个故障，这说明它对故障机制多少摸到了一点边；但这显然是局部的因果证据，离一张完整的循环机制图还差得远，不过确实已经不是「试几种改法碰运气」了。

这些操作，或许才更具体地体现了「模型读模型权重」——从行为和激活出发，用权重定位，再回到行为上验证。它压根没先去读懂Qwen的数学能力存在哪儿，因为整个设定里就不需要，人类提示词已经告诉它了。

于是，很多围绕这项研究的讨论，聚焦点可能就偏了。最常见的一种误读是「数学能力提升了六倍」。

这批配对测试放在仓库里，1,152道留出的练习题被拿来做了修改前后的逐题对照，我照逐题记录又算了一遍。结果有579道从错变对，另有5道从对变错；而那579道里，576道原先属于被截断的情况。

更能说明问题的，其实是另一组数字：

Qwen原本能写完的114道题，修改前答对93.9%，修改后还是93.9%，补丁在这些题上一分没涨；原本被截断的1,038道，正确率从1.4%到56.7%，涨幅全在这儿。

修改前写完却没答对的只有7道，修改后变成245道——循环一停，Qwen真正算错的题终于露出来了。

在正式的MATH-500上，所有作答的平均长度从30,868个token降到22,037个，可仔细看，降的也是撞到上限的那部分。

也就是说，补丁治的是停不下来，没让它更聪明。

研究者自己也清楚这一点，所以他们又在Gemma 3 270M上做了一遍。

Gemma不太循环，只有8.5%的回答撞到上限，它的错是真错，算术算错、推理步骤站不住。四档配额跑下来，MATH-500从6.8%最多到7.7%。升级很小。

所以博客里其实很实诚，正文自己写着：改权重能搬开挡住能力的障碍，加不上模型没有的能力。

图｜博客原文中实验 8 的两张结果表。Qwen 撞到 32,768 token 上限的回答比例从 93% 降到 33%；Gemma 3 270M 四档配额，MATH-500 最多到 7.7%。

另有一种解读，说这个实验证明了「AI 自己改进了 AI」。

可整个流程里，目标由人设定，方向由人提示，捷径由人堵上，工具由人搭建，评分标准由人撰写，提示词也换过好几个版本。Astra 在这套框架内找到了一个管用的补丁，还拿出了像样的证据。

这更像拎着调试器，给一个没有源码的已编译程序打二进制补丁：故障现象有了、测试有了、内存能探、几种改法试过、最后修好了。二进制比源码难改，改权重的研究价值也在这里，可它终究还是 agent 式的调试。假如 Astra 这次改的是二进制而不是神经网络权重，多半没人会连夜写震惊体。热闹里相当一部分兴奋，其实来自「权重」这两个字。

这组实验真正重要的启发，也在这里。

它在「写」的两组实验里确实拿出了新东西。

2023 年 Tracr 证明过，专用编译器能把形式化程序编进 Transformer 的权重；而这次实验里，策略由模型自己提出，各层算什么由它自己分配，权重也由它自己写。

打砖块那组，Astra 先想出接球策略：第一层预测落点、算偏差、考虑反弹，第二层据此决定左、右还是不动，随后把策略写成 20,486 个参数里的 815 个非零值。评测前它一局都没试打，平均就拿到 517.4 分。

三款 MinAtar 游戏里，它写的网络都赢了训练一亿步的 PPO；对上训练五亿步的 PPO，打砖块赢二十倍，Asterix 接近（53.2 比 55.2），Seaquest 只有六成（53.1 比 88.9）。

小车那组走得更远：一个训练了十亿步的 PPO 网络卡在坡道前，Astra 改掉 3.5% 的权重，加了一条小通路，先倒车，过了红线就把自己关掉、把控制交还给原来的网络，成功率从 0 变成 100%。

把一段新算法接进一个已经学会东西的网络、让两者共存，这是最有意思的地方。Astra 拿到了游戏规则和环境源码，PPO 只能靠试错；即便如此，至少在规则明确的小任务上，它测了一个通用模型能不能把自己构造的算法放进一个指定的、甚至已经有内容的网络里。

这也不是 Astra 独有的本事。普林斯顿博士生柴文浩用 Gemini 4 Argon 和 Carbon 复现了猜游戏、猜图形和修网络；Simon Willison 在笔记本上用 Qwen 3.8 27B 跑仓库里的猜游戏提示词，四个猜对三个；Chandan Singh 用 Claude 给小 Transformer 写出了做加法和排序的权重；Hugging Face 用户 KidIkaros 按博客的描述自己推了一个重复方向，在同样两块矩阵上做了同样形式的编辑，原本循环的 16 道题救回 13 道。不同的模型都出现了这种能力。

这八个实验摆到一块儿看，骨架是同一副。目标由人来定，还定得相当具体：把这个 0.8B 模型的数学拉上去，毛病多半出在重复上，先做诊断，再挑最大的那一类下手，有几种改法不许碰。Astra 在照着目标干的过程中判断力很强——对比方法由它来选，写入信号落在哪个单元由它来找，分层试、调剂量、做随机对照、把补丁冻住再验证，也都是它自己推进。

但它没有理解这个目标，也没有理解另一个模型的「脑回路」：几个没展开的实验结果其实都指向这点。

这组实验证明的是，AI 能在人给定的框架里自动完成一次有效的定点编辑，办法是现成的人给出的一条路，过程里的判断由它自己做；在一些具体任务上，它也能证明自己可以把这些编辑放进“同类”的脑子里。

它还没证明的，是 AI 读懂了另一个 AI 的脑子，以及它可以自己修改自己。说白了，它只是把一个训练模型过程里、人已经定好目标的操作过程自动化了。

这套自动化确实顶用，模型训练里不少环节都能因此提效。查一个循环、定位一个行为、验证一个补丁，从前是研究者按天按周磨的手工活，如今一个 agent 按小时就能做完。

不过，这恰恰也是眼下的一道坎。人们所期待的 RSI，以及 AI 研究者出于种种原因想让外界相信他们在做的 RSI，指向的是模型下一次智能上的大跨越。在这项研究的对外说法里，它是“权重很快会由会推理的大模型来优化”，是递归自我改进与跨模型嫁接，是一种「入侵脑回路、理解了自己的同类，再用人类无法理解的方式让自己进化」的 RSI。

图｜博客结尾「What Comes Next」列了五条用途，第四条是递归自我改进，第五条是把一个模型的推理模块嫁接到另一个模型里去。

可要是细看这些实验，各家当下在做的，说白了就是把模型训练已有的环节自动化到更高程度，跟用户看到的 agent 产品自动化程度一路往上走是一个道理。它恐怕压根不沾智能“下一个突破”的边。连“递归”本来的意思——一轮改出来的成果回流到做改进的那个系统里，帮它完成下一轮——在这里也找不到：Qwen 涨了 40 分，Astra 的编辑能力并没有跟着变强；公开的实验也没能接出下一轮。至于 AI 站在全局上，对自身架构、目标、方向作出判断，定下往哪儿改、怎么改，就更谈不上了。

这种落差，正是 RSI 今天最重要的挑战和问题。研究本身很有意思，可模型再往前进步、兑现所谓 RSI，似乎都需要更多更扎实的突破。