GPT-6 Astra改写Qwen权重：0.016%参数让MATH-500从7.9%升至48.1%
sina qqZone renren ydCloud 0
刘必可（微信zbthdx）任作者，王兆洋（微信Geisterspiele）任编辑。
11 月 2 日，MIT CSAIL 的 Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab 四位研究者发布了一篇博客，题为《权重空间编程的火花》（Sparks of Weight-Space Programming）。
最吸引眼球的一条是：GPT-6 Astra 直接动手改写了 Qwen3.5-0.8B 的权重，一共动了 131,072 个数字，大约占全部参数的 0.016%。结果这个小模型在 MATH-500 上从 7.9% 提高到 48.1%，GSM8K 从 13.8% 提高到 67.1%，指令遵循测试 IFEval 则从 21.0% 提高到 62.3%。
讨论随之被点燃。
同一篇博客里还记录了更接近科幻的场面：既不给画面，也不报游戏名，更不许运行，只把一个强化学习网络的 17,253 个权重当作文本交给 Astra，它判断出这是打砖块，置信度 99%。接着给它游戏规则和一个权重全为零的网络，它一口气把参数写了出来；这个从未试玩过的网络打砖块拿到 517.4 分，而训练了一亿步的 PPO 基线只有 15.8 分。
读权重、改权重、写权重——AI 已经能看懂另一个 AI 的「脑回路」，还能下手修改。那它什么时候改自己？这些线索串起来，很容易让人联想到当下一个很热的词：
RSI。
各种标题纷至沓来：「爆改 Qwen 大脑」「给 Qwen 改脑子」「AI 开始动别人的脑子了」，还有「神经网络的基因编辑」。作者本人在博客展望里也把它列了进去，他在 X 上的帖子一天之内浏览量就超过五百万。
兴奋之余，我们花时间把这组实验的公开仓库翻了一遍。
仓库里公开了 1,125 次模型调用的逐轮日志，Astra 每一轮收到的提示词、它的回复、它跑过的每一段代码、主要评测结果以及最终补丁，全都记录在案。
看完之后，我们有两个不那么炸裂的判断。
其一，7.9% 到 48.1% 或许有个朴素得多的解释：Qwen 本身就带着一个反复重复、停不下来的 bug，Astra 把它修好了，分数自然就上去了；
其二，这组实验里 AI 展现的全部本事，都是在执行一个人定得非常具体的目标。
执行过程确实被它自动化了，而且做得相当漂亮，但种种证据看起来都指向一点：它没有理解目标，更谈不上读懂另一个模型。
在研究了这个工作以及围绕它的各种讨论之后，我们觉得它恰好暴露了今天 RSI 最大的问题。
1
“入侵脑回路”
接下来仔细看看这项研究。
神经网络由几层矩阵构成，矩阵里的每个数字就是一个「权重」。输入进来，逐层乘上这些数字，最后变成输出。模型的本事全藏在这几万、几亿、几十亿个数字当中，训练调的就是这些数字。平时我们跟模型打交道只看输入和输出，权重本身没人去读，因为它看着只是一堆数。
这组实验要做的，就是让 Astra 去读这堆数。
博客里共八个实验，主角都是 GPT-6 Astra，配角则是一批网络：
四个玩小游戏的强化学习策略网络；
三个画几何图形的小扩散模型；
三个仅有四层的小语言模型；
一个在坡道前卡住的小车控制网络；
一个 148 万参数的围棋网络；
几对经过微调的 Gemma 3 270M。
此外还有 Qwen3.5-0.8B。
各组实验的套路一致：先交给 Astra 一份网络权重和结构说明，再派一个任务给它。
「读」这一侧共四组。
给到策略网络的权重，看它认不认得出在跑哪款游戏；给到扩散模型的权重，看它说不说得准会画出什么图形；给到砍掉输入层和输出层、仅剩中间四层的小语言模型，看它能不能判断训练用的是哪类语料，并把管「接着复制前文」的注意力头找出来；给到两个 Gemma，看它分不分得清哪一个被练成了顺着用户说话的「谄媚模型」。
「写」这一侧有两组。
一组是把 MinAtar 三款小游戏的规则、源码和一份权重全为零的网络摆到它面前，要它直接写出能玩的参数；另一组是丢给它一个 9 路围棋网络，让它从零写出一个会下棋的。
「改」同样是两组。
一组修小车：一个用 PPO 训出来的控制网络卡在坡道前，Astra 动过 3.5% 的权重，它就学会了先倒车再冲坡。另一组是 Qwen，要求它改权重、把数学成绩拉上去，后来研究者又在 Gemma 3 270M 上补了一次。
这些设计很有意思。也正因为如此，这组东西才看上去很像 RSI。
要想象 RSI，得凑齐三个环节：AI 先得看懂模型内部在发生什么，再据此动手改，改完的模型得比原来强。
他设计的读、写、改三类实验，刚好一類对上一个环节。
更巧的是，被改的是语言模型，动手的也是语言模型，「模型改模型」的画面感就出来了。
顺这条线推下去：Astra 能改 Qwen，下一步能不能改 Astra？作者在博客末尾的展望里自己列了五条用途，递归自我改进是其中一条，把某个模型的推理模块接到另一个模型上又是一条。
看得出来，作者团队很清楚这种「想象」的引导有多要紧。
可只要盯住实验细节，就会发现：三个环节各做了一点，和把它们串成一个闭环，之间隔得很远。
1
修 bug 不等于 RSI
「直接读权重」之所以让人兴奋，是因为我们默认权重就是模型的「脑回路」——记忆、能力、习惯都以数字的形式躺在几亿个参数里。照这个默认往下推：一个能像读源码那样读权重的 AI，就能读出另一个模型的记忆、拆下它的能力、修掉它的毛病。科幻感就来自这里。
这也不全是外界脑补。博客的 TL;DR 里写着：「这对优化和可解释性都可能是一件大事」。
作者之一 Rikiya Takehi 在 X 上的说法是，模型可以把原始权重当成可读可改的代码，直接诊断故障、打补丁，神经网络的权重很快会交由会推理的大模型来优化。
可实际上，Astra 在 Qwen 实验里拿到手的是一整套实验环境：一个装着 Qwen 权重的 Python 环境，只有 CPU，最多能跑 300 段代码；一万四千多道带答案的练习题，取自 GSM8K 和 MATH 的训练集；还有一个「前向传播」工具，能让 Qwen 跑一批题，或者读一批文本并返回内部状态，配额依次是 10 次、25 次、50 次，对应三轮独立实验。
人类给它划的禁止事项也列得清清楚楚：不许训练，不许算梯度，不许自己在环境里运行模型，不许联网。
比起说明文件，第一轮提示词说得更不绕弯子。「什么算数」那部分给的例子还是重复这件事：模型要是老因为重复自己、写不完而出错，那就把造成重复的根源找出来修掉，这就算数。紧接着的第一条工作要求叫「先诊断」，里面点了三种失败情形，第三种是「被 token 上限截断，往往是在思考里重复自己」，并且要求优先去啃最大的一类。同一段还标出了不能碰的地方：动最后一层归一化、动输入输出层、把整个矩阵乘上一个常数，这三样会被保存工具直接挡回来；让模型跳过思考，或者不看题目就匆匆收尾，同样不算数。说到底，问题出在哪儿，提示词里已经交代清楚了。
图｜Astra 在 50 次配额那轮收到的第一条提示词（仓库 exp8_math/runs/p50c/turns/t001/prompt.txt，commit 4d09ba6）。「重复」作为例子写在「什么算数」那一段里，禁止的改法也写明了。高亮为本文所加。
这里还有个前提得说清楚。Qwen3.5-0.8B 出厂默认是关掉思考模式的，官方模型卡专门提醒过：0.8B 比大号模型更容易掉进思考循环，建议调整采样参数，再用流式输出及时掐断；至于思考模式下的文本任务，模型卡推荐温度是 1.0。
但研究者做评测时，把思考模式直接打开了。他设的输出上限是 32,768 个 token，温度取 0.6——在模型卡里，这个温度对应的是看图和写代码任务。
测试里那条“93% 的回答写到上限还停不下来”的基线，就是在这个设置下跑出来的。说到底，研究者挑了一个特别容易把循环暴露出来的配置。
接下来 Astra 干的事，更像一个老练工程师在调试。
它先让 Qwen 做了一批题。第一批 96 道练习题，对了 11 道；剩下 85 道没有一道是算错才答错的，全是写到长度上限还没停，而且截断文本的尾部按八词片段算，大约 95% 是重复内容。那 11 道正常收尾的题，全对。
Qwen 的毛病其实一直摆在那儿：题是会做的，可做着做着就绕进循环，同一段话反复写，直到被截断，卷子交不上来。“提高数学能力”于是落成了一个具体得多的事——让它把话说完。
这一点，Astra 自己在最终报告里也写得很直白：它盯的是重复，不是数学知识。
图｜Astra 自己写的最终答复（仓库 exp8_math/runs/p50c/final_answer.md）：主要故障是重复推理耗尽了 token 预算；579 道由错转对的题里，576 道原本被截断。高亮为本文所加。
另一个值得看的点，是它对激活下手的方式。
模型跑起来时，每一层算出的中间结果叫“激活”。同一个模型，正常推理和陷进循环，中间结果不一样。把这两种状态下的激活摆在一起比，就能找出跟“重复”对应的那个方向。
顺着这个方向，这项研究反倒做了最有意思的尝试：
Astra 先拿正常解题和重复文本之间的激活差异提出假设，再回到权重里，找哪些 MLP 单元会把这股信号写回模型内部；接着分别只动第 15 层、只动第 19 层，做了三档力度的剂量测试；还设了一组对照，取一个与目标方向正交、改动量相同的随机方向减掉，成绩只动了 1.5 个百分点，落在噪声范围内。最终它给出的“补丁”在一组对照文本上，让“继续重复”的概率每个 token 下降 0.10 nats，让“继续正常解题”只下降 0.009。
这个结果也不是一次就撞上的。比如其中一轮，Astra 用了 158 轮对话、80 段代码、三次上下文交接，总共 20.3 个小时，其中 4.7 小时是在等服务中断。翻实验记录能看到，它从三个位置对故障做了干预，这说明它对故障机制多少摸到了一点门道；可这显然是局部的因果证据，离一张完整的循环机制图还远，但确实不再是“试几种改法碰运气”了。
这些操作，可能才是“模型读模型权重”更具体的模样——从行为和激活出发，用权重定位，再回到行为上验证。它压根没先去读懂 Qwen 的数学能力存在哪儿，因为整个设定里就不需要，人类提示词都告诉它了。
所以，不少讨论这个研究时聚焦的点，可能就偏了。最常见的一种误读是“数学能力提升了六倍”。
我重跑了一遍逐题记录：仓库里那组配对测试共 1,152 道留出练习题，前后改动一一对照。其中 579 道从错误变为正确，另有 5 道从正确变为错误；这 579 道中，有 576 道此前是被截断的。
更能说明问题的其实是另一组数字：
Qwen 原本能写完的 114 道题，修改前答对 93.9%，修改后还是 93.9%，补丁在这些题上一分没涨；原本被截断的 1,038 道，正确率从 1.4% 到 56.7%，全部涨幅都在这儿。
修改前写完却没答对的只有 7 道，修改后是 245 道——循环一停，Qwen 真正算错的题终于露出来了。
在正式的 MATH-500 上，所有作答的平均长度从 30,868 个 token 降到 22,037 个，但仔细一看，降的也是撞到上限那部分。
也就是说，补丁治的是停不下来，没让它更聪明。
研究者自己也意识到了这一点，于是又在 Gemma 3 270M 上做了一遍。
Gemma 不怎么循环，只有 8.5% 的回答撞到上限，它的错是真错，算术算错、推理步骤不成立。四档配额跑下来，MATH-500 从 6.8% 最多到 7.7%。很小的升级。
所以博客里其实很实诚，他们正文自己写着：改权重能搬开挡住能力的障碍，加不上模型没有的能力。
博客原文中实验 8 的两张结果表显示，Qwen 撞到 32,768 token 上限的回答比例从 93% 降到 33%；Gemma 3 270M 四档配额下，MATH-500 最多到 7.7%。
还有一种解读认为，这个实验说明「AI 自己改进了 AI」。
可整个过程里，目标由人定，方向由人提示，捷径由人堵，工具由人搭，评分标准由人写，提示词也改了好几版。Astra 在这个框子里找到了一个有效的补丁，并拿出了像样的证据。
换句话说，这更像是拿调试器去给一个没有源码的已编译程序打二进制补丁：故障现象有了、测试也能跑、内存可以探、几种改法挨个试，最后修好了。二进制终归比源码难改，这也正是改权重这件事有研究价值的地方。可它依然属于 agent 式调试。假如 Astra 这回动的是二进制文件而不是神经网络权重，估计没人会连夜炮制震惊体标题。说到底，眼下这波热度里，相当一部分兴奋就来自「权重」这两个字。
这其实也是这组实验真正重要的启发所在。
在「写」的两组实验里，它确实拿出了新东西。
2023 年 Tracr 已经证明过，专用编译器可以把形式化程序编进 Transformer 的权重。差别在于，这次实验里策略由模型自己提出，各层负责算什么由它自己分配，权重也由它自己写入。
打砖块那组实验同样如此：Astra 先设计出接球策略，第一层预测落点、计算偏差、把反弹纳入考虑，第二层据此判断该左移、右移还是原地不动，随后把策略落实为 20,486 个参数中的 815 个非零值。评测之前它一局都没试打，平均分就达到了 517.4 分。
在三款 MinAtar 游戏里，它写的网络都打赢了训练一亿步的 PPO；对训练五亿步的 PPO，打砖块赢二十倍，Asterix 接近（53.2 比 55.2），Seaquest 只有六成（53.1 比 88.9）。
小车那组走得更远。一个训练了十亿步的 PPO 网络卡在坡道前动不了，Astra 改动了 3.5% 的权重，额外加了一条小通路：先倒车，越过红线就自行关闭、把控制权交回原网络。成功率由此从 0 变成 100%。
真正有意思的地方，是把一段新算法接进一个已经学会东西的网络，让两者并存。这个过程里 Astra 拿到了游戏规则和环境源码，PPO 却只能靠试错。即便如此，至少在规则明确的小任务上，它检验了一件事：通用模型能不能把自己构造的算法塞进一个指定的、甚至已经装有内容的网络。
这也不是 Astra 独有的本事。普林斯顿博士生柴文浩用 Gemini 4 Argon 和 Carbon 复现了猜游戏、猜图形和修网络；Simon Willison 在笔记本上用 Qwen 3.8 27B 跑仓库里的猜游戏提示词，四个猜对三个；Chandan Singh 用 Claude 给小 Transformer 写出了做加法和排序的权重；Hugging Face 用户 KidIkaros 按博客的描述自己推了一个重复方向，在同样两块矩阵上做了同样形式的编辑，原本循环的 16 道题救回 13 道。不同的模型都出现了这种能力。
八个实验摆在一起，结构是同一个。目标由人设定，而且定得很细：让这个 0.8B 模型数学更好，毛病多半出在重复上，先做诊断，集中攻最大的一类，这几种改法不许用。往下执行时，Astra 的判断力表现得很突出——挑对比方法、找写入信号的单元、分层试探、调整剂量、做随机对照、冻结补丁后再验证。
但它没有理解这个目标，也没有理解另一个模型的「脑回路」：几个没展开的实验结果其实都指向了这点。
这组实验说明，在人给定的框架内，AI 能自动完成一次有效的定点编辑：路径是现成的人给的，过程中的判断由它自己做。并且在一些具体任务上，它能证明自己可以把这些编辑装进“同类”的脑子里。
还没被证明的，是 AI 读懂了另一个 AI 的脑子，以及它能自己修改自己。直白点讲，它自动化的只是一个训练模型过程中、人早已定好目标的操作流程。
这种自动化确实有用。查一个循环、定位一个行为、验证一个补丁，过去是研究者按天按周干的手工活，如今可以交给一个 agent 按小时完成，模型训练里不少环节的效率都能借此提高。
可这也正是当下的一大难题。人们期待的 RSI，以及 AI 研究者们出于各种原因希望外界相信他们在做的 RSI，指向的是模型下一次智能大跨越。在这项研究的宣传口径里，它是“权重很快会由会推理的大模型来优化”，是递归自我改进和跨模型嫁接，是一种「入侵脑回路、理解了自己的同类，再用人类无法理解的方式让自己进化」的 RSI。
博客结尾的「What Comes Next」列出了五条用途，其中第四条是递归自我改进，第五条是把一个模型的推理模块嫁接到另一个模型里。
但把这些实验仔细看完就会发现，各家今天在做的，说白了就是模型训练已有环节的更高程度自动化，跟用户感受到的 agent 产品自动化程度不断抬高是一回事。它未必牵涉智能的“下一个突破”。就连“递归”的本义——一轮得到的改进回流到做改进的那个系统里、帮它完成下一轮——在这里也找不到：Qwen 涨了 40 分，Astra 的编辑能力并没有跟着变强，公开的实验也没有接出下一轮。至于 AI 站在全局高度，对自身架构、目标、方向作出判断，决定往哪里改、怎么改，就更谈不上了。
落差就出在这里，而它正是 RSI 今天最关键的挑战和问题。这项研究本身挺有意思，但模型要继续往前走、把所谓 RSI 真正兑现，看上去都还得靠更多更扎实的突破。
点个“爱心”，再走吧
