MIT CSAIL：仅改0.016%权重，数学成绩真能飙升？

只动0.016%的权重，模型就能变聪明？这个说法得打个问号。

MIT CSAIL 最近发了一篇博客《Sparks of Weight-Space Programming》，在圈内引发不少讨论。最吸引眼球的一组数据是：GPT-6 Astra 没走传统的梯度下降训练路线，只改了 Qwen3.5-0.8B 大约 0.016% 的权重，就把这个模型在 MATH-500 基准上的得分从 7.9% 提到 48.1%。

这套做法叫 Weight-Space Programming（WSP，权重空间编程）。思路听起来很诱人：用一个足够强的通用大模型去“阅读”另一个模型，摸清它的内部状态，然后直接上手改它的权重参数。

我长期研究超网络和模型持续学习，看到这个方向，一方面兴奋，一方面也警惕。兴奋的是，它和我们无涯智远（Norizon AI）在探索的路子撞上了——让大模型出厂之后还能像人一样边用边学；警惕的是，这种“现场手术”式的改动，到底是真学会了，还是只是把病灶暂时盖住？

为了把这个问题弄清楚，我们团队依据公开信息补做了一组实验。结果有点出乎意料，也提醒我们：几种不同层面的“模型进化”，得拆开来看。

48.1% 这个数字，藏着一个基线陷阱

先看原博客里一个容易被跳过的细节。Qwen3.5-0.8B 有个已知毛病：一开“思考模式”，就容易陷进重复循环，车轱辘话一遍接一遍，直到 Token 上限耗尽。Astra 的干预，很大程度上是把这种循环修好了，让模型有机会把话说完，分数也就跟着上去了。

作者自己说得很实在：修循环和涨数学能力是两码事。换到很少出现循环的 Gemma 3 270M 上，MATH-500 的成绩只从 6.8% 微涨到 7.0%~7.7%，并没有什么奇迹。

于是我们补了一个特别朴素、却关键的对照实验：权重一点都不改，只把 Qwen3.5-0.8B 的思考模式关掉，会怎样？

同样的 MATH-500 测试集，同样的采样和评分设置，未经任何编辑的 Qwen3.5-0.8B 在关闭思考模式后，准确率到了 48.95%。

这个对照一出来，问题的性质就变了。对一个因为绕圈把 Token 耗光的模型来说，权重编辑确实带来了明显改善；可要是跟“关掉思考”这种几乎零成本的办法比，WSP 并没有多出额外收益。

我倒不觉得这能抹杀 WSP 的价值。反过来看，能定位并干预一种内部行为机制，本身就是 Astra 推理能力的一次展示。它先发现失败大多来自重复思考，再对比正常推进和陷入循环两种上下文，从内部表示里提取出“重复方向”，接着找出哪些神经元在往这个方向写信号，对两层 MLP 做定向修改。整条因果链条完整，也漂亮。

更该记下来的是范式层面的变化：权重不再只是一堆只能靠梯度下降慢慢挪的数字，另一个模型可以像读文本一样把它读出来、理解透，再直接改写。以前想让模型变强，路只有一条：攒数据、跑训练；现在多出第二条：让模型去读另一个模型，然后写它。

但真正的问题是，这条链条能伸多远？碰到更复杂、分布更广的知识和能力，Astra 还能不能找到对应机制，并且事先判断一次修改的收益和副作用？

改参数，能让模型真正“学会”新东西吗？

为了验证 WSP 在知识内化、行为适配和技能习得上的真实水平，我们拿 Qwen3.8-27B 当共同起点，比了三种状态：没更新过的原始模型、经 Astra 编辑权重后的模型，以及经过我们超网络内化新知识的模型。

受 Astra 调用额度和执行速度限制，测试规模不大：从 SQuAD（知识问答）、CharacterBench（角色扮演的风格适配）和 lingOLY（陌生语言技能学习）里各抽 10 条样本。关键是回答时把参考材料全撤掉，看模型能不能只靠更新后的参数作答。

知识：信号放大了，概念没换掉

SQuAD 测试里，超网络更新后的模型在没有原始材料的情况下能准确回答问题，另外两组都没做到。

材料里有个样本挺典型：Cestida（带状栉水母）已知仅两个物种，游动时靠身体起伏和栉板列拍打；它跟拼写相近的 Cestoda（绦虫）被未经编辑的模型直接弄混了。

Astra 的诊断很明确：它对比材料文本和绦虫描述在 MLP 层的激活差异，挑出对材料更敏感的那些神经元，把它们的输出分别放大 1.5 倍和 2 倍。权重确实动了，措辞也确实变了，可概念没变——两种强度下，模型还是咬定 Cestid 是不会游泳的绦虫，还是说有四五千个物种。

把一个和材料相关的信号放大，建立不了“Cestida 指带状栉水母”这条新关联。从相关性走到因果，正是知识编辑最难迈的那道坎。

风格：写进了参数，没写进人格

CharacterBench 测试中，超网络更新后，模型的输出明显带出了角色和风格的要求，Astra 这一组则没有。

材料让模型扮演 Evolto——一个傲慢、贪婪、爱用反问显摆优越感的反派。Astra 的招数是：分别算出“给了角色材料”和“没给材料”时某一层的激活差，把它当成一次修改塞进单层权重。写入本身没出岔子，权重张量确实被改了，算术这类中性能力也没受牵连。

问题是模型一张嘴就露馅。自我介绍照旧是“通义千问”；被人质疑本领一般，回应依旧谦和；让它把最珍贵的东西免费分给大家，也答应得挺痛快。同一个向量只写进一层，换到新问题、换到别的生成位置，就唤不起同一个人格了。同一份材料交给超网络内化之后，回答里才冒出傲慢、反问和角色特有的那些措辞。

技能：规则用得出来，才叫学会

lingOLY 考的是技能：给模型一份陌生语言的简短学习材料，让它掌握里面的语法和词汇规则，再做翻译和推理。10 道题，未更新的模型答对 1 题，Astra 编辑后仍是 1 题，超网络内化后答对 7 题。

Astra 这一回还是老路子：在第 43 层 MLP 上写一次修改。结果连它自己出的检验题都没扳过来——材料要求把“some change”译成 grąžos，编辑前后模型都输出 pinigų。只试了这一个候选，Astra 就收手了，权重维持原样。

所谓学会一条规则，是指在没见过的题目、不同的句式、每一个生成位置上都能用对。一次局部的激活偏移，或许能把出题点附近的输出往材料上拉一拉，覆盖范围却没法保证。

三个案例，同一个坎

知识、风格、技能，三类任务栽的地方是同一个：Astra 改权重时用的，其实是一套经典的知识编辑工具——比激活、提方向、缩放神经元、打个秩一补丁。

对付单点故障，这套工具挺顺手，比如压住重复循环。可要把一份新材料变成能稳定调用的知识、人格或规则，精度和更新参数量就都差得远。

跟材料相关的激活，它找得到；让最终行为按材料改变的因果方向，它找不到。权重它能动，改完之后模型会说什么，它控制不精确。工具本身不够强，这是这些失败最直接的原因。

这组实验至少说明一件事：大模型的知识内化、行为适配、技能习得，眼下都还不在 Astra 现场编辑权重的能力范围里。

打个比方，让通用大模型现场给模型“看病”，像请一位什么病都看的全科大夫凭经验开方。有时确实药到病除，比如抑制重复循环；可剂量谈不上精确，副作用也难预判，换一种病症又得从头试。

要把新知识、新风格、新规则稳稳写进参数，得靠针对这件事专门训练过的手段——知道改哪里、改多少，也知道改完模型会怎么说。这更像精准医疗。超网络想扮的，正是专科大夫这个角色。

让 Agent 管编排，让超网络管落笔

两者可以放进同一个工作流里互补：通用大模型当编排者，超网络当它手里那件负责写入的工具。

具体讲，拿到一份新材料，Agent 能判断哪些内容值得内化、文本怎么组织和切分、按什么顺序交给超网络。写完之后再跑一轮评测，看新信息调不调用得出来、原有能力有没有受损，然后据此调整材料组织或写入策略，再来一次。内化文本的组织、调优和性能评测，都能交给它编排——这本来就是通用大模型擅长的。

超网络只管其中最吃精度的那一步：把文本精确对应到参数空间。我们的超网络是端到端训练出来的，在大量样本上学过“什么样的文本对应什么样的参数改动”。Astra 靠的是一次前向的激活差，临时凑一个方向出来。前面三个案例里，缩放神经元、秩一补丁改不准，缺的正是这样一件经过训练的写入工具。

两者一结合，WSP 展示的现场推理能力一点不浪费。Agent 越会编排，精确的写入工具就越有用武之地——这也是我们盼着 WSP 继续往前走的原因。

回到开头那个数字：0.016% 的权重换来 48.1%。WSP 把“读模型、做诊断、改权重”串成了一条完整链路，这一步很了不起。

但改得动权重，不等于学会了新能力。这几组实验里，参数确实变了，材料里的知识、角色和规则却没能变成可以稳定调用的东西。要让它们真正留下来，需要一个经过端到端训练、能把文本精确对应到参数空间的写入工具。

所以我更愿意把 WSP 看成一块重要的拼图：通用大模型负责编排模型的更新，超网络让每一次更新在参数空间里落得准。两者接起来，模型出厂之后边用边学，才算有一条能反复走的路。

权重能被改动的那一刻，只是起点。