MIT CSAIL：0.016%权重微调，Qwen3.5数学成绩涨六倍？

训练好的神经网络，如果把里面所有浮点权重像书页一样摊开，逐条列给另一个大语言模型，它能读懂吗？

问题还可以再进一步：模型能不能直接动手改掉其中几个数字，让这个网络变聪明一点，或者把某个毛病修掉？

听着像科幻小说。权重向来被当成黑盒，只能靠梯度下降一点点调。MIT CSAIL 团队的新研究把这个边界推开了：他们让 GPT-6 Astra 直接去看 Qwen3.5-0.8B 的内部权重，找到了让它陷入推理死循环的症结，随后只改动了极少量参数，性能就大幅提升。

整个过程没有重新训练，没有梯度下降，也没看过任何训练数据。团队给这种新能力起了个名字，叫“权重空间编程”（Weight-Space Programming）。

从“写代码”到“写权重”，优化范式多了一条路

这几年大家已经习惯让大模型代写代码、打磨提示词，连超参数也交给它调。原因很直接：代码是文本，人看得懂，LLM 也擅长处理文本。

权重就不一样了，那是一长串浮点数，人眼看上去毫无意义。调权重一直是优化算法的地盘。上亿个参数没法手工拨，所以人们默认 LLM 也干不了这活。

但 MIT 的这次实验说明，这个默认假设已经过时。前沿大模型开始表现出理解连续权重空间的本事：既能“读”出权重背后的逻辑，也能“写”出新的权重去达成指定目标。

研究主要验证了三种能力：

读取能力：只看权重数字，就能判断模型学过什么任务、存在什么缺陷。

1. 修复能力：直接改权重，纠正模型的行为错误，或者把某项能力提上去。
2. 生成能力：没有训练数据、没有梯度，照样从零写出有效的神经网络权重。
3. 实验一：不看运行结果，只靠“看相”猜行为

要确认 LLM 是真看懂了权重、不是碰运气，研究人员安排了一组“盲测”。

这些测试的设计意图很明确：把运行输出藏起来，只把权重摆到模型面前，看它能不能说对。

猜游戏类型

团队拿PPO算法训出四个结构一模一样的神经网络，让它们各自玩一款不同的电子游戏。随后把网络的原始权重原封不动地交给Astra，问它：这网络玩的是哪款游戏？

没有候选清单，Astra照样全中。它盯的是第一层权重在输入通道上的分布。拿《打砖块》来说，智能体得盯住屏幕底部的挡板，对应权重就聚在画面最下方，这种几何特征被Astra抓了个正着。

猜生成的图形

团队又训了三个扩散模型，分别产出圆形、三角形和正方形。Astra还是只看权重，就把每个模型的目标图形认对了。有意思的是，它“画”出来的是空心轮廓，实际模型生成的却是实心图形。这个偏差反倒说明，Astra是直接拆解权重的几何结构，而不是靠模拟前向传播去算结果。

猜训练语言

语言模型的难度更高。团队训了三个小型Transformer，分别用Python代码、日语罗马字和英语做下一个字符预测。之后砍掉输入层和输出层，只把中间Transformer模块的权重递给Astra。

词汇表映射没了，Astra看不到“这个词对应那个向量”。它转而分析注意力头的模式，照样把训练语言认准了。比如Python模型里有些注意力头专管“复制”前面的变量名，原因在于代码中变量重复出现的频率远高于普通文本；日语罗马字模型则有某些层输出方向偏少，这跟罗马字所用字母集较小（不含q、x、z等）对得上。

这几个实验表明，LLM确实能靠权重的统计分布和结构模式，把模型的高层语义信息提取出来。

实验二：手术刀式的权重修复

既然能读懂，那能修吗？

修复物理控制策略

小车爬坡任务里，PPO训出的网络卡在局部最优：小车一头冲向斜坡，然后卡住。正确做法是先倒车，借助跑冲上去。

看过网络权重和失败轨迹，Astra直接改了3.5%的权重。它在网络里植入一条新“通路”，用来检测小车的位置和速度；一旦位置合适，这条通路就盖掉原来的错误指令，逼小车先倒退。改完之后，网络在1024次测试中全部成功爬坡。

消除语言模型的“死循环”

最抓眼球的是这个实验。Qwen3.5-0.8B做复杂数学题时常常陷进重复生成相同文本的死循环，答案根本出不来。MATH-500基准测试上，它初始只拿到7.9%。

Astra翻查权重后发现，第15层和第19层的MLP（多层感知机）往某个特定方向写信息时会触发循环。它从这两层的输出列里把这个“致病方向”减掉。

改动只碰了131,072个参数，占模型总参数（8亿）的0.016%。

结果惊人：

• MATH-500得分从7.9%升到48.1%。
• GSM8K得分从13.8%升到67.1%。
• 指令遵循能力（IFEval）从21.0%升到62.3%。
• 生成内容触及最大长度限制（即死循环）的比例从93%降到33%。

要注意，Astra没让Qwen学到新数学知识，只是把挡住它发挥已有能力的“路障”搬开了。另一个实验里，小模型Gemma本身没有死循环问题、数学能力偏弱，Astra试着增强某些神经元来提分，结果提升不到1%，几乎没动静。可见眼下的权重编辑更擅长“调试”和“去噪”，凭空塞进复杂新技能还做不到。

实验三：从零编写神经网络

修复都行，那从头写一个呢？

超越传统训练的游戏AI

Astra为三款MinAtar游戏编写神经网络权重，这三款游戏分别是打砖块、海战和Asterix。它没碰过任何训练数据，也拿不到梯度信息，只能照着游戏规则和网络结构，把权重数值直接生成出来。

结果，Astra造出的网络在三款游戏里的表现全都压过了训练1亿步的PPO模型。打砖块这一项，它的得分达到传统训练模型的20倍。

它采用的办法很像人的思路：先在脑子里搭出一套程序逻辑，比如第一层算球的落点、第二层管挡板怎么动，再把这套逻辑翻成权重矩阵。

围棋AI的诞生

实验规模再往上走，Astra要为150万参数的围棋网络生成权重。团队给了它一个Python沙箱，允许它做有限次前向计算，用模拟对局来检验自己的设计。

它把网络设计成了一个小型围棋程序：第一层认棋子和“气”，中间层传递棋串的危险信号，最后一层按吃子、救活、眼位等规则打分。经过50次模拟对局的迭代优化，这个“手写”出来的网络赢下了一个训练2000万局、规模相同的PPO模型。

局限性与未来：权重空间编程的意义

当然，这项技术眼下还在早期。在区分“迎合用户”的微调模型那组实验中，Astra光看权重分不出哪个模型更爱顺着用户，直到被允许查看注意力分布才做成。某些细微的行为差异，靠现在的权重解读能力还看不太准。

局限归局限，“权重空间编程”露出的潜力不小：

1. 无需运行的模型审查

现在要找出模型的后门或隐藏能力，一般得跑大量测试用例。要是LLM能直接读懂权重，或许在模型部署之前，就能从参数里扫出潜在的安全风险或偏见，不必再依赖黑盒测试。

2. 极低成本的模型优化

传统微调要收数据、烧大量算力做梯度更新。权重编辑也许只改极少数参数，就能调出特定行为，还不会引发灾难性遗忘。对资源有限的开发者来说，这个选项很有吸引力。

3. 递归自我改进（RSI）的新路径

眼下AI的自我改进大多走“写代码、训练、评估”这个循环。要是AI能直接检查并修改自身或下一代的权重，这条反馈回路会变得更直接、更高效，也可能加快通向更高级智能体的进程。

4. 跨架构的模型合并

目前的模型合并技术（如Model Soups）通常要求模型架构一致。如果LLM能理解权重的功能语义，它或许能把一个模型里的“推理模块”抽出来，移植到架构完全不同的另一个模型上，真正做到功能模块的复用。

结语

MIT这项研究照出一个正在成形的现实：大语言模型不只是文本生成器，它们正在变成连接人类意图与神经网络底层结构的翻译器。

过去训练模型有点像炼金，投进数据，等着产出黄金。往后，我们也许能像程序员调试代码那样，直接钻进模型的“大脑皮层”，精准切掉病灶，或者植入新的思维片段。

当然，新问题也跟着来。改权重要是变得这么容易，恶意篡改模型的风险就会上升。怎么守住模型权重的完整性，会是下一个要紧的安全议题。

但不管怎样，权重空间编程开了一扇窗，让我们能窥见神经网络内部那些过去说不清的秘密。这既是技术往前迈了一步，也意味着我们对智能本质的理解又深了一层。