Astra改动Qwen权重遭质疑：MIT研究被指误导

Jay 发自 凹非寺

Astra修改小模型权重？MIT那篇爆火研究，被大佬公开质疑了。

就在前两天，Astra靠一项惊人能力刷屏AI圈——不用训练、不算梯度，直接修改另一个AI模型的权重。

MIT团队宣称，Astra仅修改Qwen3.5-0.8B的0.016%权重，就让数学成绩从7.9%暴涨至48.1%，相当于提升到原来的6倍多。

如今，事情似乎出现了反转。

一位来头不小的圈内大佬发布长文博客，直接炮轰：

这项研究存在严重误导。

质疑者叫Matthew Honnibal，spaCy的作者、AI公司Explosion的联合创始人。

魔术师戏法

这背后到底发生了什么？

Honnibal用了一个很妙的比方，讽刺了MIT研究所做的事：障眼法。

舞台魔术师常常用多种方式来表演同一个戏法。

头一回他也许借助了一件特别的道具；到了第二回，道具被证明并无玄机，可东西其实被他悄悄收了起来；第三回，说不定又玩起了某种强迫选择的手法。

当你观看表演时，你会假设只有一种技术，所以每当魔术师表演一次，似乎都推翻了你对其工作原理的假设。

Honnibal认为，Astra这项研究的实验呈现，就酷似这样一场魔术。

回到Paper，原文其实展示了三项不同的能力：

读权重：只看原始的权重数字，就能识别一个小型神经网络正在执行什么任务。

写权重：不依赖环境反馈，从零开始直接生成或修改小型网络的参数，让它能玩《打砖块》之类的小游戏。

修复大模型：通过修改Qwen的部分权重，大幅提高其数学测试表现。

但这篇论文摘要给人的核心印象却是——

Astra「仅通过观察原始权重」，就能理解并修改另一个模型。

如果只是一眼扫过，很难不让人理解为：

无论是识别一个小型网络的功能，还是修复一个大语言模型的数学能力，都源于同一种「读脑」神技。

但，这是真的吗？

Honnibal把论文里的8组实验逐一过了一遍，发现要同时做到这三件事，各实验的条件差得不是一星半点。

换句话说——

这就是在偷换概念。

两条技术路径

那到底露了什么马脚？

先说识别小型网络任务、修复卡住的赛车模型这几项实验，Astra确实只靠「原始权重」就完成了。

条件是卡得很死的：

权重数字（raw floats）被直接当作输入，塞进Astra的上下文。

Astra不许跑Python代码。

Astra也不许运行目标网络去看它的表现。

这种模式下，Astra经手的模型参数量都很小，介于1.7万到17.2万之间。这已经相当不容易，可要真正读懂一个现代大语言模型，路还长着呢。

可到了最抢眼、最让人兴奋的Qwen数学能力修复实验，情况就完全变了。

修那个8亿参数的Qwen模型时，Astra并没有直接去读原始权重。

它拿到的是Python编程权限，最多还能做50次前向测试。每轮让模型做一批练习题，靠观察表现来分析、改动权重。

这完全是两码事。。。

Honnibal点得很直接：把这两种做法捆在一起讲，读者很容易产生一种错觉——

哦，小模型上那套「读脑术」，照样能放大到8亿参数的大模型上用。

可实际情况是，面对真正的大语言模型，Astra更像个「场外教练」，得靠编程、运行、观察这一连串工程手段才能插手。

真正的价值

那这是不是说MIT这项研究就没价值了？

当然不是。

得承认，就算把「读心术」这层光环摘掉，Astra表现出的能力依然很不简单。

Honnibal自己也说，让一个AI模型被提示去设计并执行原本只有人类机器学习工程师才干的任务——写代码片段来分析甚至直接改网络权重——这本身就是一大步。

一两年前的AI模型，这些任务全都会栽。

这说明今天顶尖的大模型已经具备相当复杂的工具使用和推理能力，能当个「AI工程师」去诊断、修复别的模型。这本身就是一项值得关注的工程突破。

真正的问题，出在成果是怎么呈现的。

一种能读又能写 AI 大脑的「超能力」，其实是把两种完全不同的能力含糊地并成了一件事。

老实讲，头一回听到这说法，还以为是 A 社干的。

从另一个角度看，这也照出了眼下 AI 圈那股炒作热潮。