Astra改Qwen权重遭质疑：MIT研究被指实验条件差异大

Astra动小模型权重这事，麻烦来了。MIT那篇火出圈的研究，被圈内一位大佬公开挑刺。

就在前两天，Astra还靠着一样本事刷屏AI圈：不训练、不算梯度，直接把另一个AI模型的权重改掉。

MIT团队的说法是，Astra只动了Qwen3.5-0.8B的0.016%权重，数学成绩就从7.9%冲到48.1%，提升到原来的6倍多。

现在，风向好像变了。

一位分量不轻的业内大佬发了篇长文博客，火力全开：

这项研究有严重误导。

提出质疑的人叫Matthew Honnibal，spaCy的作者，也是AI公司Explosion的联合创始人。

魔术师戏法

事情到底怎么回事？

Honnibal打了个挺巧的比方，把MIT这项研究干的事讽刺成：障眼法。

舞台上的魔术师，表演同一个戏法常有好几种路子。

头一回，他也许用了件特制道具；第二回，他向你证明道具没毛病，可东西被他偷偷藏了起来；到第三回，可能又换成了某种强迫选择。

你看表演的时候，默认背后只有一种手法，于是魔术师每演一次，你对原理的猜测就被推翻一次。

在Honnibal看来，Astra这项研究在实验上的呈现方式，就跟这样一场魔术差不多。

翻回论文本身，原文其实摆出了三项不同的能力：

读权重：光看原始的权重数字，就能判断一个小型神经网络在干什么任务。

写权重：不靠环境反馈，从零直接生成或改动小型网络的参数，让它能玩《打砖块》这类小游戏。

修复大模型：改动Qwen的部分权重，把它的数学测试表现大幅拉高。

可这篇论文的摘要，给人的核心印象却是——

Astra「仅通过观察原始权重」，就能读懂并修改另一个模型。

要是只扫一眼，很容易被理解成：

不管是识别一个小型网络的功能，还是修复一个大语言模型的数学能力，都出自同一种「读脑」神技。

可这是真的吗？

Honnibal把论文里的8组实验仔细过了一遍，发现：这三件事的实现条件，差得不是一点半点。

换句话说——

这说白了就是偷换概念。

两条技术路线

那到底露出了什么破绽？

先说识别小型网络任务、修复卡住的赛车模型这类实验。Astra确实做到了「只看原始权重」。

可实验条件相当苛刻：

它把权重数字（raw floats）直接当输入塞进Astra的上下文。

Astra不许跑Python代码。

也不许执行目标网络去看它的行为。

这种模式下，Astra经手的模型参数规模都很小，介于1.7万到17.2万之间。这确实了不起，但离真正读懂一个现代大语言模型还差得远。

然而，最抓眼球、也最让人兴奋的Qwen数学能力修复实验，根本不是同一回事。

修那个8亿参数的Qwen模型时，Astra并没有直接读原始权重。

它被允许写Python，还能做最多50次前向测试。每次让模型做一批练习题，靠观察表现来分析和改动权重。

这压根是两码事。。。

Honnibal一针见血：把这两种方法捆在一起讲，读者很容易误以为——

哦，小模型上那套「读脑术」，照样能放大到8亿参数的大模型上用。

可实际情况是，面对真正的大语言模型，Astra更像个「场外教练」，得靠编程、运行、观察这一连串工程手段才能插手。

真正的价值

那这是不是说MIT的研究就没价值了？

当然不是。

得承认，就算摘掉「读心术」的光环，Astra露的这一手依然相当了不起。

Honnibal也讲得很直白：让一个AI模型被提示着去设计并执行原本只有人类机器学习工程师才干的任务——写代码片段来分析甚至直接改网络权重——这本身就是一大步。

一两年前的AI模型，这些任务全都得栽。

可见今天顶尖的大模型已经具备相当复杂的工具使用和推理本事，能当个「AI工程师」去诊断、修复别的模型。这本身就是一项值得关注的工程突破。

真正的问题出在成果怎么呈现。

两种截然不同的能力，被含糊地包装成一种统一的、能读写AI大脑的「超能力」。

说实话，乍一听还以为是A社干的事。。。

这事也从侧面照出眼下AI圈子里的炒作热度。

原文：https://honnibal.dev/blog/astra-read-write-misleading