Opus 5.5手写权重:13类任务100%准确率,颠覆反向传播?
微软团队推iWSP,让大模型手写透明神经网络权重。
13类复杂算法任务、26次独立运行,一个全新的神经网络在隐藏测试集上准确率全部达到100%。
没有喂海量数据,也压根没用「反向传播」和「梯度下降」,整个过程就是这么跑完的。
这个满分网络小巧到近乎晶莹剔透,出自Claude
Opus 5.5之手——它用代码一行一行直接「手写」了出来。
微软研究院近日与约翰斯·霍普金斯大学、哥伦比亚大学、纽约大学合作,发布了一项名为「可解释权重空间编程(iWSP)」的新研究。
研究给出的结论是:前沿大语言模型已经能绕开传统优化器,按照固定的评测反馈精准构思计算逻辑,再以代码形式把算法直接写进Transformer的权重里,手法如同外科医生。

不用反向传播,AI直接当起「钟表匠」
深度学习常被人戏称为「炼丹」。
那场面就像一群盲人围着一台布满几亿个旋钮的巨大控制台,谁也看不清里面长什么样,只能靠机器偶尔发出的「报错声」,摸索着拧这个、转那个。
几万步迭代下来,机器居然真就正常运转了,某些任务甚至比人类自己还高,堪称「原地飞升」。
可你要是追问一句:哪个旋钮管逻辑?哪个旋钮管记忆?没人答得上来。
效果拔群,原理不详——旋钮拧对了是玄学,拧错了是事故,中间隔着一整片无人能解释的黑箱。
工程应用上,只要预测得准,这勉强可以接受。但在脑科学、物理学等极其严肃的科学探索中,这个缺陷太致命。
研究团队点出的核心痛点正是如此:
神经网络预测得很好,但很难被理解。在以『解释』为终极目标的科学领域,这是一个严重的问题。
拿神经科学来说,深度编码模型能非常准确地预测大脑对自然刺激的反应,可它们根本说不出,究竟是刺激中的「哪些特征」驱动了这些反应。
为了打破这个死局,微软团队提出了iWSP。他们的决定是:不许用反向传播,直接让AI去设定那些旋钮。
在iWSP的框架中,Opus 5.5化身为创世者。
它把传统的工作流整个翻了过来:
纯粹的推理:面对任务,系统不允许Opus进行任何基于梯度的训练。每次迭代,智能体只能看到一个单一的验证分数(Validation score)。
Opus 得从自己的先验知识里调出东西,先想清楚一套计算的思路。接着它动手写 Python 代码,把特征一个个明确摆出来,靠这些代码把这套思路落成一个个具体的权重数值。
闭环迭代:Opus评估这些特征,重复利用已知的正确模块,并根据那个单一的分数反馈,不断修改代码。

平均下来,每次要跑39轮左右。
最终诞生的,是一个人类可以像阅读普通书籍一样,从头读到尾的「透明」Transformer。
它的每一个部分、每一行权重,都是AI「有意写就」。
反常识的真相
这项实验让人拍案叫绝的地方,不只是AI造出了AI。它还揭开了一个跟直觉拧着来的真相。
在AI圈子里,「大力出奇迹」一直被当成信条:千亿参数才算起步,万亿参数才叫未来,神经网络嘛,越大越能干。
可论文里的数据把这个常识直接翻了个面。13类算法实验中,AI「手搓」出来的模型,最终在隐藏测试集上全部拿到100%的准确率。
更神奇的现象出现在对比Anthropic家族不同级别模型的时候:算法题同样写到全对,AI越强,写出的网络反而越小。
相对基础的Haiku 5.5,手写网络的参数量中位数高达100,000个;中等档的Sonnet 5.5,这个数字是41,600个。
当前最强的Claude模型Opus 5.5,手写网络的参数中位数只有极其夸张的166个!

166个参数,放在这个动辄千亿、万亿参数的大模型时代,简直就像一颗微尘。难怪有人建议大家把「166个参数」打在公屏上。
这么离谱的差距,到底是怎么来的?
日志记下了Opus的「心路历程」:它的策略是先想办法写对,再一轮一轮地往小里删。
一开始,为了保证逻辑能跑通,Opus也会先写一个大概3400个参数的网络。在可见集拿到100%满分后,它开始疯狂精简代码——剔除冗余计算,压缩复杂矩阵,硬生生把平均3400个参数删到了200个上下。

这好比优等生和差生的差别:差生(Haiku)没弄懂公式的道理,碰上不会的题只能硬背,把各种可能情形一股脑装进脑子里,于是得备一本10万个参数的「大笔记本」;优等生(Opus)把算法的本质摸透了,算得出一条最核心的规则,一张166个参数的「小纸条」就够了。
这个发现极其震撼。它证明了:如果能找到真正正确的逻辑,解决复杂问题根本不需要堆砌。

从数学题到人类大脑,让科学免于「被糊弄」
费这么大劲,让AI手搓几个做数学题的极小模型,到底有什么用?答案是为了真正的科学发现。
科学界眼下正面临一个尴尬的困境。拿神经科学来说,科学家为了搞懂人类大脑,会使用现成的深度学习黑盒模型来预测大脑的反应。
模型预测得确实很准,但科学家傻眼了:用一个搞不懂的黑盒,去预测另一个搞不懂的黑盒(大脑),预测对了又有什么用?大脑到底是怎么工作的,还是不知道!
要的是「解释」,光有「预测」不够。微软团队这套iWSP方法恰好在这件事上派上了用场。
原因在于,它生成的网络内部逻辑是透明的。团队把这个方法直接搬到了难度极高的大脑数据(Brain Encoding Models)上:语言fMRI(功能性磁共振成像)实验里,iWSP表现相当亮眼。
大脑数据集本身很复杂,若改用传统反向传播来训练,黑盒模型为了拿高分,会悄悄利用数据里的瑕疵作弊,而科学家压根察觉不到。
换成iWSP,Opus 4.7把模型一步一步明白地写了出来。科学家分析这个全透明模型时立刻发现不对:它精准地揪出了数据集里的一个混杂漏洞。
问题就这样被直接摆到了明面上。

视觉皮层任务里也一样,iWSP的预测效果压过了现有的可解释模型,还把早期视觉区域和高级视觉区域各自如何进行不同计算展示得清清楚楚。

在听觉ECoG到了(皮层脑电图)数据上,它成体系地找出并定义了那些能预测神经活动的「可解释声学特征」。

借助iWSP,AI真成了帮科学家发现真理的显微镜。
AI自主进化的黎明时刻
读到这里,不少人怕是要激动地喊出来:深度学习「炼丹时代」结束了!往后训练大模型不用再买几万张英伟达H100显卡,让超级AI直接写权重就行!
且慢。
不过,iWSP在纯算法任务和脑响应预测里表现非凡,一到自然语言处理(NLP)任务就撞了墙。
情感分类这类NLP任务中,人类语言的特征高度模糊、非结构化,幽默、反讽、多义词到处都是,压根没有绝对清晰的「数学公式」或「计算模块」能往里套。
碰上这种任务,Opus 5.5就显得颇为吃力。
为了够到一定准确率,它只能拼命堆特征,模型参数量被迫膨胀到19万个左右。更残酷的是,参数涨到19万,情感分类也只到72%;四个语言任务里,复述判断那个连「全猜最常见答案」的基线都没过。
这就点出了iWSP当前的核心局限:它眼下主要擅长「重组已知的算法和计算模块」。
复杂表征的涌现,目前依然离不开海量数据和梯度下降。
所以,绝不能据此认定通用大模型(AGI)已经不需要训练了。
真正底层的基座模型,依然得靠算力的「暴力美学」。
即便如此,微软这项研究仍是AI史上一个迷人的里程碑。
它向世界证明:在特定场景下,神经网络可以摆脱「盲目进化」。
参考资料:
https://arxiv.org/abs/2611.18114
https://github.com/csinva/weight-space-programming-autoresearch