Opus 5.5手写Transformer权重:13类任务全过,不用反向传播
不用训练!Opus 5.5直接手写Transformer权重,13类任务全拿100%,算法,原理,神经网络,opus

新智元报道
![]()
13类复杂算法任务、26次独立运行,一个全新的神经网络在隐藏测试集上准确率全部达到100%。整个过程中没有喂进海量数据,连「反向传播」和「梯度下降」都没用上。
这个满分网络小巧到极点、通透得近乎透明,出自Claude
Opus 5.5之手——它用代码一行一行直接「写」了出来。
微软研究院近日与约翰斯·霍普金斯大学、哥伦比亚大学、纽约大学组成团队,发布了一项名为「可解释权重空间编程(iWSP)」的新研究。
研究给出的结论是:前沿大语言模型已经能绕开传统优化器,根据固定的评测反馈,像外科医生那样精准设计计算逻辑,再以代码形式把算法直接写进Transformer的权重。

不碰反向传播,AI改行当「钟表匠」
深度学习常被人调侃成「炼丹」。
那场面就像一群盲人守着一台几亿个旋钮的巨型控制台,里面长什么样没人看得见,只能靠机器偶尔发出的「报错声」,一点点试着拧这个、转那个。
几万步迭代下来,机器竟然真的运转起来了,有些任务的表现还超过人类自己,堪称「原地飞升」。
可要追问一句:哪个旋钮负责逻辑?哪个旋钮负责记忆?没人答得出来。
效果拔群,原理不详——旋钮拧对了靠玄学,拧错了就是事故,中间横着一整片没人能解释的黑箱。
落到工程应用上,只要预测够准,这勉强能接受。可放到脑科学、物理学这类极其严肃的科学探索里,这个缺陷就太致命了。
研究团队点出的核心痛点正是如此:
神经网络预测得很好,但很难被理解。在以『解释』为终极目标的科学领域,这是一个严重的问题。
拿神经科学来说,深度编码模型能相当准确地预测大脑对自然刺激的反应,可它们根本说不清,究竟是刺激里的「哪些特征」驱动了这些反应。
为了打破这个死局,微软团队提出iWSP,定下的规则是:不许用反向传播,直接让AI去设定那些旋钮。
在iWSP框架里,Opus 5.5扮演的是创世者的角色。
它把传统工作流整个翻了过来:
只做推理:面对任务,系统不允许Opus进行任何基于梯度的训练。每轮迭代,智能体只能看到一个单一的验证分数(Validation score)。
手写权重:Opus得调动自己已有的先验知识,构思一套计算逻辑,然后直接写Python代码,把特征显式写出来,将这套逻辑落成具体的权重数字。
闭环迭代:Opus对这些特征做评估,复用已知的正确模块,再依据那一个分数反馈不断改代码。

平均下来,每次跑39轮左右。
最终得到的是一个「透明」Transformer,人类可以像读普通书籍一样从头读到尾。
它的每个部分、每一行权重,都是AI「有意写就」。
这项实验真正让人拍案的地方,不只是AI成功造出了AI。它背后还藏着一个反常识的真相。
过去在AI圈子里,大家信的是「大力出奇迹」——千亿参数只算起步,万亿参数才是未来,神经网络越大越能干。可这篇论文的数据,直接把这个常识翻了过来。
13类算法实验里,AI「手搓」出来的模型,最终在隐藏测试集上全部拿到100%的准确率。
但把Anthropic家族不同级别的模型放在一起比,怪事就来了:算法题同样写到全对,AI越强,写出的网络反而越小。
相对基础的Haiku 5.5,手写网络的参数量中位数高达100,000个;中等Sonnet 5.5需要41,600个;到了当前最强的Claude模型Opus 5.5,这个数字只有166个。

166个参数,放在动辄千亿、万亿参数的大模型时代,简直像一粒微尘。
差距为什么这么离谱?日志里记下了Opus的「心路历程」:它的策略是先想办法写对,再一轮一轮往小里删。
一开始为了保证逻辑跑通,Opus也会先写一个大约3400个参数的网络。在可见集拿到100%满分之后,它开始疯狂精简代码——剔除冗余计算,压缩复杂矩阵,硬是把平均3400个参数删到了200个上下。

这有点像学霸和学渣的区别。学渣(Haiku)没弄懂公式背后的原理,遇到不会的题就靠死记硬背,把所有可能的情况都塞进脑子,得备一本10万个参数的「大笔记本」;学霸(Opus)看透了算法本质,直接提炼出最核心的计算规则,一张166个参数的「小纸条」就够了。
这个发现相当震撼:只要能找到真正正确的逻辑,解决复杂问题根本不用堆砌。

从数学题到人类大脑,让科学免于「被糊弄」。你可能会问:费这么大劲,让AI手搓几个做数学题的极小模型,到底有什么用?
答案是:为了真正的科学发现。科学界眼下正面临一个尴尬的困境。拿神经科学来说,科学家为了搞懂人类大脑,会用现成的深度学习黑盒模型去预测大脑的反应。
预测确实很准,可科学家傻眼了:用一个搞不懂的黑盒,去预测另一个搞不懂的黑盒(大脑),预测对了又怎样?大脑到底怎么工作,还是不知道。
我们要的是「解释」,光有「预测」不够。
这正是微软团队iWSP方法派上用场的地方——它生成的网络,内部逻辑是透明的。团队把这套方法搬到了难度极高的大脑数据(Brain Encoding Models)上,语言fMRI(功能性磁共振成像)实验里,iWSP表现抢眼。
大脑数据集本身很复杂,若沿用传统的反向传播训练,黑盒模型为了拿高分,会悄悄钻数据瑕疵的空子作弊,而科学家压根察觉不到。
换成iWSP,Opus 4.7把模型一步步明明白白写了出来。分析这个全透明模型时,研究人员立刻觉出不对:它精准揪出了数据集里的一个混杂漏洞,直接把这问题摆到了明面上。

视觉皮层任务同样如此,iWSP的预测效果压过现有可解释模型,还把早期视觉与高级视觉区域里大脑如何执行不同计算展示得清清楚楚。

听觉ECoG(皮层脑电图)数据上,它成体系地找出并定义了那些能预测神经活动的「可解释声学特征」。

借由iWSP,AI真成了帮科学家发现真理的显微镜。
AI自主进化的黎明时刻
读到这里,不少人怕是要激动地喊:深度学习的「炼丹时代」到头了!往后训大模型不必再买几万张英伟达H100显卡,让超级AI直接写权重就完事!
且慢。
不过,iWSP在纯算法任务和脑响应预测里表现非凡,到了自然语言处理(NLP)任务上却碰了壁。
情感分类这类NLP任务,人类语言的特征本就高度模糊、非结构化,幽默、反讽、多义词随处可见,找不出绝对清晰的「数学公式」或「计算模块」可直接套。Opus 5.5应付起来颇为吃力:为了凑出一定准确率,它只能拼命堆特征,模型参数量被迫涨到19万个左右。更残酷的是,参数到了19万,情感分类也只做到72%;四个语言任务中,复述判断那一项连「全猜最常见答案」的基线都没越过。
这暴露了iWSP眼下的核心局限:它主要擅长「重组已知的算法和计算模块」。复杂表征的涌现,目前仍离不开海量数据和梯度下降。
所以,绝不能就此认定通用大模型(AGI)已经不用训练了。真正底层的基座模型,照样得靠算力的「暴力美学」。
话虽如此,微软这项研究仍是AI史上一座迷人的里程碑:它向世界证明,在特定场景下,神经网络可以不再「盲目进化」。
参考资料:
https://arxiv.org/abs/2611.18114
https://github.com/csinva/weight-space-programming-autoresearch
