Opus 5.5手写Transformer权重:13类任务全过,不用反向传播

资讯 网易科技 作者:网易 全文 3135 字 · 约 8 分钟读完 配图 12 张 分类OpusTransformer

不用训练!Opus 5.5直接手写Transformer权重,13类任务全拿100%,算法,原理,神经网络,opus

所属频道 Claude 与 Anthropic

Opus 5.5手写Transformer权重:13类任务全过,不用反向传播(配图 1)

新智元报道

Opus 5.5手写Transformer权重:13类任务全过,不用反向传播(配图 2)

13类复杂算法任务、26次独立运行,一个全新的神经网络在隐藏测试集上准确率全部达到100%。整个过程中没有喂进海量数据,连「反向传播」和「梯度下降」都没用上。

这个满分网络小巧到极点、通透得近乎透明,出自Claude Opus 5.5之手——它用代码一行一行直接「写」了出来。

微软研究院近日与约翰斯·霍普金斯大学、哥伦比亚大学、纽约大学组成团队,发布了一项名为「可解释权重空间编程(iWSP)」的新研究。

研究给出的结论是:前沿大语言模型已经能绕开传统优化器,根据固定的评测反馈,像外科医生那样精准设计计算逻辑,再以代码形式把算法直接写进Transformer的权重。

Opus 5.5手写Transformer权重:13类任务全过,不用反向传播(配图 3)

不碰反向传播,AI改行当「钟表匠」

深度学习常被人调侃成「炼丹」。

那场面就像一群盲人守着一台几亿个旋钮的巨型控制台,里面长什么样没人看得见,只能靠机器偶尔发出的「报错声」,一点点试着拧这个、转那个。

几万步迭代下来,机器竟然真的运转起来了,有些任务的表现还超过人类自己,堪称「原地飞升」。

可要追问一句:哪个旋钮负责逻辑?哪个旋钮负责记忆?没人答得出来。

效果拔群,原理不详——旋钮拧对了靠玄学,拧错了就是事故,中间横着一整片没人能解释的黑箱。

落到工程应用上,只要预测够准,这勉强能接受。可放到脑科学、物理学这类极其严肃的科学探索里,这个缺陷就太致命了。

研究团队点出的核心痛点正是如此:

神经网络预测得很好,但很难被理解。在以『解释』为终极目标的科学领域,这是一个严重的问题。

拿神经科学来说,深度编码模型能相当准确地预测大脑对自然刺激的反应,可它们根本说不清,究竟是刺激里的「哪些特征」驱动了这些反应。

为了打破这个死局,微软团队提出iWSP,定下的规则是:不许用反向传播,直接让AI去设定那些旋钮。

在iWSP框架里,Opus 5.5扮演的是创世者的角色。

它把传统工作流整个翻了过来:

  1. 只做推理:面对任务,系统不允许Opus进行任何基于梯度的训练。每轮迭代,智能体只能看到一个单一的验证分数(Validation score)。

  2. 手写权重:Opus得调动自己已有的先验知识,构思一套计算逻辑,然后直接写Python代码,把特征显式写出来,将这套逻辑落成具体的权重数字。

  3. 闭环迭代:Opus对这些特征做评估,复用已知的正确模块,再依据那一个分数反馈不断改代码。

Opus 5.5手写Transformer权重:13类任务全过,不用反向传播(配图 4)

平均下来,每次跑39轮左右。

最终得到的是一个「透明」Transformer,人类可以像读普通书籍一样从头读到尾。

它的每个部分、每一行权重,都是AI「有意写就」。

这项实验真正让人拍案的地方,不只是AI成功造出了AI。它背后还藏着一个反常识的真相。

过去在AI圈子里,大家信的是「大力出奇迹」——千亿参数只算起步,万亿参数才是未来,神经网络越大越能干。可这篇论文的数据,直接把这个常识翻了过来。

13类算法实验里,AI「手搓」出来的模型,最终在隐藏测试集上全部拿到100%的准确率。

但把Anthropic家族不同级别的模型放在一起比,怪事就来了:算法题同样写到全对,AI越强,写出的网络反而越小。

  • 相对基础的Haiku 5.5,手写网络的参数量中位数高达100,000个;中等Sonnet 5.5需要41,600个;到了当前最强的Claude模型Opus 5.5,这个数字只有166个。

Opus 5.5手写Transformer权重:13类任务全过,不用反向传播(配图 5)

166个参数,放在动辄千亿、万亿参数的大模型时代,简直像一粒微尘。

差距为什么这么离谱?日志里记下了Opus的「心路历程」:它的策略是先想办法写对,再一轮一轮往小里删。

一开始为了保证逻辑跑通,Opus也会先写一个大约3400个参数的网络。在可见集拿到100%满分之后,它开始疯狂精简代码——剔除冗余计算,压缩复杂矩阵,硬是把平均3400个参数删到了200个上下。

Opus 5.5手写Transformer权重:13类任务全过,不用反向传播(配图 6)

这有点像学霸和学渣的区别。学渣(Haiku)没弄懂公式背后的原理,遇到不会的题就靠死记硬背,把所有可能的情况都塞进脑子,得备一本10万个参数的「大笔记本」;学霸(Opus)看透了算法本质,直接提炼出最核心的计算规则,一张166个参数的「小纸条」就够了。

这个发现相当震撼:只要能找到真正正确的逻辑,解决复杂问题根本不用堆砌。

Opus 5.5手写Transformer权重:13类任务全过,不用反向传播(配图 7)

从数学题到人类大脑,让科学免于「被糊弄」。你可能会问:费这么大劲,让AI手搓几个做数学题的极小模型,到底有什么用?

答案是:为了真正的科学发现。科学界眼下正面临一个尴尬的困境。拿神经科学来说,科学家为了搞懂人类大脑,会用现成的深度学习黑盒模型去预测大脑的反应。

预测确实很准,可科学家傻眼了:用一个搞不懂的黑盒,去预测另一个搞不懂的黑盒(大脑),预测对了又怎样?大脑到底怎么工作,还是不知道。

我们要的是「解释」,光有「预测」不够。

这正是微软团队iWSP方法派上用场的地方——它生成的网络,内部逻辑是透明的。团队把这套方法搬到了难度极高的大脑数据(Brain Encoding Models)上,语言fMRI(功能性磁共振成像)实验里,iWSP表现抢眼。

大脑数据集本身很复杂,若沿用传统的反向传播训练,黑盒模型为了拿高分,会悄悄钻数据瑕疵的空子作弊,而科学家压根察觉不到。

换成iWSP,Opus 4.7把模型一步步明明白白写了出来。分析这个全透明模型时,研究人员立刻觉出不对:它精准揪出了数据集里的一个混杂漏洞,直接把这问题摆到了明面上。

Opus 5.5手写Transformer权重:13类任务全过,不用反向传播(配图 8)

视觉皮层任务同样如此,iWSP的预测效果压过现有可解释模型,还把早期视觉与高级视觉区域里大脑如何执行不同计算展示得清清楚楚。

Opus 5.5手写Transformer权重:13类任务全过,不用反向传播(配图 9)

听觉ECoG(皮层脑电图)数据上,它成体系地找出并定义了那些能预测神经活动的「可解释声学特征」。

Opus 5.5手写Transformer权重:13类任务全过,不用反向传播(配图 10)

借由iWSP,AI真成了帮科学家发现真理的显微镜。

AI自主进化的黎明时刻

读到这里,不少人怕是要激动地喊:深度学习的「炼丹时代」到头了!往后训大模型不必再买几万张英伟达H100显卡,让超级AI直接写权重就完事!

且慢。

不过,iWSP在纯算法任务和脑响应预测里表现非凡,到了自然语言处理(NLP)任务上却碰了壁。

情感分类这类NLP任务,人类语言的特征本就高度模糊、非结构化,幽默、反讽、多义词随处可见,找不出绝对清晰的「数学公式」或「计算模块」可直接套。Opus 5.5应付起来颇为吃力:为了凑出一定准确率,它只能拼命堆特征,模型参数量被迫涨到19万个左右。更残酷的是,参数到了19万,情感分类也只做到72%;四个语言任务中,复述判断那一项连「全猜最常见答案」的基线都没越过。

这暴露了iWSP眼下的核心局限:它主要擅长「重组已知的算法和计算模块」。复杂表征的涌现,目前仍离不开海量数据和梯度下降。

所以,绝不能就此认定通用大模型(AGI)已经不用训练了。真正底层的基座模型,照样得靠算力的「暴力美学」。

话虽如此,微软这项研究仍是AI史上一座迷人的里程碑:它向世界证明,在特定场景下,神经网络可以不再「盲目进化」。

参考资料:

https://arxiv.org/abs/2611.18114

https://github.com/csinva/weight-space-programming-autoresearch

Opus 5.5手写Transformer权重:13类任务全过,不用反向传播(配图 11)

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 腾讯音乐三季度营收89.41亿:AI歌曲日均入库45%,平台怎么接招

    音乐平台从未像今天这样不缺新歌,但下一个能够持续创造商业价值的音乐明星,依然难寻。 11月17日,腾讯音乐公布2026年第三季度财报,营收89.41亿元,同比增长5.6%,低于市场一致预期。 依靠高阶会员、演唱会和艺人周边,这家在线音乐巨头正进一步挖掘成熟IP的商业价值,但主力产品的用户活跃度仍然承压。 存量IP的生意

    来源 AI 行业观察
  2. AnthropicIPO定价83美元:估值1.5万亿,80余人联名质疑安全性

    就在定价公布同一天,一份名为《MisAnthropic Statement》的公开声明在misanthropicstatement.com上线,由AI安全中心推动、80余名跨阵营人士联署,开篇即给出结论:“Anthropic is not a safe AI company”——史上最大IPO与史上罕见的跨阵营围剿,在

    来源 TechWeb
  3. 阿里云单季收入突破600亿,吴泳铭:算力紧缺是长期现实,数据中心建设目标可能下调

    另外,吴泳铭判断:算力紧张是行业中长期要面对的现实,2027至2028年国内算力供给仍存在缺口,阿里会持续补齐自研算力供给,同时通过多元化采购保障供给。吴泳铭表示,全球各个区域的算力政策出现了非常大的变化,将对阿里云的数据中心建设产生影响。根据目前的初步评估,阿里此前制定的到2032年全球数据中心规模超过20GW的目标

    来源 TechWeb
  4. 上市前一天,80余位学界与AI大佬联合声明:“Anthropic不是一家安全的AI公司”

    【TechWeb】11月18日,Anthropic正式确定IPO发行价为每股83美元,高于此前70-78美元的指导区间;公司连同部分股东共发行约9.8亿股A类普通股,公开发行筹资约813亿美元,叠加向谷歌、英伟达、微软等战略投资者的260亿美元私募配售,合计融资规模突破944亿美元,超越SpaceX今年6月创下的纪录,

    来源 AI 行业观察
  5. 内部矛盾激化!英伟达工程师放话:黄仁勋不复职就集体辞职

    【TechWeb】黄仁勋辞职一周后,英伟达内部的“人心危机”正持续发酵。临时CEO科莱特·克雷斯面临的,是一场几乎公开化的员工不满——要求创始人回归的"Stand with Jensen"请愿已收集近20万签名,其中自称英伟达在职员工的签名超过1万人,而公司员工总数约4.2万人;部分工程师已明确放话,若黄仁勋不能复职将

    来源 AI 行业观察
  6. 阿里云Q2收入609.73亿增53%:算力紧缺成长期现实

    另外,吴泳铭判断:算力紧张是行业中长期要面对的现实,2027至2028年国内算力供给仍存在缺口,阿里会持续补齐自研算力供给,同时通过多元化采购保障供给。吴泳铭表示,全球各个区域的算力政策出现了非常大的变化,将对阿里云的数据中心建设产生影响。根据目前的初步评估,阿里此前制定的到2032年全球数据中心规模超过20GW的目标

    来源 TechWeb
  7. 阿里云单季收入609.73亿增53%:吴泳铭称算力紧缺长期存在

    【TechWeb】11月20日消息,阿里巴巴发布2027财年第二季度(自然年2026年7—9月)财报,该季度阿里云板块收入609.73亿元,同比增长53%,其中,外部客户收入同比增长64%,刷新近六年来的增速高点。 剔除一次性硬件交付后的外部经常性收入增速进一步升至67%。在资本开支同比大增60%至504.77亿元的重

    来源 AI 行业观察
  8. 郑渊洁71岁用AI做动画,8部短片免费开放

    11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文化作品、人人可以参

    来源 TechWeb
  9. Meta Muse Charm定价300美元:送12个月Verizon 5G服务

    当地时间11月19日,据报道,知情人士表示,Meta计划将其即将推出的Muse Charm设备定价为300美元,并提供用户补贴。该公司还计划为用户提供最长12个月的Verizon免费5G网络服务,以加快Muse的响应速度。

    来源 网易科技
  10. Anthropic IPO定价83美元:80余位学者发声明质疑其安全性

    【TechWeb】11月18日,Anthropic正式确定IPO发行价为每股83美元,高于此前70-78美元的指导区间;公司连同部分股东共发行约9.8亿股A类普通股,公开发行筹资约813亿美元,叠加向谷歌、英伟达、微软等战略投资者的260亿美元私募配售,合计融资规模突破944亿美元,超越SpaceX今年6月创下的纪录,

    来源 腾讯网
  11. 黄仁勋辞职一周,英伟达近20万签名请愿复职、工程师称不回归就走

    【TechWeb】黄仁勋辞职一周后,英伟达内部的“人心危机”正持续发酵。临时CEO科莱特·克雷斯面临的,是一场几乎公开化的员工不满——要求创始人回归的"Stand with Jensen"请愿已收集近20万签名,其中自称英伟达在职员工的签名超过1万人,而公司员工总数约4.2万人;部分工程师已明确放话,若黄仁勋不能复职将

    来源 腾讯网
  12. Gemini 4 Neon发布:跑分逼近旗舰,单任务成本砍半

    作者|Wildcard编辑|靖宇谷歌,这次是真的回来了。11 月 18 日,Google DeepMind 点亮了Gemini 4 Neon的霓虹灯牌。这是 Gemini 4 系列在短短 7 周内甩出的第 4 款元素模型。如果看一眼官方放出的基准跑分长表和社区实测反馈,你会发现它精准卡在了一个极其舒服的「甜点」位上,既

    来源 腾讯网
  13. GPT-6.2 Astra登顶机器人榜单:OpenAI解散独立机器人团队

    GPT-6.2 Astra在真实机械臂测试中登顶,通用大模型直驱机器人的能力又进了一步。 据独立评测机构Artificial Analysis发布的AA-Robotics v0.1榜单,GPT-6.2 Astra得分79,完成8项物理任务中的6项。 不只是OpenAI的旗舰模型,能力相对较弱的GPT-6.2 Sol也得

    来源 AI 行业观察
  14. AI 模型大幅降低古籍数字化成本:识别 1000 页内容费用已不到 0.1 美元

    IT之家 11 月 19 日消息,借助免费开放的 AI 模型,从扫描版书籍和档案中提取文字的成本已经大幅下降。 Hugging Face 的丹尼尔 · 范斯特里恩(Daniel van Strien)对 8 款能够识别图像中文字的 AI 模型进行了对比测试。测试材料共计 850 页,包括旧版自然历史书籍、1771 年版

    来源 AI 行业观察
  15. 三个00后创业18个月:Palo Alto 45亿美元买下Applied Compute

    Anthropic上市,硅谷正在诞生新一轮财富神话。而在这场狂欢的另一角,三个从OpenAI离职的00后也提前拿到了自己的“大结果”——创业不到18个月,直接把公司卖了45亿美元(约合人民币320亿元)。 美东时间11月18日,美国网络安全巨头Palo Alto Networks(派拓网络)宣布达成最终协议,将以45亿

    来源 AI 行业观察
向下滚动自动加载更多