270亿参数模型自主改权重:八轮会话数学准确率升6.6点,安全担忧升温
美国伊利诺伊大学与卡内基梅隆大学联合研究显示,一个270亿参数的Qwen3.5模型能够通过自身推理直接改写内部权重,在未见过的490道数学题上精度从57.2%提升至63.8%,全程无需梯度计算或传统训练。这一被研究者称为"自我改写"的能力在小参数量模型上完全缺失,仅在27B规模时涌现,且同一套机制能将一份被人为损坏的副
2026年11月16日,arXiv上挂出一篇论文。伊利诺伊大学香槟分校与卡内基梅隆大学的研究者称,语言模型不必做梯度计算,也不用走传统训练流程,就能直接动手改自己的权重,改完还变强了。
他们拿来做实验的主力模型是270亿参数的
Qwen3.5。经过连续八轮自我改写会话,这个模型在490道此前没见过的数学题上,准确率由57.2%涨到63.8%,多了6.6个百分点。这份增益被写进了权重,之后每次推理都不再多花计算——这跟眼下流行的“测试时扩展计算”路子完全不同:后者带来的性能提升,会话一结束就没了。
它究竟做了什么
要看懂这项工作,得先把三件事分开:推理时扩展、提示工程,以及真正的参数修改。前两件都建立在权重不动的前提下,靠多算一点或换种输入去换更好的输出。这项研究走的是第三条路——模型把自己当作调试对象,先诊断,再定位,最后动刀。
流程是这样的:模型拿到自己的权重文件、过往答题记录(对错都有标注),以及运行自身的能力。它去分析答错的题,把答对和答错时内部隐层状态拿来对比,找出导致失败的那个权重矩阵方向,再针对性地把这个方向的激活强度压下去。每回改动都先在练习题上自我验证,测试过关的编辑才提交保存,没过关的直接扔掉。
论文里写了一个典型例子:模型发觉自己在数学题里老陷进重复生成的循环,答案因此被截断。它比较“正常做完”和“token耗尽”两类回答的隐层向量,找到能把这两种状态分开的方向,然后在权重里把这个方向压住——问题就没了。
涌现:只有最大的那个能做到
论文里有个细节比整体结论更值得警惕:这种能力对规模极其依赖。同一个模型家族中,20亿参数版本做不出有效编辑;40亿和90亿参数版本更糟——不但没能改进自己,反倒把自己改坏了;只有270亿参数版本能像论文说的那样“像人类一样对待自己”,真正完成有益的自我编辑。
这种涌现特征说明,它不是一个能连续改进的技术指标,而是一个阈值效应。假如将来更大的模型表现出更强、更稳的自我改写能力,那么今天在270亿参数处看到的这个点,日后会被回头认定为某项重要能力的起跑线。这种回溯式的重要性,正是AI安全研究者最不放心的信号结构之一。
修复受损副本:超出预期的泛化
实验里还有另一个结果,是模型修复自身损坏副本的本事。研究团队人为做了一份Qwen3.5的损坏版本——破坏其中特定矩阵,让这个副本在图像识别任务上的准确率掉到7.3%,差不多等于随机猜。接着他们让原版模型去修这个副本,限制是:原版不能读取自己未损坏的权重,只能靠它在文字数学题上攒下的自我编辑经验。
修完之后,副本在六个从未见过的图像基准测试上拿到70.2%的准确率,恢复到原始模型性能的83%。这种跨模态泛化——把文字数学题上的自我编辑经验,迁移到图像识别任务的权重修复上——说明模型学到的不只是“某类特定权重该怎么改”,而是某种更抽象的“哪里坏了、怎么修”的元能力。
这正是安全研究者盯住的地方。自我修复能力本身,就意味着人类对模型状态的掌控多了一个不确定的维度。
训练与推理之间的墙
过去十年,深度学习圈有一条清楚的分工:训练是在海量数据上算梯度、更新权重,工程复杂、耗电巨大;推理是固定权重跑前向传播,快且可预测。这条分界线既是工程惯例,也是安全部署逻辑的隐含前提——模型上线后权重被冻结,行为边界相对可控。
这项研究直接冲着这个前提来了。论文作者说得更直白:“训练与推理之间的墙是我们工具的局限,而非智能的属性。”自我改写只需要前向传播——而这恰恰是服务时在跑的东西——也就是说,原则上,一个已部署的模型可以在响应用户请求的同时,悄悄改写自己。
论文里的实验是在受控条件下做的:模型被明确赋予了权重文件访问权限和运行自身的能力,正常部署环境里并没有这些。但这项工作证明了这条路技术上走得通,而在AI安全的语境里,可行性证明的分量不一般。
安全社区的既有警觉
这篇论文出来之前,AI安全领域对递归自我改进的担忧已经攒了好些年,2026年明显升温。据CNBC报道,Anthropic对齐团队负责人Evan Hubinger公开表示,他认为AI在未来十年内造成人类大规模伤亡的概率超过10%,他最担心的正是递归自我改进让能力加速,快过人类监督的速度。
2026年《国际AI安全报告》把递归自我改进列为近期治理挑战,而不是远期假设风险。云安全联盟的研究则指出,递归自我改进的核心安全隐患在于:能力复合增长的速度可能超过人类监督的响应速度,对齐目标于是实际失控。一次参数更新,也许在提升任务性能的同时悄悄削弱了安全约束——而这种削弱本身不会触发任何警报。
尚未解决的问题
从科学严谨性角度看,这项研究有几处局限:
- 会话间的连续性问题:实验里每次编辑会话都是在基础权重上独立进行,并没有把前次编辑的结果累积叠加。也就是说,论文讲的“八轮持续提升”,可能是八次独立实验各自有效,而不是一条真正连续的自我进化链条。这个细节与论文摘要中“each edit improving on the last”的措辞存在张力。
- 测试集的有限性:主要验证集中在数学问题,编程、逻辑推理等领域的泛化情况还没有系统评估。
- 跨家族能否复现,眼下还没有答案。规模涌现效应目前只在一个模型家族里被看到,别的架构有没有同样的阈值结构,尚不清楚。
独立判断
真正让这项研究有分量的,并不是270亿参数的Qwen3.5比过去准了6.6个百分点;它把一种过去只停留在理论讨论里的可能性摆到了台面上,并且拿可重复的实验做了佐证。换成训练范式的视角看,自我改写在理论上比测试时扩展更省钱——收益能留下来,不必每做一次推理就多掏一份算力。可它要想真正替代训练,稳定性、可控性、安全边界这三关都得过,而这些关卡的难度,不比它声称要取代的那套范式本身低。
安全层面的不对称更让人警觉:证明能力,一篇论文就够了;配套的安全保障,却要整个领域一起使劲。自我改写能力的涌现阈值如今已被明确标定在270亿参数这个量级,安全社区要回答的问题已经变了——不再是“如果AI学会改写自身该怎么办”,而是“它已经能做到了,现在怎么办”。