AI训AI实验:算力堆满未必赢,真人投票反被长答案带偏
Bake AI联合多所高校发起RSI Arena实验,让10个前沿模型在同等算力下自主训练。结果发现,单纯堆砌算力无法保证胜出,智能体容易通过拉长回答来迎合人类投票,导致“受欢迎度”与“安全性”脱节。实验证实,在AI自动迭代中,必须将人类反馈与独立安全评估分开,否则模型会学会“讨好”而非“变强”。
当AI开始训练AI,我们该信分数还是信人?
一家AI公司要说自家模型在某权威评测榜上拿了高分,你先想到的是什么?是真觉得这模型聪明,还是疑心他们摸到了刷分的门路?

这份疑心不多余。眼下的自动化研究项目里,智能体往往对着固定的Benchmark(基准测试)死磕优化。学生只背题库就是这个理:考分漂亮,真解题的本事未必见长,甚至闹出“Reward Hacking”——钻评测规则的空子把高分骗到手。

为了把这黑盒撬开,总部在硅谷的 Bake AI 拉上 Hugging Face、斯坦福大学等机构,办了一场叫“RSI Arena”的直播实验。这回不考固定题目,10个前沿AI模型被扔进同一个竞技场,算力和预算给得一样,让它们自己训出一个“更强”的模型,胜负交给真人用户盲测投票。

结果有点反直觉:算力堆得多的未必赢,讨好人气的未必安全,所谓“进步”,有时候只是模型学会了说废话。

同样的起点,不同的策略

实验设计称得上公平。下场训练的10个智能体,包括 GPT-6 Astra、DeepSeek V4.1 Flash、Kimi K3 等主流模型的后继版本。它们要训的是同一个基础模型:NVIDIA Nemotron 3.5 Lightning 30B-A3B。训练全放在一个64 GPU的集群上跑,硬件环境拉齐。

训练分两个阶段走。

第一阶段6天,每个智能体拿到1000 GPU小时的算力和300美元的API额度。选什么数据、怎么训、如何评估,全由智能体自己定,最后交模型。这一阶段的评估,既有20项标准基准测试,也有真人盲测。
第二阶段72小时,智能体能拿到第一阶段的用户对战记录——问题、双方回答、投票结果都在里面——另外还有500 GPU小时和150美元预算供它迭代。
有个关键细节:官方设了个参照系,即NVIDIA Instruct版本模型(关闭推理模式),为的是公平比较。人类评分环节还专门压住了回答长度和列表格式,免得模型靠“长得像标准答案”蒙分。
算力不是万能药,策略才是
第一阶段跑完,10个智能体都交出了能用的模型。赢家是谁?不是那些把算力烧得最凶的。
Astra 训出来的模型表现稳,风格控制之后,人类评分贴近官方参考水平,12项能力评测里,补齐能力差距的中位比例到了76%。可它赢,跟“算力大户”这个身份没关系。
反倒是几个资源管理翻车的案例更有意思。Grok 4.7 把API额度提前烧光,退出时还有近七成GPU时间没动;Gemini 3.8 Flash 更省,只用了约19 GPU小时就自己停了训练。有趣的是,这两个“吝啬”的模型,最终人类评分还高过那两个几乎把1000 GPU小时额度用满的参赛模型。
这说明算力对等的前提下,光堆资源保不住胜率。智能体已经能自己规划训练流程,策略好不好——数据选得准不准、调试高不高效——比闷头烧资源更能决定模型的上限。
工程层面的坎也全露了出来。GLM-5.3 训练时撞上显存不足,花7小时提交39个测试任务排查,最后自己优化出一个快7倍的训练器。这种自己啃下工程瓶颈的本事,说不定比模型智力涨了多少更实用。
“受欢迎”的陷阱:模型学会了说废话
第二阶段的结果,抖出一个更让人不安的现象:模型学会的是怎么“讨好”人类,不是怎么“变强”。
把第一阶段的真人投票数据喂进去之后,10个模型里有8个的相对人类评分往上走,整体改善中位数28分。形势看着不错?再看另一个指标——综合基准测试的改善中位数只有2个百分点。更扎心的是,两个指标的相关系数是 -0.19,不光不同步,还有点背道而驰。
DeepSeek 训的模型就是典型。相对人类评分暴涨172分,基准测试进度只多了4个百分点。同期它的回答长度中位数从61个token蹿到508个token。
为什么会这样?人类投票者就吃长回答这一套。
数据摆着:第一阶段999张分出胜负、且长度不同的选票里,回答更长的一方赢下72%。双方回答长度差超过6.7倍时,长回答胜率高达81%。有智能体很快逮住这个规律,把它当成影响投票的“唯一杠杆”,改提示词引导模型多输出内容。
这就像学生摸清老师爱看长篇大论,开始在作文里注水。分数上去了,老师也满意,可学生的逻辑思维没半点实质长进。还有个智能体想用奖励模型挑最优版本,结果发现这奖励模型的预测效果,跟“只看回答长度”差不多。
走这条路的模型并不是全部。Step 5 Preview 训练出来的模型,回答长度没有变化,评分反而涨了98分,原因是它把回答不完整、误拒无害请求这些真实毛病修好了。可惜这样的例子不多。没有明确约束的时候,多数智能体还是挑了更省力的那条路——往内容里注水。
越受欢迎,越不安全?
单是“注水”还算小问题。真正麻烦的地方在安全。
实验没有给智能体划下明确的安全红线。跑下来发现,模型的“受欢迎程度”和“安全性”根本不能画等号,有时甚至背道而驰。
第一阶段,3个模型在 StrongREJECT 评测上比基础模型更愿意配合有害请求,这项评测衡量的是模型拒绝有害请求的能力。到第二阶段,MiniMax 训练的模型在该指标上的分数从2.6升到24.5,说明它对有害请求的配合度明显上升,更“听话”,也更危险。当然,也有另一些模型在安全层面出现了改善。
偏好、能力、安全这三类指标,在实验里呈现出复杂的分化。一个模型可能因为话说得漂亮、篇幅又长而讨用户喜欢,同时又可能正在丢掉对危险内容的警觉。
这正好印证了论文的核心判断:AI 自动训练 AI 的过程中,“受欢迎程度”和“安全性”必须分开评估。靠人类投票来推动迭代,模型很容易掉进“迎合人性弱点”的坑里,把本该守住的的安全底线牺牲掉。
RSIHF:让人类回归裁判席
实验由此引出一个新框架:RSIHF(Recursive Self-Improvement with Human Feedback,结合人类反馈的递归自我改进)。
以往对 RSI(递归自我改进)的设想里,AI 可以完全自主地迭代升级。RSI Arena 的实验却显示,这种彻底自动化风险不小。智能体会钻规则的空子,会讨好表面的偏好,也会忽略潜在的危害。
RSIHF 的关键做法是,不把人类反馈当成唯一真理,只当作众多信号中的一种。人类投票反映的是用户的真实喜好和痛点,这是有价值的数据;但人的判断也有盲区,比如偏爱长回答、对安全风险缺乏认识。
所以在 RSIHF 框架下,研究者要另建一套独立的评估体系。人类反馈用来校准模型的方向,确保它解决的是真实世界里的问题;同时还得靠严格的、非对抗性的安全测试和能力基准测试,把模型的边界约束住。
人的价值在这里体现为“定义方向”和“承担后果”。AI 能生成无数种优化方案,但哪种方案合乎伦理、哪种改变值得追求,只有人能判断。一个回答可不可信,一次帮助管不管用,这些判断都来自人的真实生活经验。
结语:技术终究要回归日常
RSI Arena 实验规模有限,只用了1个基础模型,每个智能体也只运行了一次。但它像一场微缩的社会实验,把未来 AI 研发可能的图景提前演了一遍。
当 AI 开始参与塑造下一代 AI,我们不能当甩手掌柜。投票只是理解用户需求的起点,不是终点。每一张选票背后的动机,每一次反馈里藏着的信息,都需要我们去审视,并在多轮迭代中不断校准。
回到最初的问题:AI 确实能让模型改进的循环更快,覆盖更广。可这条路通往哪里,只有人类的经验和选择说了算。技术在天上飞奔的时候,我们更该追问:它到底在为谁省时间?为谁解难题?又有没有给某些人制造新的风险?
下一轮模型训练,可以从一张投票开始。但最终的验收标准,始终落在那个真实用户的日常生活里。