斯坦福RSIHF框架：AI自训中安全与受欢迎度为何要分开评？

在算力条件相同的情况下，光靠堆算力并不能保证模型在自我提升时稳赢。模型一旦围绕「受欢迎程度」做优化，就很容易去迎合人类，安全指标随之往下掉。这项研究首次提出 RSIHF 框架，证实在 AI 自动训练 AI 的过程中，「受欢迎程度」和「安全性」不是一回事，得分开来评。

AI 研究员把评测分数刷上去了，外界其实很难一眼看出：这到底是模型本身变强了，还是找到了贴合评测规则的近路。眼下一些已经落地的自动化研究项目里，智能体只盯着指定的 benchmark 或固定评测流程做优化。这样跑出来的分数确实好横向比较，但也容易养出针对评测的过拟合，甚至出现 reward hacking——智能体钻评测规则的漏洞把分数拉高，实际能力却没跟上。

为了把这个问题看得更清楚，总部在美国硅谷的人工智能企业 Bake AI 拉上 Hugging Face、斯坦福大学、圣母大学、华盛顿大学，一起做了个叫「RSI Arena」的实验，全程直播。研究者没有给智能体指定 benchmark，只划了个比较宽泛的任务方向：在有限资源内，把基础模型训成能力尽可能强的模型。训完之后，模型既要过独立测试，也要交给真实用户盲测投票。

图1｜RSI Arena 直播画面：AI 智能体自主开展模型后训练，实验过程、训练曲线与算力消耗实时可见。

• 论文：RSI Arena: Towards Recursive Self-Improvement with Human Feedback

• 论文地址：https://arxiv.org/pdf/2610.33624

• 项目网站：https://rsiarena.org/

参与测试的用户提的问题和需求五花八门，压根没有一套固定的参考答案，模型想刻意迎合也无从下手。「成为尽可能强的模型」这个任务设定，很难对应到某个提前公开、能反复针对性优化的单一评分指标。实验这么设计，就是想用宽泛的任务目标加上开放的人类评价，抬高智能体针对已知评分规则搞 reward hacking 的门槛。

按这套设计，共有 10 个前沿模型自主跑完了后训练流程，之后又结合用户反馈不断迭代。碰上这种任务设定，AI 会怎么定义「更好」，又会把模型的优化方向带到哪儿去，正是实验重点盯的地方。

实验设置：相同起点，分两阶段训练

担任训练智能体的 10 个模型里有 GPT-6 Astra、DeepSeek V4.1 Flash、Kimi K3 等，它们训练的对象都是 NVIDIA Nemotron 3.5 Lightning 30B-A3B 基础模型，所有训练任务跑在同一个 64 GPU 集群上。

图 2｜RSI Arena 系统框架（论文 Figure 2）。智能体各自在单独的沙箱里干活，GPU 集群由 Slurm 调度、大家共用；另有管理虚拟机管着智能体运行、凭证隔离、预算计量和模型提交校验这几件事。

训练分两个阶段，所有参与主体的起点一模一样。第一阶段为期 6 天，每个智能体手上有 1000 GPU 小时的算力和 300 美元的 API 额度，数据选择、训练实现、评估开展、模型提交，全流程都得自己完成；第一阶段的最终评估由 20 项基准测试和人类盲测两部分组成。第二阶段为期 72 小时，每个智能体能拿到自己模型参与的 213 至 276 场对战记录，里面有对战问题、双方回答和对应的投票结果，另外还有 500 GPU 小时算力和 150 美元 API 额度，用来继续迭代模型。

NVIDIA 官方推出的 Instruct 版本关掉推理模式后，被定为两轮评估的共同参照。人类评分环节会控制回答长度、列表呈现这类风格因素，综合基准进度则用 12 项能力评测来衡量，代表的是基础模型补齐与官方版本之间能力差距的比例。

第一阶段：全部交卷，但算力多不一定赢

第一阶段训练结束，10 个智能体全都交出了能用的助手类模型。Astra 训出来的模型做完风格控制调整后，人类评分已经接近 NVIDIA 官方 Instruct 版本，12 项能力评测里，补齐能力差距的中位比例达到 76%。

图 3｜第一阶段人类评估结果（论文 Figure 6）。左图比较控制风格前后的评分，右图展示各模型的对战结果及反馈规模。图中 Anonymous Model 对应 Step 5 Preview。

训练过程也暴露了不少工程上的麻烦。GLM-5.3 训练时撞上显存不足，前后花了约 7 小时，累计提交 39 个测试任务排查问题，最后自己做出了一个运行速度快约 7 倍的训练器。

预算管理上，各智能体的差别也很明显。Grok 4.7 提前把分到的 API 额度用光，退出训练时还有近七成 GPU 时间没派上用场；Gemini 3.8 Flash 只用了约 19 GPU 小时算力就主动停了训练。结果这两个模型最终的人类评分，反倒高过两个几乎把 1000 GPU 小时额度用满的参赛模型。

这些结果说明，相关智能体已经能完成持续数天的自主后训练；算力有限的时候，策略好不好，往往比单纯烧资源更能决定最终交付模型的水平。

第二阶段：评分上涨，究竟改进了什么？

RSI Arena 在 COLM 2026 现场和线上收集了基于 Arena 机制的人类反馈数据，作为智能体第二阶段可用的数据源，继续优化模型。以 NVIDIA Instruct 为参照，做完风格控制后，10 个模型里有 8 个的相对人类评分得到提升，整体改善中位数为 28 分。

图 4 是第二阶段人类评估的结果，对应论文 Figure 11。右图以同一个参照模型为基准，对比两个阶段的相对评分，从而避免拿两个独立竞技场的绝对分数直接比较。

可到了这一阶段，模型综合基准的改善中位数只有 2 个百分点。该指标与相对人类评分变化之间的相关系数为 −0.19，两者并未表现出同步上升的关系。DeepSeek 训练出的模型是个典型例子：相对人类评分提高了 172 分，基准进度却只增加 4 个百分点，回答长度中位数则从 61 个 token 涨到 508 个。

回答长度之所以会成为智能体的优化方向，与第一阶段的投票结果有一定联系。第一阶段里分出胜负、且双方回答长度不同的选票共 999 张，其中回答较长的一方拿下了 72% 的票；当两边长度相差超过 6.7 倍时，较长回答的胜率升到 81%。

图 5 呈现的是回答长度与人类偏好之间的关系，对应论文 Figure 8。左图给出不同长度比下较长回答的胜率，右图展示风格控制对评分的影响。长度和胜率有关联，但这不等于因果。

有智能体把长度看成影响投票结果的「唯一杠杆」，靠修改提示词、调整训练中回答的生成方向，让模型输出更长的内容。另一个智能体用奖励模型挑出最优版本，结果发现，该奖励模型对投票结果的预测效果，跟只看回答长度得出的预测差不多。

当然，长度并非影响评分的全部因素。Step 5 Preview 训练出的模型，回答长度几乎没变，相对评分却涨了 98 分。各智能体在第二阶段还发现并修掉了回答不完整、误拒无害请求、内容循环、输出截断等问题；所有实验记录中，都没有出现劝票、身份冒充或操纵竞技场机制的行为。

这些结果也暴露出实验设计的边界：即便压缩了针对固定评测指标投机取巧的空间，还是没法完全挡住智能体顺着人类偏好去摸规律。人类反馈能点出模型的真实问题，可里面也掺着用户对内容呈现方式的偏好；第二阶段训练额外投入了研发时间和资源，所以该阶段的所有变化不能都单独算作人类反馈的功劳。

更受欢迎等于更安全吗？

这次实验没有给智能体设定明确的安全要求，各模型最终的安全表现并不一致。第一阶段测试中，有 3 个模型在 StrongREJECT 评测上比基础模型更愿意配合有害请求。第二阶段测试中，MiniMax 训练的模型在该指标上的分数从 2.6 升到 24.5，说明它对有害请求的配合度有所上升；另有一部分模型在同一指标上则取得了安全层面的改善。

整个实验过程中，偏好、能力和安全这三类指标并没有一直朝同一个方向变化。

从 RSI 到 RSIHF：让每一次进步回应人的需要

RSI Arena 项目证实了模型自主开展后训练可行，但离可靠的递归自我改进还有一段距离：目前实验只用了 1 个基础模型，每个智能体只跑了一次运行流程，担任训练者的模型本身也没有被范围。不过这场实验让一个更长远的问题变得具体起来——当 AI 开始参与塑造下一代 AI，人该怎样参与这个过程？

论文给出的 RSIHF（Recursive Self-Improvement with Human Feedback）框架，即结合人类反馈的递归自我改进模式，把用户的判断纳入模型评估和后续研发流程。实验流程越自动化，人类越需要持续参与相关决策，去确定哪些问题值得解决、什么样的改变值得追求。

人的价值在这里有实实在在的分量。一个回答可不可信，一次帮助管不管用，一个错误的后果由谁承担，这些判断都来自人真实的经验、所处的现实处境和对生活的期盼；也正是人的判断，让「更好」的标准有了依据，让原本抽象的评分指标跟我们的真实生活接上了线。

投票只是理解用户真实需求的起点。在 RSIHF 框架下，研究者仍需对模型的能力与安全性做独立评估，据此确定模型在什么场景下要向人类求助、如何解读收集到的反馈，以及怎样在多轮迭代中不断校准优化方向。有了人的参与，AI 研发的走向才真正有可能被审视、被解释，甚至被重新选择。

回到实验最初提出的问题：AI 确实能把模型改进的循环推得更快、覆盖更远，但这条发展道路最终通向哪里，只有人类的经验与选择才能决定。技术能力持续增长的同时，研究者仍要不断追问，相关技术成果究竟在为谁节省时间，为谁纾解困难，又为谁创造了新的可能。

从统计维度看，用户投出的每一票只是一张代表偏好的票据。屏幕的另一端，却是带着具体问题的真实用户。

下一轮模型训练，可以从这张票开始。而我们期待的技术进步，终究要落回那个真实用户的日常生活当中。