Scientist World：千篇论文如何变身AI科研实验场？

AI Scientist 如今已经能读懂科研文献，可要真正站在已有研究上往前推，光会读论文并不够。人类科学家会从论文里拎出问题、借用方法，再动手搭实验去验证新想法；AI Scientist 也一样，需要一个能真实跑实验、检验想法的研究环境。

这样的环境得同时装下论文里的研究问题、可运行的方法，以及判断改进与否的尺度。问题是，现有研究环境大多靠人工挑任务，或者沿用过去的竞赛题、固定的模拟世界，很难做到既大规模铺开、又持续更新，还能通过真实跑起来的计算实验来检验研究成果。

普林斯顿大学团队因此提出 Scientist World，把研究论文改造成可执行环境。AI Scientist 在里面提出新方法、开展实验，再把实验结果与原论文的复现结果对照，看自己到底改进多少。

论文链接：https://arxiv.org/abs/2611.08478

论文介绍，首批发布含 1000 个经过独立验证的环境。团队还保存了 AI Scientist 的研究轨迹。跨不同模型、不同推理档位，以及 Improve 和 Innovate 两种模式，所有保留尝试累计约 6400 小时的端到端运行时间。每次尝试都带着研究想法、修改过程、实验日志、分数和完整的开发历史。

Scientist World 想衡量的，是那种能跨不同问题反复拿出新发现的研究能力。

人类科学家常常在阅读中生出疑问，提出解释，再设计实验；实验失败后还得弄明白为什么失败、调整方案、重新验证。换到另一个问题上，这套判断照样得管用。照团队的理解，解出一道题算不上科研能力，持续面对新问题并做出发现，才是研究的关键。

所以 Scientist World 从文献里同时抽取两类资源：研究问题给出探索目标，已有方法与实验结果给出出发点。每篇论文都能变成一处继续做研究的场所。

要完成这一步转换，先得把论文里的实验重新跑起来。

团队设计了一条不用人工介入的多 agent 流水线。系统先实现论文中的方法和评估程序，尽量复现论文的核心科学主张，并在允许的小误差范围内达到报告结果；接着把研究问题整理成任务，讲清楚什么样的结果算科学进步，同时堵住走捷径、钻评分规则拿高分的路子。

任务设计完成后，系统把环境打包，让它能在不同机器上运行，最后交给独立 agent 验证。

走进环境的 AI Scientist 由此拿到一项开放的研究任务，外加一套能实际执行的评估方式。它提出的新方法，会与原论文的复现方法比较。衡量改进幅度的指标叫“前沿归一化改进量”（Frontier-Normalized Improvement，FNI）。FNI 把论文方法的复现版本及其复现分数当作零点，再按固定前沿模型组的分布对改进幅度做归一化；FNI 大于 0，就说明超过了复现后的源方法。

这套自动转换流程还担着扩展研究环境的活。人工逐项搭任务，很难快速覆盖大量主题，而 Scientist World 能从文献中不断生成环境。团队把它设计成持续吸收新文献，让评估环境一直更新，免得固定基准随时间老化。目标是评估模型能不能做研究，而不只是回忆见过的东西；至于这种机制是否已经消除数据污染、是否显著降低了模型对已见题目的依赖，他们并未进一步证明。

环境建好之后，AI Scientist 的用法主要分两种。改进模式下，模型拿到论文的研究思想和已复现的方法，在此基础上找更好的方案。创新模式下，模型拿不到论文源代码或复现方法，得从空白的方法目录起步；问题说明、目标与约束、可见评测器以及数据接口仍然可见，方案要靠自己构思、自己实现。

两种模式显出不同的能力分布。在论文选取的 10 个低计算成本环境中，模型在 Improve 和 Innovate 两种模式下的排名并不完全一致。擅长沿着已有方法改进的模型，未必同样擅长从问题出发提出新方法。沿着已有思路推进，和独立提出方案，相关但有区别。

另外，Scientist World 会保存每次研究的完整轨迹，把决策与真实实验测得的结果对应起来。想法怎么提出、实验怎么开展、失败后怎么改、最终拿到什么结果，都成了数据的一部分。约 6400 小时的记录里既有成功，也有没奏效的尝试。这些记录随环境一同发布，还会进一步用于训练。

团队接着用这些研究轨迹训练 Qwen3-8B。训练奖励由实际执行实验得到的分数构造，而非语言模型评委的主观打分。评估时，由一个固定的前沿执行模型负责把想法实现出来，再看实际效果。

在 10 个留出论文环境中，他们让固定的 GPT-5.6-Sol xhigh 执行不同版本模型提出的 ideas，并比较最终实验结果。经过训练后的 ideas，其 FNI 中位数提升到约 106.3，接近论文设定的前沿参照锚点。这个实验控制了执行模型和执行条件，因此观察到的差异主要反映 idea 来源或研究质量的变化，而不是 Qwen3-8B 自己跑完了全部实验流程。在固定执行器、提示词、采样参数和实验预算的条件下，他们把性能差异解释为不同 idea 来源及其研究质量带来的差异。这个结果可以作为科研构思质量的一个操作性指标，但不能直接证明模型具备一种独立、普适且唯一由构思能力决定的科研能力。

到这里，同一套环境承担了三项用途：评估 AI Scientist 能不能推进真实研究，保存科研过程形成数据集，还能提供以实验结果为奖励的训练场。

Scientist World 把已发表论文中的研究记录转成可运行、可评分的环境。同一套环境，既用来评估当下的 AI Scientist，也用来训练下一代 AI Scientist。

更多技术细节，详见原论文。