GPT-6-Astra 独闯异世界:12 个模型中仅 1 个发现了隐藏物理规律
大语言模型能在「异世界」发现隐藏的物理规律吗?
论文第一作者是香港科技大学(广州)博士生杨震,共同通讯作者为阿里巴巴的徐翔和香港科技大学(广州)的陈颖聪。
物理规律常常反直觉,比如物体运动速度不能超过真空光速。那能不能当一回「造物主」,搭一个物理规律不同的「异世界」,让大模型自己去发现异常、提出问题、做实验、找规律?王阳明的「龙场悟道」给了灵感,LongChang(龙场)由此而来:在玻璃房里改写物理规律,让模型自主探索、认识自己的世界。
LongChang 用 MuJoCo 搭起多个「异世界」,里面重的物体反而下落更慢、红球之间会相互吸引,这类异常现象都在。探索时不指定课题,不提示异常,也不告知规律数量。什么值得研究由模型自己定,它靠操作物体、搭建器材来检验想法。
结果说明,自主发现还是很难。12 个模型里只有 GPT-6-Astra 完成了有实验支持的规律发现,发现率 16.7%,其余 11 个模型都是 0%。探索记录暴露出两类障碍:看到异常后没有继续追问,或者做了实验却遗漏关键条件。这些记录会被 LongChang 用于下一轮场景设计,把探索、评估和后续出题串起来。
-
论文标题:Can LLMs Uncover Hidden Physical Laws through Free Exploration?
-
项目页有交互 demo 和完整实验结果,欢迎体验: https://zhenyangcs.github.io/LongChang-website/
-
GitHub 上欢迎给一颗 star: https://github.com/EnVision-Research/LongChang
15 个「异世界」
LongChang 一共 15 个基础场景:1 个普通物理对照,另外 14 个各改写一条规律。异常可能跟物体的质量与颜色、所在区域、接触次数或此前的动作有关。下面展示全部场景;这些规律不会告诉探索模型。
Framework 把世界搭起来,再让模型自己去挖规律。LongChang 将环境构建、自主探索和发现评估串成一条自动化流程:实验靠器材搭建来支撑,下一轮问题则由场景演化来设计。
-
构建环境这一步,场景设计模型先定义物体和规律,再把设计编译进 MuJoCo 仿真,随后走自动测试与审核。没通过的场景会被打回修改;真实规律只交到评估者手里。
-
自主探索时,被测模型根据观测自己选题,靠推动、抛掷、抓取、移动物体等操作去检验自己的解释。整个过程里,课题不给指定,异常不给提示,规律数量也不告诉它。
-
需要额外控制或测量时,模型可以自己设计器材。设计过了物理审核,就装到当前场景上;没过,模型照反馈改完再试。
-
评估发现环节,评估模型拿真实规律、研究报告和完整探索记录三方对照,分别检查规律正确性(C)与证据支持(S)。两项都通过,才算一次成功发现(D)。
-
演化场景则利用探索记录里的未解问题、错误判断和后续修正,生成、改进或组合出新场景。新场景同样要过测试与审核,之后才进入下一轮探索。
实验结果
主实验结果
评测覆盖 12 个模型、15 个场景,每个模型在每个场景跑 3 次,每次最多 100 轮。15 个场景里有 1 个遵循普通物理,另外 14 个各改写一条规律;发现率只统计这 14 个,且要求规律完整正确、结论与推理都有实验支持。
GPT-6-Astra 的证据支持率达到 97.6%,规律正确率却只有 19.0%。有依据的局部观察,仍可能漏掉作用对象、触发条件或关键数值。Claude-Opus-5 的规律正确率是 16.7%,可它没有报告通过证据检查,成功发现同样没形成。
正常场景用来检验模型会不会过度推断:36.1% 的报告因误报异常或解释缺乏依据被否决。这说明评估也得看模型什么时候会过早下结论。
研究问题的形成
研究团队把同一场景下的探索路径拿出来比对,看模型会不会因为碰上意料之外的现象就改掉原计划。图中两条路径指向同一件事:观测只能给出线索,线索要变成研究问题,还得靠模型自己主动去做。
假设验证
光有一个说得通的解释不够,还得把别的可能性排掉。这个案例里,模型的做法是去找能区分不同解释的证据。说到底,判断机制靠的是设计有针对性的检验,而不是一遍遍攒相似的观察。
资源对照实验。研究人员从三个方向动手:改 GPT-6-Astra 的任务提示、改可用轮数、改器材权限,看哪类资源真能帮上发现的忙。
三组对照各自独立,其余设置保持一致。提示实验和器材实验的上限都是 100 轮;轮数实验里,对话历史一律不做压缩。
任务和线索给到模型之后,平均操作轮数由 39.3 降到 30.9,操作更少,发现反而更多。把轮数上限往上加,发现率却没见起色:模型仍在 40 轮上下自己停下,多出来的预算没用完。
器材使用案例
器材对照衡量的是开放搭建的总体影响,具体贡献多大,还得结合探索记录来看。模型如何因一次测量失败而调整设计,这个案例给出了说明。
场景演化
探索记录还能用来设计下一轮问题。场景 15 里,模型一度把红球暂时停下错判成「没有持续作用力」,之后才纠正过来。LongChang 依据这段记录设计了三种变化:生成,是把向北的力换成两球相互排斥,操作后的暂停照旧保留。
-
改进,指蓝球进入灰色区域时,红球的向北力不再生效。组合,则是加一条新规律:红球被推或抛之后,绿球在 12 个时间单位后复制红球此次启动时的速度。
GPT-6-Astra 在三个新场景里各跑了 3 次,发现率都是 0%。这组案例说明,模型仍停在局部现象上,新的条件与关联没能被完整识别出来。
总结
LongChang 把物理规律可改写的「异世界」当作实验场,让大模型自己提问、设计实验、搭建器材,再用证据检验它对世界的理解。探索记录还会推动新场景的生成与演化,一次探索由此成为下一轮研究的起点。团队希望借助 LongChang,让 AI 在自主提问、实验求证和规律发现上不断往前走,成为能主动探索世界的研究伙伴。