清华米哈游开源GameScaling:四档八个模型,覆盖Minecraft与Doom
迈向通用游戏智能,清华、米哈游开源GameScaling系列模型
张宽,清华大学人工智能学院博士生,主攻游戏智能体。
苏悦,香港大学 MMLab 博士生,研究方向为世界模型与具身智能。
罗润,新加坡国立大学博士生,专注全模态基础模型。
郑银河,米哈游崩坏系列 AI NPC & Gameplay 技术团队负责人。李一鸣,清华大学人工智能学院助理教授、厘清智能创始人,此前曾任英伟达研究科学家。
米哈游近日与清华大学、香港大学、新加坡国立大学等学术机构合作,开源首个通用游戏模型系列 GameScaling。该系列共八个模型,分为 0.8B、2B、9B、27B 四档规模,权重和推理代码都以 Apache 2.0 协议发布。
-
项目主页: https://gamescaling.github.io
-
模型网址: https://huggingface.co/THUSI-Lab/GameScaling
-
代码仓库: https://github.com/THUSI-Lab/GameScaling
GameScaling 能根据画面、任务提示和近期交互历史,输出键盘与鼠标操作,并随游戏进程持续判断下一步动作。在《我的世界》里,它可以采矿、合成、打僵尸;在 Doom 中,它能战斗、导航;遇到场景逃脱任务,它也会自己找路。
图 1 GameScaling-2B-S3 在 Minecraft 中执行采集、合成与战斗任务的实时演示片段。来源: GameScaling 网站宣传视频
模型在游戏里操作得漂亮,分数也拿得出手。《我的世界》MCU 基准共 30 项任务,GameScaling-27B-S1 的平均成功率达到 63.3%。团队实测显示,0.8 - 9B 这 6 个模型跑在单张 H200 或 RTX 5090 上,就能做到接近每秒 5 次观测、每秒 30 步动作的实时交互。
把 GameScaling 开源出来,团队想和社区一起琢磨一件事:AI 怎么才能把一个世界里学到的经验,搬到另一个世界去用?游戏和人工智能相伴多年,这道题是自然而然冒出来的。1997 年深蓝击败国际象棋世界冠军;2012 年深度学习爆发之后,AlphaGo 和 AlphaStar 分别在围棋和《星际争霸 II》中战胜世界冠军,OpenAI Five 在 Dota 2 中展示了多智能体协作的能力;进入大模型时代,Voyager 又在《我的世界》里探索环境、积累技能。AI 从搜索、学习一路走到规划与行动,游戏既是见证者也是推手。
不过,通用游戏智能还横着另一道坎。现实世界里,机器人不管进工厂还是进家庭,重力、碰撞这些物理规律都成立,共同的规律让经验积累和规模化学习有据可依。虚拟世界却能推倒重来:画面风格、物理机制、动作空间、任务目标,换一款游戏可能全变。同样是「向前走」,可能是第一人称视角下的三维移动,可能是上帝视角下的平面移动,也可能是横版世界中的平台跳跃。
图 2 现实世界的运行受一套确定的物理法则约束,这是积累经验、开展规模化学习的前提;而游戏不同——画面风格、物理机制、动作空间连同任务目标都能改,至于能不能照样保住 “Scaling Law”,目前还没有系统性的研究。来源:GameScaling 论文图 1
世界本身的规则一直在变,那套曾经屡试不爽的办法——加数据量、加多样性、加模型规模——还能继续管用吗?
为了把这个问题弄清楚,团队基于 Qwen3.5 系列做持续预训练,拿开源社区的游戏轨迹,把视觉语言模型的知识和可执行操作接上。模型看着游戏画面、任务提示和近期交互历史,输出接下来 200 毫秒的键盘与鼠标操作。看画面、快速想、做动作、接收新画面,再决定下一步,智能体在游戏里行动的基本循环就是这么转起来的。
实验把模型、数据时长、数据多样性三个变量拆开来看:模型规模设了 0.8B 至 27B 四档,游戏数据预算设了 50 至 1600 小时六档,游戏轨迹从全部来自《我的世界》到多游戏混合共五种多样性配比,一共组成 120 组受控配置。评测范围也从训练覆盖的 MineCraft 和 Doom,扩到没见过的相近 3D 世界,再到视角和操作机制差别更大的 2D 和 2.5D 世界,看经验与智能究竟能迁移多远。
研究先撞见了一种有意思的学习节奏:模型早期像是在熟悉自己的「手」。初始训练之后,按键、鼠标和动作格式的预测改善得很快,收益也出现在训练没覆盖的世界里,团队管这叫「接口阶段」。再往后是「世界阶段」,想继续提升,越来越看模型经历过哪些游戏,收益主要落在训练覆盖和相近的世界,对遥远世界的损失甚至会往上走。
图 4 训练初期,按键、鼠标以及动作格式这三类的预测误差都掉得很快。四幅图按顺序分别是按键损失、鼠标损失、格式损失,还有鼠标方向的预测准确率。S1 指的是单游戏轨迹配比,S4 则是多游戏轨迹配比。来源:GameScaling 论文图 2。
数据多样性的价值由此变得具体。同样按 1600 小时的预算,多游戏混合训练在 OmniGameArena 七个没见过的相关 3D 世界里,跨配比、跨模型规模的平均得分约为单独训练 MineCraft 的 2.8 倍。移动、转向、瞄准这些经验,确实有机会越过游戏的边界。
图 5 展示的是 GameScaling 在 OmniGameArena 里此前没见过的相关 3D 环境中执行任务,涉及移动、射击、穿越障碍和从场景中逃脱。来源:GameScaling 官网宣传视频。
模型规模带来的影响是另一回事。参数更大的模型往往能更省力地吃透有限的经验,可要是长时间只练一个游戏,换到差别较大的世界,它的退步也可能更扎眼。这说明参数量、数据量和数据配比得放在一起设计:学得快,不等于迁移得远。
团队还拟合出一条经验 Scaling Law,把这三个因素和验证损失关联起来,用来估计在训练覆盖到的世界里能获得多少学习收益。但换到差异明显的未见世界,一味加数据、加模型规模,并没有换来稳定提升。GameScaling 由此把扩展的两面都摆了出来:现有的持续预训练能攒下可迁移的操作经验,要想泛化得更广,还得在world覆盖和交互学习机制上继续找办法。
还有一个因素绕不过去,就是时间——模型要走进真正跑起来的游戏,就得面对它。
敌人压过来,目标在移动,几秒前还算正确的判断可能已经作废。团队为此测了两种模式:「模型思考时暂停游戏」和「游戏持续运行」。按论文的实时评测设置,GameScaling-9B-S3 在四个基准上的平均分是 25.3,高于所测 OpenAI、Anthropic、Google 前沿模型中的最高值 19.2。这个比较虽然掺进了部署和服务延迟的影响,却仍指向游戏智能的一条实际要求:决策得赶得上改变局面。
图 6:实时战斗演示,左侧是 Claude Opus 5.0,右侧是 GameScaling-9B。模型生成动作时游戏一直在运行,画面时延为该片段所记录,包含相应部署与调用方式带来的影响。来源:GameScaling 官网宣传视频。
作者称,GameScaling 目前重在摸清跨世界的 Scaling 现象,还没有针对最终游戏表现做专门优化。他们希望这套经验能指导之后游戏数据的收集、构建和配比,让扩大训练规模更有依据,也为做出能力更强、适应面更宽的游戏模型指个方向。至于跨到更远的世界,仍要摸索更广的游戏经验,以及在实际交互中靠成败反馈来学习的机制。通用游戏智能的下一步,目标也因此更清楚了。
电影《头号玩家》好看的地方,一半在规则各不相同的世界,一半在能一起闯荡的伙伴。要走到那样的未来,既得有不断扩充的虚拟内容,也得有能读懂不同规则、真正下场参与的智能同伴。
我们相信,技术往前走,以后的智能游戏 NPC 也许能在玩家说一句「帮我守住入口」之后,看地形、挑位置,并跟着战况调整动作;玩家和他的智能伙伴,还能带着上一个世界的经验,一起赶赴下一场冒险。GameScaling 模型开源,正好给这件事留了个能验证的研究起点:去弄清楚怎样把在一个世界里学会的本事,变成走进下一个世界的能力。