米哈游发布8B参数VLA模型,自主通关崩铁50小时
米哈游崩坏AI团队发布Gamer模型,基于Qwen3-VL-8B训练。该模型不读取游戏底层代码,仅凭屏幕画面和键鼠操作就能自主游玩《崩坏:星穹铁道》。在50小时长流程测试中,自主运行率超95%。通过稀疏思考和记忆摘要机制,解决了长任务中的延迟和遗忘问题,还能跨游戏通用操作。
不读代码,只看屏幕:AI如何“盲打”崩铁
米哈游最近发了篇论文,主角是个叫 Gamer 的 AI 模型。这玩意儿最让人意外的地方在于,它玩游戏的方式和人类几乎一模一样:眼睛盯着屏幕,手放在键盘鼠标上。
以往的 game AI 大多走“捷径”,直接读取游戏内存里的坐标、血量、敌人位置数据。那种方式效率高,但换个游戏就得重写代码,而且无法处理那些没有明确数值反馈的复杂场景,比如剧情对话、环境解谜或者跟随 NPC 跑图。
Gamer 不走这条路。它是一个视觉—语言—动作(VLA)基础模型,参数量 80 亿,底座是阿里通义千问团队的
Qwen3-VL-8B。米哈游团队在这个底座上做了大量针对性训练,让它学会把屏幕像素转化为具体的键鼠指令。

演示视频里,Gamer 面对《崩坏:星穹铁道》里的 Boss 可可利亚,能自己判断何时释放技能;遇到“气泡弹珠”这种机关,它能识别装置并启动,把自己弹射到下一个区域;甚至当 NPC 流萤在前面带路时,它能紧紧跟在后面,上楼梯、拐弯,一路跑到广场,全程不需要人工干预。

这种“像人一样玩游戏”的能力,意味着它具备了一定的通用性。只要给它屏幕画面和操作权限,理论上它可以适应任何图形界面游戏,而不需要针对每款游戏单独开发接口。

50小时长跑:95%的时间都在自己动

玩几分钟demo是一回事,能不能扛住长线任务是另一回事。《崩坏:星穹铁道》的主线剧情冗长,包含大量对话、地图探索和资源管理,对 AI 的记忆力和规划能力是极大考验。

论文给出的数据相当硬核:在覆盖五个主线篇章、总时长约 50 小时的评估中,Gamer 的自主运行时间占比超过了 95%。剩下的 5% 主要是遇到极端罕见 bug 或网络波动时的卡顿,并非逻辑错误。

为了实现这个效果,团队设计了一套三阶段训练流程,核心思路是“先学基本操作,再学任务规划,最后在实践中纠错”。

第一阶段是持续预训练(CPT)。团队收集了大量不同游戏的录屏和对应的玩家操作数据,把这些数据对齐后喂给模型。这一步的目的是让模型建立“视觉-动作”的条件反射:看到人物往左走,屏幕背景向右移,模型就知道这时候应该按“D”键或移动鼠标。所有操作被统一标准化为键鼠信号,打破了不同游戏之间的数据壁垒。

在执行层面,Gamer 的控制频率是 30Hz。它每隔 200 毫秒截取一次屏幕画面,然后一次性生成随后六个动作块,每个动作块持续约 33 毫秒。这种“看一眼,想一小步,做一小段”的节奏,既保证了反应的实时性,又避免了频繁推理带来的计算过载。

解决“健忘”和“卡顿”的两个工程 trick

长流程游戏最大的两个痛点:一是上下文太长,模型记不住前面干了什么;二是推理太慢,画面会卡。
米哈游团队在这两个问题上用了两个很实用的工程手段。
第一个叫“稀疏思考”(Sparse Thinking)。并不是每一步都需要深度推理。如果 AI 已经确定了一条安全路径,比如在直路上奔跑,它就进入“自动驾驶”模式,直接输出预设的动作序列,跳过复杂的思维链生成。只有当遇到路线失败、目标切换或者出现新的交互提示时,它才会停下来“深思熟虑”,重新规划下一步。这种机制大幅降低了平均推理延迟。
第二个叫“记忆摘要”(Memory Summarization)。随着游戏进行,历史记录会越来越多,超出模型的上下文窗口限制。Gamer 会在旧记录即将被移出窗口前,自动生成一段摘要,记下关键信息:当前任务进度、之前失败的尝试、重要地点坐标以及后续计划。这段摘要会被保留在上下文中,作为下一步决策的依据。这就好比玩家在游戏笔记本上记下“刚才那个门打不开,得去找钥匙”,而不是试图记住每一帧画面。
此外,为了进一步压低延迟,团队还配套开发了 Streaming-vLLM 推理引擎。这个引擎可以复用已处理的上下文,并提前吐出生成且核验完毕的动作块,让游戏画面先动起来,实现了推理与执行的并行。
强化学习:让 AI 在试错中变强
光有模仿还不够,还得会自我修正。第三阶段是在线强化学习,团队提出了一种叫 TA-GRPO 的算法。
他们将长流程任务拆解成由记忆衔接的片段。AI 在每个片段中尝试不同的操作策略,系统会根据游戏环境的反馈来打分:有没有到达目标地点?有没有完成任务?有没有死掉?这些结果直接用于更新模型参数。
这种闭环训练让 Gamer 具备了从失败中学习的能力。比如在某个复杂的跳跃关卡,第一次可能掉下去,第二次它会调整起跳时机,直到成功为止。
跨游戏能力:不止会玩崩铁
为了验证 Gamer 的通用性,团队还在其他几款风格迥异的游戏上进行了测试。
在《我的世界》(Minecraft)中,Gamer 能自主锁定史莱姆,追上去挥剑攻击;在第一人称射击游戏 ViZDoom(基于《毁灭战士》)中,它能迅速拉枪瞄准,连续点射逼近的敌人。
在一项包含七类小游戏、共 40 个未参与训练任务的基准测试中,Gamer 的表现呈阶梯式上升:基座模型成功率仅 3.2%,经过 CPT 预训练后升至 15.0%,经过监督微调(SFT)后达到 39.2%,加上强化学习后最终定格在 49.7%。
作为对比,同场竞技的其他通用模型最高分仅为 17.1%。这一差距说明,针对游戏场景的专项训练和强化学习机制确实带来了质的飞跃。
谁在做这件事?
这篇论文的背后,是米哈游崩坏 AI 研发团队。名单里有 8 位共同一作,其中 5 位在米哈游实习期间参与了研发。
核心成员包括新加坡国立大学博士生 Run Luo、清华大学博士生张宽(英雄联盟大师段位玩家)、中科院大学研究生 Yukun Chen 等。米哈游内部的 Qi Deng、Yufei Zhang、Renrong Hu 等人负责了强化学习、基础设施和基准建设。
团队负责人郑银河此前曾在云栖大会上展示过《崩铁》的 AI NPC“帕姆”,以及内部研发辅助平台 EchoX。可以看出,米哈游在 AI 上的布局非常清晰:对外提升玩家体验(如更聪明的 NPC),对内提升研发效率(如自动化测试、关卡生成)。
意义何在?不只是“代肝”
网友调侃这是官方“代肝”脚本,但从产业角度看,Gamer 的价值远不止于此。
首先,它是自动化测试的理想工具。传统游戏测试依赖人工或固定脚本,难以覆盖所有边界情况。Gamer 这种能理解画面、自主规划的 AI,可以像真实玩家一样去“探索”游戏,发现那些隐藏在复杂交互中的 bug。
其次,它为 AI NPC 提供了更强的行为逻辑。现在的 NPC 大多按照既定剧本行动,未来结合 VLA 模型,NPC 或许能根据玩家的行为做出更自然、更多样的反应,甚至产生 emergent gameplay(涌现式玩法)。
最后,这种跨游戏的通用操作能力,证明了 VLA 模型在处理复杂动态环境方面的潜力。游戏是一个高度浓缩的虚拟世界,在这里练成的 AI,未来有望迁移到机器人控制、工业软件操作等更广泛的现实场景中。
当然,目前 Gamer 还存在局限性。比如在极度复杂的战斗策略上,它还不如顶尖人类玩家;在处理从未见过的新机制时,仍需要一定的冷启动时间。但随着模型规模扩大和数据积累,这些短板正在被快速补齐。
游戏,正在成为 AI 进化的最佳练兵场。