米哈游Gamer模型:AI自己打通《崩坏:星穹铁道》
具体来说,团队把不同游戏的录屏与玩家操作对齐,让模型学习画面和动作之间的关系:人物往前走,场景会怎样变化;
作者署名信息已删除。
公众号信息已删除。
米哈游这是打算亲自研究“官方脚本”了?(doge)
崩坏AI研发团队最近发布了一项研究,名叫Gamer——
说出来你可能不信,AI居然自己上手玩起了《崩坏:星穹铁道》。
键鼠一交,它上来就能跟可可利亚过招。
遇到场景机关,它照样能自己处理。走到“气泡弹珠”跟前把装置启动,人就被弹到另一片区域,落地继续跑。
跟着NPC跑图也没问题:流萤在前头带路,AI在后头跟着,上楼、拐弯,一路跟到广场。
打Boss、开机关、跟人跑图,这些AI全学会了。
那以后的充值页面里,会不会多出一个“AI代肝”的选项?
(注:米哈游打造的《崩坏:星穹铁道》是一款以银河冒险为题材的回合制角色扮演游戏。玩家会坐上星穹列车,到各个世界探索,靠跑图、对话与解谜把剧情往下推,同时还要组织角色队伍打回合制战斗。)
VLA代肝,不烧心
说回正题。米哈游给Gamer的定位,是面向长流程、实时交互的通用视觉—语言—动作(VLA)基础模型。

前面演示里玩《崩铁》的主力版本,是团队在参数量80亿的Qwen3-VL-8B基础上进一步训练出来的。
游戏画面和任务摆在面前,它自己判断该按哪些键、鼠标往哪儿移、什么时候点下去,然后把这些操作真正执行出来。
换句话说,视觉信号是它接收的屏幕画面,任务指令告诉它要做什么,键鼠操作就是它输出的动作。
和以往AI玩游戏相比,Gamer这次最大的亮点,是把跨游戏的实时操作与长流程的记忆、规划接进了同一套VLA框架。
实战中,模型做判断只靠屏幕画面、任务指令和已有记忆,不用读取游戏内部接口或底层状态。
任务往前推进,它还会动态记下“刚才完成了什么”、“下一步准备干什么”。
论文里还给了一组硬核实测数据:在覆盖五个主线篇章、总计约50小时的《崩铁》长流程评估中,Gamer的自主运行时间占比超过了95%。

为了做到这个效果,研究设计了一套三阶段训练流程:
先拿跨游戏数据练操作,再用任务示范补上思考和记忆,最后让模型进游戏,靠试错和反馈继续提升。
第一步是持续预训练(Continued Pre-Training,CPT),让已经具备图文理解能力的基座模型进一步学会操作游戏。
具体做法是把不同游戏的录屏与玩家操作对齐,让模型学习画面和动作之间的关系:人物往前走,场景会怎样变化;鼠标往右移,镜头会转向哪里。
团队把这些操作统一成键鼠格式,不同游戏的数据因此能汇入同一套训练流程。
执行环节,Gamer每200毫秒抓取一帧画面,一次性规划其后六个动作块,每块约33毫秒,对应30Hz的控制节奏。
说白了就是瞄一眼画面,安排好接下来一小段动作,再依据新画面接着调整。
微调阶段,团队又整理了约1000小时高质量的《崩铁》演示,将目标拆成具体操作、阶段性小目标和完整任务,教模型把动作串起来。
这里有两处工程设计相当实用,要解决的都是长流程中的推理延迟和上下文膨胀问题:
-“稀疏思考”机制:路线明确时直接操作往前走;一旦路线走不通、目标切换或冒出新的交互提示,才启动推理。
-记忆摘要机制:旧记录快要被挤出上下文时,模型先把任务进度、失败尝试、重要地点和后续计划记下来,让之后的操作有据可依。
-“稀疏思考”:沿既定路线推进时直接操作;碰到路线失败、目标切换或新的交互提示,再展开推理。
在线强化学习阶段,团队拿出TA-GRPO,把长流程切成由记忆衔接的片段,对比不同尝试在对应阶段的表现,再用游戏环境核验的结果去更新模型。
有没有抵达目标地点、有没有做完当前任务,这些都能当作训练反馈,训练后台负责初始化和核验。
配套的Streaming-vLLM推理引擎还能复用已处理过的上下文,并提前输出已生成且核验完毕的动作块,让游戏画面先动起来,把操作延迟大幅压下去。
实验测试
跨游戏实验中,团队测试了Gamer的CPT版本,覆盖《我的世界》、基于《毁灭战士》的ViZDoom,以及OmniGameArena、GameWorld等多个游戏环境。
以《我的世界》为例,它能自行转动视角锁定史莱姆,追上前去挥剑劈砍:
换到第一人称射击游戏ViZDoom,它也能快速拉枪瞄准,对逼近的敌人连续点射:
在上述四项公共基准上,Gamer-8B-CPT平均拿到29.5分,所列通用模型对照里最高只有17.6分。
七类小游戏、共40个未参与训练的任务中,基座模型仅得3.2%,CPT后升到15.0%,SFT后提高到39.2%,加上强化学习更是达到49.7%——
同场竞技的通用模型最高分(GPT-6.1-Sol)只有17.1%。

团队的核心判断由此得到支撑:借助统一的键鼠接口,把跨游戏学习、长期记忆和实时操作捏合起来,AI就能在复杂游戏里持续执行任务,并在交互中继续变强。
论文结尾,团队还指出这类能力有望用于自动化测试、加快游戏迭代,并支撑新的玩法机制,从而压低开发成本。
游戏成了AI的练习场,练出来的AI又能反过来帮忙做游戏。
团队介绍
接下来认识一下这项研究背后的团队。
论文贡献者名单共列出8位共同一作,其中5位是在米哈游实习期间参与该项目的:

Run Luo:新加坡国立大学计算机科学博士生,参与过GUI-R1、OpenOmni等项目,在Gamer中负责三阶段训练、数据、基础设施及评测建设。

张宽(Kuan Zhang):清华大学人工智能学院博士生,GameScaling与GameVerse共同一作,主要负责持续预训练、数据及评测建设。
张宽在个人主页里提到,自己打英雄联盟打到大师段位。

米哈游崩坏AI研发团队的Qi Deng,承担强化学习、训推基础设施以及数据与评测建设。中国科学院大学的Yukun Chen是GameScaling共同一作,也是多模态推理研究RuCL一作,负责监督微调、数据及评测建设。
本科毕业于同济大学的Zhihao Yang,眼下在中国科学院大学读计算机专业博士,方向是游戏与智能体,项目中他管强化学习、数据及评测建设。

米哈游崩坏AI研发团队的Yufei Zhang主要搭训练与推理基础设施;同团队的Renrong Hu主要负责基准(Benchmark)建设与评测。来自中国科学技术大学的Yi Zhang则在米哈游实习期间参与项目,也负责基准建设与评测。
其他论文贡献者可以看论文主页。
视角拉远来看,这支米哈游崩坏AI研发团队已在AI NPC、游戏智能体与研发自动化三个方向铺开,持续摸索大模型在游戏体验革新和工业化管线中的落地。
论文指导者之一郑银河,就是《崩坏》系列AI NPC与Gameplay技术团队的负责人。
郑银河此前在云栖大会上讲过《崩铁》的AI帕姆,也讲过内部研发用的Agent平台EchoX。
学术方面,该团队还跟高校合作推出GameScaling和Video-Arena,前者探明跨游戏持续预训练的Scaling Law,后者摸清模型理解动态游戏画面的边界。