米哈游发布8B参数VLA模型,自主通关崩铁50小时

资讯 AI 应用前沿 全文 2972 字 · 约 8 分钟读完 配图 11 张 分类VLAQwen3模型发布游戏

米哈游崩坏AI团队发布Gamer模型,基于Qwen3-VL-8B训练。该模型不读取游戏底层代码,仅凭屏幕画面和键鼠操作就能自主游玩《崩坏:星穹铁道》。在50小时长流程测试中,自主运行率超95%。通过稀疏思考和记忆摘要机制,解决了长任务中的延迟和遗忘问题,还能跨游戏通用操作。

所属频道 模型发布影视与游戏

不读代码,只看屏幕:AI如何“盲打”崩铁

米哈游最近发了篇论文,主角是个叫 Gamer 的 AI 模型。这玩意儿最让人意外的地方在于,它玩游戏的方式和人类几乎一模一样:眼睛盯着屏幕,手放在键盘鼠标上。

以往的 game AI 大多走“捷径”,直接读取游戏内存里的坐标、血量、敌人位置数据。那种方式效率高,但换个游戏就得重写代码,而且无法处理那些没有明确数值反馈的复杂场景,比如剧情对话、环境解谜或者跟随 NPC 跑图。

Gamer 不走这条路。它是一个视觉—语言—动作(VLA)基础模型,参数量 80 亿,底座是阿里通义千问团队的 Qwen3-VL-8B。米哈游团队在这个底座上做了大量针对性训练,让它学会把屏幕像素转化为具体的键鼠指令。

文章配图

演示视频里,Gamer 面对《崩坏:星穹铁道》里的 Boss 可可利亚,能自己判断何时释放技能;遇到“气泡弹珠”这种机关,它能识别装置并启动,把自己弹射到下一个区域;甚至当 NPC 流萤在前面带路时,它能紧紧跟在后面,上楼梯、拐弯,一路跑到广场,全程不需要人工干预。

文章配图

这种“像人一样玩游戏”的能力,意味着它具备了一定的通用性。只要给它屏幕画面和操作权限,理论上它可以适应任何图形界面游戏,而不需要针对每款游戏单独开发接口。

文章配图

50小时长跑:95%的时间都在自己动

文章配图

玩几分钟demo是一回事,能不能扛住长线任务是另一回事。《崩坏:星穹铁道》的主线剧情冗长,包含大量对话、地图探索和资源管理,对 AI 的记忆力和规划能力是极大考验。

文章配图

论文给出的数据相当硬核:在覆盖五个主线篇章、总时长约 50 小时的评估中,Gamer 的自主运行时间占比超过了 95%。剩下的 5% 主要是遇到极端罕见 bug 或网络波动时的卡顿,并非逻辑错误。

文章配图

为了实现这个效果,团队设计了一套三阶段训练流程,核心思路是“先学基本操作,再学任务规划,最后在实践中纠错”。

文章配图

第一阶段是持续预训练(CPT)。团队收集了大量不同游戏的录屏和对应的玩家操作数据,把这些数据对齐后喂给模型。这一步的目的是让模型建立“视觉-动作”的条件反射:看到人物往左走,屏幕背景向右移,模型就知道这时候应该按“D”键或移动鼠标。所有操作被统一标准化为键鼠信号,打破了不同游戏之间的数据壁垒。

文章配图

在执行层面,Gamer 的控制频率是 30Hz。它每隔 200 毫秒截取一次屏幕画面,然后一次性生成随后六个动作块,每个动作块持续约 33 毫秒。这种“看一眼,想一小步,做一小段”的节奏,既保证了反应的实时性,又避免了频繁推理带来的计算过载。

文章配图

解决“健忘”和“卡顿”的两个工程 trick

文章配图

长流程游戏最大的两个痛点:一是上下文太长,模型记不住前面干了什么;二是推理太慢,画面会卡。

米哈游团队在这两个问题上用了两个很实用的工程手段。

第一个叫“稀疏思考”(Sparse Thinking)。并不是每一步都需要深度推理。如果 AI 已经确定了一条安全路径,比如在直路上奔跑,它就进入“自动驾驶”模式,直接输出预设的动作序列,跳过复杂的思维链生成。只有当遇到路线失败、目标切换或者出现新的交互提示时,它才会停下来“深思熟虑”,重新规划下一步。这种机制大幅降低了平均推理延迟。

第二个叫“记忆摘要”(Memory Summarization)。随着游戏进行,历史记录会越来越多,超出模型的上下文窗口限制。Gamer 会在旧记录即将被移出窗口前,自动生成一段摘要,记下关键信息:当前任务进度、之前失败的尝试、重要地点坐标以及后续计划。这段摘要会被保留在上下文中,作为下一步决策的依据。这就好比玩家在游戏笔记本上记下“刚才那个门打不开,得去找钥匙”,而不是试图记住每一帧画面。

此外,为了进一步压低延迟,团队还配套开发了 Streaming-vLLM 推理引擎。这个引擎可以复用已处理的上下文,并提前吐出生成且核验完毕的动作块,让游戏画面先动起来,实现了推理与执行的并行。

强化学习:让 AI 在试错中变强

光有模仿还不够,还得会自我修正。第三阶段是在线强化学习,团队提出了一种叫 TA-GRPO 的算法。

他们将长流程任务拆解成由记忆衔接的片段。AI 在每个片段中尝试不同的操作策略,系统会根据游戏环境的反馈来打分:有没有到达目标地点?有没有完成任务?有没有死掉?这些结果直接用于更新模型参数。

这种闭环训练让 Gamer 具备了从失败中学习的能力。比如在某个复杂的跳跃关卡,第一次可能掉下去,第二次它会调整起跳时机,直到成功为止。

跨游戏能力:不止会玩崩铁

为了验证 Gamer 的通用性,团队还在其他几款风格迥异的游戏上进行了测试。

在《我的世界》(Minecraft)中,Gamer 能自主锁定史莱姆,追上去挥剑攻击;在第一人称射击游戏 ViZDoom(基于《毁灭战士》)中,它能迅速拉枪瞄准,连续点射逼近的敌人。

在一项包含七类小游戏、共 40 个未参与训练任务的基准测试中,Gamer 的表现呈阶梯式上升:基座模型成功率仅 3.2%,经过 CPT 预训练后升至 15.0%,经过监督微调(SFT)后达到 39.2%,加上强化学习后最终定格在 49.7%。

作为对比,同场竞技的其他通用模型最高分仅为 17.1%。这一差距说明,针对游戏场景的专项训练和强化学习机制确实带来了质的飞跃。

谁在做这件事?

这篇论文的背后,是米哈游崩坏 AI 研发团队。名单里有 8 位共同一作,其中 5 位在米哈游实习期间参与了研发。

核心成员包括新加坡国立大学博士生 Run Luo、清华大学博士生张宽(英雄联盟大师段位玩家)、中科院大学研究生 Yukun Chen 等。米哈游内部的 Qi Deng、Yufei Zhang、Renrong Hu 等人负责了强化学习、基础设施和基准建设。

团队负责人郑银河此前曾在云栖大会上展示过《崩铁》的 AI NPC“帕姆”,以及内部研发辅助平台 EchoX。可以看出,米哈游在 AI 上的布局非常清晰:对外提升玩家体验(如更聪明的 NPC),对内提升研发效率(如自动化测试、关卡生成)。

意义何在?不只是“代肝”

网友调侃这是官方“代肝”脚本,但从产业角度看,Gamer 的价值远不止于此。

首先,它是自动化测试的理想工具。传统游戏测试依赖人工或固定脚本,难以覆盖所有边界情况。Gamer 这种能理解画面、自主规划的 AI,可以像真实玩家一样去“探索”游戏,发现那些隐藏在复杂交互中的 bug。

其次,它为 AI NPC 提供了更强的行为逻辑。现在的 NPC 大多按照既定剧本行动,未来结合 VLA 模型,NPC 或许能根据玩家的行为做出更自然、更多样的反应,甚至产生 emergent gameplay(涌现式玩法)。

最后,这种跨游戏的通用操作能力,证明了 VLA 模型在处理复杂动态环境方面的潜力。游戏是一个高度浓缩的虚拟世界,在这里练成的 AI,未来有望迁移到机器人控制、工业软件操作等更广泛的现实场景中。

当然,目前 Gamer 还存在局限性。比如在极度复杂的战斗策略上,它还不如顶尖人类玩家;在处理从未见过的新机制时,仍需要一定的冷启动时间。但随着模型规模扩大和数据积累,这些短板正在被快速补齐。

游戏,正在成为 AI 进化的最佳练兵场。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. VLA/WAM已死,基模当立?Mind2Act World通用基准用「知行合一」角度为具身模型诊断进化方向

    机器之心发布VLA/WAM 已死,基模当立?过去一个月,通用大模型以 Agent 的方式接连在机器人操作评测中拿到高分,端到端的 VLA 和 WAM 还要不要继续做,成了具身智能圈绕不开的话题。这场争论里,双方手里的证据都是成功率。成功率能说明谁做成得更多,却说明不了没做成的部分差在哪里:一条路线是走到了头,还是只差一

    来源 腾讯网
  2. Metric AI开源亚美尼亚语模型Ayb 0.5:90亿参数跻身前三

    Metric AI团队推出了Ayb 0.5系列开源语言模型,包含0.8B、4B和9B三个版本。该系列基于Qwen3.5架构,针对亚美尼亚语进行了深度适配,在ArmBench基准测试中表现优异,甚至超越了部分参数量更大的模型。Ayb 0.5不仅支持文本生成和指令遵循,还保留了完整的视觉语言能力,能够用亚美尼亚语描述图片。

    来源 AI 应用前沿
  3. 谷歌工程师让打印机跑2.7亿参数模型:每词元约60秒

    IT之家 11 月 20 日消息,谷歌 DeepMind 技术团队成员奥马尔 · 圣塞维耶罗(Omar Sanseviero)于 11 月 17 日在 X 平台发布推文,在只占用 14.1MB 内存的情况下,成功让办公激光打印机运行 2.7 亿参数的 Gemma 3 270M 模型,每输出一个词元(Token)消耗约

    来源 腾讯网
  4. 试题经过大模型测试?国家中医药管理局认证中心:未与任何大模型企业合作,亦未开展测评

    IT之家 11 月 22 日消息,11 月 21 日晚,国家中医药管理局中医师资格认证中心通过官方公众号发布声明称,该中心从未公开历年真题,未与任何大模型企业合作,亦未开展测评。 声明称,中心从未以任何形式向社会公开、发布或出售中医类别医师资格考试历年试题(含真题、原题)、参考答案及相关考试资料,亦未授权任何单位或个人

    来源 AI 行业观察
  5. GTA 6口碑反转:满分神作为何被玩家嫌「不好玩」

    文章从《GTA 6》的日常生活、盗车限制与通缉机制切入,对比前作的犯罪游乐场体验,讨论极致拟真如何增加行动成本与道德负担,以及游戏在艺术表达、沉浸感和玩家娱乐需求之间的矛盾。

    来源 爱范儿
  6. METR时间视野图更新:编程任务表现突出,判断力任务仍偏弱

    METR发布其广受引用却常被误读的“时间视野图”更新版。新报告确认部分AI能力仍在指数级提升,模型能独立完成的任务时长持续延长;但报告同时揭示明显不对称——模型在编程任务上表现优异,在需要判断力的任务上却明显偏弱。这提醒业界,单一基准无法代表AI在开放式工作中的真实水平。

    来源 AI 科技快讯
  7. Gemini上Mac可代操作电脑,Runway推270亿参数机器人模型

    本期重点包括Google向数亿用户免费开放Gemini Tasks,并在Mac端推出可代操作电脑的Computer use功能。Runway发布27B参数机器人世界模型Praxis-1,OpenAI开放GPT-Live-1.1语音API。此外,Cognition评测显示Gemini 4 Neon在代码任务上性价比突出,

    来源 AI 应用前沿
  8. Lossless Scaling插帧怎么用:老显卡与掌机的配置和避坑

    Lossless Scaling(俗称小黄鸭)通过LSFG算法实现AI插帧和无损缩放,能让30帧游戏视觉翻倍。本文详解其工作原理、适用人群及硬件门槛,重点分析竞技游戏禁用原因和原生低帧率下的伪影问题。提供针对Steam玩家的参数设置建议,包括FSR算法选择、延迟控制及窗口模式激活技巧,帮助核显或旧独显用户在不升级硬件的

    来源 AI 应用前沿
  9. 杨枫谈《时空低语》:献给未来的情书为何引共鸣?

    单机游戏《时空低语》制作人濮冠楠,正是小说《时空低语》的作者。《时空低语》小说于2026年11月由作家出版社正式出版。18年后的今天,濮冠楠带着《时空低语》的新书,和彼时的《科幻世界》副主编杨枫有了这次跨越时空后的对话。两年多过去,2026年11月19日,《时空低语》游戏预告片全球首发。《时空低语》游戏整体研发周期预期

    来源 TechWeb
  10. 《时空低语》全球首发预告:杨枫谈火星之问与科幻情书

    单机游戏《时空低语》制作人濮冠楠,正是小说《时空低语》的作者。《时空低语》小说于2026年11月由作家出版社正式出版。18年后的今天,濮冠楠带着《时空低语》的新书,和彼时的《科幻世界》副主编杨枫有了这次跨越时空后的对话。两年多过去,2026年11月19日,《时空低语》游戏预告片全球首发。《时空低语》游戏整体研发周期预期

    来源 TechWeb
  11. 270亿参数模型自主改权重:八轮会话数学准确率升6.6点,安全担忧升温

    美国伊利诺伊大学与卡内基梅隆大学联合研究显示,一个270亿参数的Qwen3.5模型能够通过自身推理直接改写内部权重,在未见过的490道数学题上精度从57.2%提升至63.8%,全程无需梯度计算或传统训练。这一被研究者称为"自我改写"的能力在小参数量模型上完全缺失,仅在27B规模时涌现,且同一套机制能将一份被人为损坏的副

    来源 AI 行业观察
  12. Gemini 4 Neon发布:接入Antigravity编程解题率升至3倍多

    Carbon 向开发者开放才八天,Google 又发布了一款 Gemini 4 模型。 11 月 18 日亮相的 Gemini 4 Neon,在默认推理档追平了自家的旗舰 Carbon,开到最高档后比 high 档的 Carbon 高出 1 分,进入 Artificial Analysis 智能指数总榜前三。对于这款新

    来源 AI 行业观察
  13. GTA6首日零售37.9亿美元:单日超复联4全球票房

    作为对比,《GTA5》发售首日售出约1100万份、收入约8亿美元,三天才突破10亿美元,《GTA6》单日收入约为前作首日的4.7倍,一天即超越前作三天的成绩。不仅如此,《GTA6》的首日收入还超过了电影《复仇者联盟4:终局之战》约29亿美元的全球累计票房。评分方面,Metacritic给《GTA6》打出99分,并将其列

    来源 TechWeb
  14. GTA6首日零售37.9亿美元:一天超过复联4全球票房

    作为对比,《GTA5》发售首日售出约1100万份、收入约8亿美元,三天才突破10亿美元,《GTA6》单日收入约为前作首日的4.7倍,一天即超越前作三天的成绩。不仅如此,《GTA6》的首日收入还超过了电影《复仇者联盟4:终局之战》约29亿美元的全球累计票房。评分方面,Metacritic给《GTA6》打出99分,并将其列

    来源 TechWeb
  15. Qwen3.5 27B自我改写权重:精度升至63.8%,安全警报升级

    美国伊利诺伊大学与卡内基梅隆大学联合研究显示,一个270亿参数的Qwen3.5模型能够通过自身推理直接改写内部权重,在未见过的490道数学题上精度从57.2%提升至63.8%,全程无需梯度计算或传统训练。这一被研究者称为"自我改写"的能力在小参数量模型上完全缺失,仅在27B规模时涌现,且同一套机制能将一份被人

    来源 AI 科技快讯
  16. 姚顺雨团队Reddit答问:混元下一代模型规模将显著扩大

    连续发布Hy4和Hy4 flash后,腾讯首席AI科学家、混元大模型负责人姚顺雨和混元团队研究员来到Reddit,回应关于小尺寸模型、下一代训练计划、架构选择、安全与模型能力等问题。 北京时间11月21日凌晨,混元团队首次在Reddit举办AMA(Ask Me Anything,即“有问必答”),共收到300多条留言。

    来源 腾讯网
  17. TML开源新模型,循环Transformer架构,笔记本就能跑

    编辑|Panda昨晚,黎曼猜想的一份 AI 证明声明,把大模型的推理能力再次推到聚光灯下。Anthropic 数学家 Levent Alpöge 宣称,自己与 Claude 合作找到了证明,并公布了形式化材料。虽然这项声明仍待独立核验,但已经让人们重新追问:AI 究竟能完成多复杂的工作?而刚刚,Thinking Mac

    来源 腾讯网
  18. Gemini 4 Neon发布:速度达旗舰两倍,定价却更高?

    2026年11月18日,谷歌DeepMind正式推出Gemini 4 Neon,定价每百万输入token 3美元、输出15美元,配备100万token上下文窗口。在Artificial Analysis智能指数上排名全球第三(得分61),生成速度约每秒110-127个token,接近旗舰模型Carbon的两倍。但一个反

    来源 AI 行业观察
  19. 谷歌论文曝RSI内部落地:SIM机制让AI经验跨模型遗传

    新智元报道 谷歌内部,或许真正实现了RSI!从此,Gemini已能「继承经验」持续自我进化,Gemini新模型不再从零开始!或许也正是这个原因,谷歌最近跟疯了似的不停发模型。Gemini 4 Hydrogen才发布不到一周,更强的Gemini 4 Neon就来了。答案,或许藏在谷歌与宾夕法尼亚州立大学深夜联合发布的一篇

    来源 腾讯网
  20. OpenAI前沿训练安全框架:夜间告警无人应答即自动暂停

    OpenAI于2026年11月18日发布前沿模型训练安全案例框架,要求训练运行在推进前通过对齐、遏制、监控三维度审查。核心机制包括夜间优先安全告警无人响应时系统自动暂停,以及新问题导致安全案例失效即须暂停。该框架借鉴航空与核电行业实践,明确限定于前沿强化学习训练阶段,目前仍属 aspirational 北极星

    来源 AI 科技快讯
  21. OpenAI推前沿训练安全框架:夜间告警无人应答就自动暂停

    OpenAI于2026年11月18日发布前沿模型训练安全案例框架,要求训练运行在推进前通过对齐、遏制、监控三维度审查。核心机制包括夜间优先安全告警无人响应时系统自动暂停,以及新问题导致安全案例失效即须暂停。该框架借鉴航空与核电行业实践,明确限定于前沿强化学习训练阶段,目前仍属 aspirational 北极星目标。

    来源 AI 行业观察
  22. METR时间视野图更新:AI能力仍沿指数上涨,判断力没跟上

    METR发布其广受引用却常被误读的“时间视野图”更新版。新报告确认部分AI能力仍在指数级提升,模型能独立完成的任务时长持续延长;但报告同时揭示明显不对称——模型在编程任务上表现优异,在需要判断力的任务上却明显偏弱。这提醒业界,单一基准无法代表AI在开放式工作中的真实水平。

    来源 AI 行业观察
向下滚动自动加载更多