让AI打游戏,到底难在哪里

资讯 腾讯网 作者:科技行者 全文 4466 字 · 约 12 分钟读完 分类腾讯游戏学术研究

先问你一个问题。如果你要教一个AI玩游戏,你会怎么教?大部分人的直觉是:找一堆人类玩游戏的录像,让AI看着学。这个思路对,但也不完全对。腾讯和新加坡国立大学的一个研究团队发现了一个很现实的问题:人类玩游戏的录像再多,也覆盖不了游戏里所有可能出现的状态。你录一万小时《我的世界》视频,AI依然可能在第一万零一...

所属频道 大厂动态前沿研究影视与游戏

先问你一个问题。

如果你要教一个AI玩游戏,你会怎么教?大部分人的直觉是:找一堆人类玩游戏的录像,让AI看着学。这个思路对,但也不完全对。

腾讯和新加坡国立大学的一个研究团队发现了一个很现实的问题:人类玩游戏的录像再多,也覆盖不了游戏里所有可能出现的状态。你录一万小时《我的世界》视频,AI依然可能在第一万零一次遇到一个从没见过的地形组合时彻底懵掉。

这就是这篇论文的起点。他们管这个框架叫PLAYER-1,一个让AI通过"合成经验"学会打游戏的训练方法,而不是单纯靠看录像。

录像不够用,那缺的是什么

先说清楚现在的游戏AI是怎么训练的。

主流做法是收集大量游戏录像,记录玩家在什么画面下按了什么键,然后让模型学习这种画面到操作的映射关系。这套路子在计算机使用智能体领域已经验证过,

计算机使用智能体(CUA)

但游戏和普通软件操作有本质区别。点个按钮、填个表单,画面相对静止,容错率高。游戏不一样,你在《艾尔登法环》里面对一个BOSS,画面每一帧都在剧烈变化,你的操作窗口可能只有零点几秒,错过了就是被秒杀。这种高强度的动态视觉反馈,恰恰是录像学习最薄弱的地方。

录像能教会AI"看到这个画面应该按W",但教不会AI"如果按了W之后情况和录像不一样怎么办"。这就好比你报了个驾校,教练把所有可能遇到的路况都录了像给你看,但你真正上路那天,前面突然窜出一只猫,录像里没这一段,你就只能凭感觉乱打方向盘了。

录像学习的天花板,本质上就是录像?covered的状态空间的天花板。你没见过的情况,AI也应付不来。

那怎么办?研究团队的答案是:既然真实游戏的状态空间太大,录不完,那就让AI自己在一个可控的环境里反复试错,用游戏本身给出的客观反馈(比如得分、是否完成任务)来告诉AI做得好不好。这种反馈叫做

可验证奖励(RLVR)

这里有个关键的工程难题:你想让AI在真实商业游戏(比如《赛博朋克2077》)里反复试错,但这些游戏不是开源的,你没法在里面插入"奖励函数"去实时告诉AI分数变化。于是团队想了个办法:自己造环境。

扩展动作空间

在讲造环境之前,有个更基础的问题得先解决:AI的"手"够不够灵活。

普通的计算机使用智能体,操作方式主要是点击屏幕上的某个坐标,或者输入文字。但游戏操控完全是另一套逻辑。你玩第一人称射击游戏,转动视角靠的是鼠标的相对位移,不是点击屏幕上某个绝对坐标;你想让角色持续奔跑,得一直按住W键,而不是点一下就完事;你想一边瞄准一边开枪,得同时控制鼠标移动和左键点击。

于是团队把动作空间扩展了三类。

第一类是

第二类是

第三类是

这三类扩展听起来简单,但它解决的是一个很根本的矛盾:计算机使用场景的动作空间是为"点选"设计的,而游戏的动作空间是为"连续控制"设计的。

想象你本来只会用遥控器单点按键操作电视,现在突然要你去开一辆手动挡汽车。踩离合、挂挡、给油,这几个动作得同时协调完成,而不是一个接一个地点按。如果没有

数据显示这个判断是对的。团队收集的6044条游戏录像里,经过标注后发现,38%是纯键盘操作,35.1%是键盘加鼠标的组合,而这些组合操作中,单步包含2个及以上输入的占到了63.4%。也就是说,真实玩家的操作里,

六千条录像:怎么把杂乱的操作数据变成AI能学的样子

光有动作空间定义还不够,得有示范数据让AI知道"什么时候该用什么动作"。

团队从公开数据集和自己录制的素材里,整理出6044条游戏轨迹,一共295097个交互回合,覆盖172款游戏,总时长约16.4小时。数据来源包括《我的世界》《GTA 5》《赛博朋克2077》这类3A大作,也有一些独立游戏。

这里有个很容易被忽略但实际很麻烦的问题:不同的数据来源,录制的时间粒度不一样,鼠标灵敏度的换算标准也不一样。有的数据集用的是每秒5帧的采样间隔,有的是每秒6.7帧;有的鼠标位移记录是相对坐标,有的是绝对坐标,而且不同游戏引擎对鼠标移动量的物理含义解读也不一样。

团队的解决办法是做了一套时间对齐和空间校准流程,把所有来源的数据统一映射到200毫秒一个控制步骤的标准网格上,并针对每个数据源单独计算鼠标位移的校准系数。

这就像你收集了全世界不同品牌温度计测出的体温数据,有的用华氏度,有的用摄氏度,还有的刻度本身就有系统误差。你没法直接把这些数字堆在一起训练模型,必须先一个个校准,换算成统一单位,才能让后续的学习过程有意义。如果跳过这一步直接拿原始数据喂给AI,那模型学到的鼠标操控幅度就是一团乱麻,在A游戏里学到的"转头45度"的操作,放到B游戏里可能变成转头180度,完全不可控。

标注完动作还不够,团队还用了一个视觉语言模型(Gemini 3.8 Flash)给每一帧画面配上任务目标和推理文字。比如在《艾尔登法环》对战赛丽娜双月骑士的那一帧,AI不仅要记住"按左键+按住W和Shift"这个动作,还要理解"她的挥砍正在划过玩家上方,此时冲上去重击能打中她的硬直空档"这样的战术逻辑。这一步让后续的监督微调不只是记忆动作,还在学习为什么要做这个动作。

十六个合成世界:为什么不直接在真实游戏里训练

解决了"AI会不会操作"的问题,接下来就是本文真正的核心创新:

这是团队自己搭建的十六个合成游戏环境,涵盖2D和3D,分成五大类:瞄准、战斗、驾驶、导航和界面交互。比如2D瞄准训练精准点击移动目标的能力,3D近战训练角色朝向、距离和移动的协调能力,2D界面制作训练在游戏菜单里查阅配方并合成装备的操作。

为什么不直接拿商业游戏来做强化学习?答案很直接:商业游戏是黑盒,你拿不到内部状态,没法实时验证AI的动作对不对,奖励信号就无从谈起。

但自己搭建的合成环境不一样,每一帧的游戏状态都是透明的,击杀数、收集的金币数、通过的检查点数,这些指标可以实时读取,直接转化成奖励信号。这就是为什么团队要专门造十六个环境,而不是直接把真实游戏接进来硬train。

这个思路有点像学开车前先去驾校练车场。真实马路太复杂,车祸的代价也太高,你没法让新手司机在真实马路上反复试错来学习怎么并线。但驾校练车场可以模拟各种路况,撞了锥桶没关系,可以重来,而且每一次操作的对错都有清晰标准。如果没有这个中间环节,直接让AI在真实商业游戏里瞎撞着学,一来没有程序化的奖励信号可用,二来试错成本(账号封禁、无法重置状态)会高到不可接受。

更巧妙的是,这十六个环境之间共享底层引擎和资产,这样做的好处是环境可以快速扩展,而且观察和动作的接口是统一的,AI学到的控制经验可以在环境之间迁移。

为了让AI学到的东西不只是"背答案",团队还给每个环境加了随机化,覆盖四个维度:外观(颜色、光照)、相机(视角、投影方式)、场景(布局、出生点)、控制(移动和转向的响应灵敏度)。同一个2D驾驶环境,可能这局是暖色调配色,下一局就变成冷色调;这局相机是正交视角,下一局可能换个缩放比例。

这种随机化训练出来的AI,面对一个全新的未见过的配色和视角组合时,不会因为"颜色不对"就直接宕机,因为它在训练阶段就已经适应了成百上千种颜色和视角的排列组合,学到的是控制逻辑本身,而不是某个特定画面的死记硬背。

多环境强化学习:怎么让一个AI同时在十六个世界里变强

有了环境,接下来是怎么训练。团队用的是

PPO(近端策略优化)

这里有个实际工程难题:十六个环境的奖励量级天差地别。打死一个敌人可能加10分,而完成一次赛车圈速检查点可能只加1分。如果直接把这些奖励混在一起训练,模型会不自觉地偏向那些"分数变化大"的环境,忽略分数变化小但同样重要的环境。

团队的解决办法是做

这就像一个班主任要同时给数学和语文打综合评价。数学考试满分150,语文满分100,你不能直接把两门课的原始分数加起来比大小,那样数学好的学生永远占便宜。正确做法是先把每门课的分数换算成年级排名百分位,再综合评价。如果没有这一步归一化,模型会把几乎所有的学习精力都投入到奖励数值大的那几个环境里,其他环境的训练信号会被完全淹没。

效果如何:数字说话

说了这么多设计思路,实际效果到底怎样?

团队训练了两个版本的模型,

在

更值得关注的是任务覆盖率的变化。300个任务里,至少成功4次(满分8次试验)的任务数,从监督微调阶段的20个,涨到强化学习后的136个。这说明提升不只是个别任务碰运气做对了,而是整体稳定性的全面提高。

ViZDoom-10

这个结果说明一件事:在合成环境里练出来的控制能力,是真的能迁移到完全陌生的游戏里去的,不是只会应付训练集里见过的套路。

团队还做了个更有意思的测试,把Player-1-9B接入一款两个模型都完全没训练过的商业游戏

环境越多,泛化越强

团队还做了个

他们固定总训练预算为25600个episode,分别只用2个、4个、8个、16个环境来训练,起点都是同一个监督微调后的检查点。结果是,用2个环境训练后,Minecraft成功率从17.67%涨到39.33%;用16个环境训练,涨到了51.67%。

环境数量翻了8倍,成功率涨幅并不是线性叠加的,但确实是单调递增的,这说明环境多样性本身就是一种有效的训练信号来源,哪怕任务总预算不变。

这个发现有点反直觉。按常理想,固定总训练量不变,把预算摊薄到更多环境里,每个环境分到的训练次数就更少了,效果不应该更差吗?但实际情况恰恰相反,广度比单一环境里的深度更有价值。这就像学语言,你花100小时只学一种方言,口语可能很溜,但换个地方就听不懂了;你把同样100小时分散到十种方言里,每种学得都不算精,但你综合理解语言规律的能力反而更强,遇到第十一种方言时适应得更快。

组合动作

最后一个很有意思的发现是关于动作组成的演变。

团队追踪了Player-1-9B在强化学习训练过程中,

这个变化完全没有被显式奖励过,模型本身没有被告知"多用组合动作能得分",但强化学习的过程自发地让模型越来越倾向于使用组合动作。合理的解释是,游戏里很多任务本质上就需要同步控制,比如一边瞄准一边开火,一边移动一边转镜头。单独执行这些动作效率太低,模型在追求更高分数的过程中自然而然学会了"动作要打包执行"这件事。

这说明一个更深层的道理:有些能力不需要被直接教,只要给出正确的目标和反馈机制,AI会自己摸索出最优策略。这和人类学技能的过程其实挺像,没有教练会专门教你"打字时要同时用多个手指",你练着练着自己就学会了,因为单指打字实在太慢,被环境本身淘汰了。

Q&A

Q1:PLAYER-1是什么?

A:PLAYER-1是腾讯和新加坡国立大学团队提出的一个游戏AI训练框架,核心思路是在监督微调之后,让AI在16个自己搭建的合成游戏环境里通过强化学习继续练习,用程序化可验证的奖励信号提升游戏控制能力,而不是单纯依赖人类游戏录像学习。

Q2:

A:

Q3:PLAYER-1训练出的模型效果怎么样?

A:Player-1-9B在

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. OpenAI报告:1819名科学家58万条消息,AI提效最高达2.83倍

    智东西(公众号:zhidxcom)编译 | 孙小雯编辑 | 程茜智东西11月17日消息,今天,OpenAI发布一项研究报告,关于科学家使用ChatGPT的情况以及对AI加速科研发现的看法。据受访科学家估计,在完成同等质量工作的前提下,使用AI的工作效率可达未使用时的约1.9倍。OpenAI经济研究团队以ChatGPT学

    来源 腾讯网
  2. 腾讯Hy4 flash实测:两毛钱让AI从零做出3D交互网页

    11 月初,腾讯 Hy4 发布,新模型在大模型竞技场上一跃升至开源第一。排在 Hy4 前面的三个模型分别是 GPT-6 Sol(Max)、Claude Opus 5(Max)和 Fable 5(High),附近还有 GPT-6.1 Terra、GPT-5.6 Sol 等一众强劲的闭源模型。我们此前在 WorkBuddy

    来源 腾讯网
  3. 腾讯AI调整引发裁员误读:游戏行业40%用AI,55%却说负面影响

    文丨二几 在游戏行业,AI正在成为一场关于未来的“罗生门”:有人把AI视作生产力革命,有人担心AI将摧毁原有的开发者生态。支持和反对各执一词,谁也说不准哪一种未来会先到来。 GDC刚刚发布的《2026年游戏行业报告》显示,40%的游戏行业从业者已经在工作中使用生成式AI,但与此同时,55%的受访者认为AI正在给游戏行业

    来源 AI 行业观察
  4. Take-Two CEO 批评 Anthropic、OpenAI:别放任用户用 AI 克隆游戏

    IT之家 11 月 17 日消息,《GTA 6》即将迎来期待已久的发售,Take-Two CEO 施特劳斯 · 泽尔尼克近日批评 Anthropic、OpenAI 等公司,认为它们放任用户利用生成式 AI 抄袭和仿制现有游戏。 生成式 AI 在游戏开发中的应用一直饱受争议,近几个月来,AI 仿制游戏的问题愈发突出。一些

    来源 AI 行业观察
  5. AI写代码快,腾讯云黄辉:生产责任没消失,只是要写进系统默认值

    AI 已经能在几分钟内把一个应用的 Demo 写出来,这件事早就不新鲜了。真正悬而未决的,是这些 Demo 能不能走到生产环境,并且一直活下去。 近日在 DBTalk 数据库 AI 技术沙龙成都站上,腾讯云 PG 数据库技术专家黄辉把这个问题摆上了台面,并给出了自己的判断:AI 缩短的是代码生成的时间,不是生产工程的责

    来源 AI 行业观察
  6. 巨人网络AI实验室并入技术中台,游戏买量转向AI漫剧?

    当游戏公司把AI从实验室搬进生产线,AI漫剧成了最先被点名的探索方向。今日(11月16日),巨人网络官宣调整AI实验室组织架构,相关团队与技术能力整合至公司技术中台。这一转变意味着AI不再是实验室里的技术项目,而是实打实的内容生产线。过去一年,世纪华通、益世界、三七互娱、恺英网络等已将AI漫剧作为投放素材的重要试...

    来源 腾讯网
  7. 双授权之后:海睿数科把 AI 培训送进政府与央企课堂

    2026 年以来,苏州海睿数字科技有限公司(以下简称"海睿数科")的培训课堂陆续开进了江阴市综合执法局、宜兴市城管局、苏州工业园区人力资源服务行业协会、中欧校友总部与中国电信常熟分公司。同一时期,这家公司持有两张可核验的资质:腾讯 WorkBuddy/CodeBuddy 官方授权合作伙伴(授权期限至 2026 年 12

    来源 36氪
  8. 腾讯混元Hy4 flash发布:224B参数,张军称性价比最高

    【TechWeb】11月16日消息,今日,腾讯混元最新语言模型Hy4 flash正式发布。腾讯公司公关总监张军在社交平台发文称,“这是迄今为止性价比最高的混元模型。”混元Hy4 flash每百万Token输入0.5元、输出2元,命中缓存时仅需0.02元,价格相比Hy4大幅降低。该模型总参数量为224B(其中64B En

    来源 腾讯网
  9. 三星美光海力士内存涨价7倍,法官戳破AI背锅说法

    最近,硬件圈发生了一件魔幻的事。因为新一代DDR5内存条贵得离谱,而老款DDR4和DDR5插槽互不兼容,逼得多家主板厂从年中开始掉头重启了原本停产的DDR4主板产线。更离谱的是,玩家去市场上一问价,发现老旧的DDR4不仅没便宜,近期涨幅一度反超了新款DDR5。今年的笔记本新品们,更是集体退回16GB内存时代。这一年多来

    来源 腾讯网
  10. 腾讯云AI存储:Agent时代存储体系怎么重构?

    过去这一年,整个社会对存储的关注,比以往任何时候都要多。 在AI浪潮的影响下,存储需求激增,价格也一路飙升。 此前,对于发展AI,大家主要关心的是算力和算法,是芯片和大模型。如今,随着AI的不断落地,数据以及数据背后的存储底座,正在不断凸显其价值。 前不久,腾讯全球数字生态大会在深圳举行。在会上,行业大佬们纷纷指出,A

    来源 AI 行业观察
  11. 马化腾刘炽平谈AI冲击:腾讯生死存亡,管理岗位未必多

    一年一度的腾讯总办LinkTime上,CEO马化腾、总裁刘炽平发表内部讲话,罕见回应AI对组织带来的冲击。腾讯文化公众号11月16日也发布了笔记《总办号召 AI 时代再创业,“心态归零”》。 打开网易新闻 查看精彩图片 每年腾讯的管理层都会在LinkTime中谈及公司的业务进展和下一步方向。从这篇笔记看,腾讯总办此次主

    来源 AI 行业观察
  12. 腾讯 Hy4 flash 实测:快速、实惠、聪明,国模进入过日子时代

    作者|Cynthia编辑|郑玄过日子的风,还是吹到了大模型行业。2026 年之前,一款模型能不能刷屏,往往取决于它又做到了什么。GPT-4o 的实时语音交互、Claude 的编程能力、DeepSeek R1 的推理表现,一度轮番成为讨论焦点。一款新模型发布,大家首先关心的是它超过了谁,又做到了什么过去做不到的事。但到了

    来源 腾讯网
  13. 阿里腾讯同日发新模型:Qwen4-Max单任务降58%,Hy4 flash仅竞品1/8

    阿里Qwen4-Max基于2.4万亿参数的全新架构,评测中单任务平均费用从26.58元降至11.16元,缓存命中每百万Token低至0.5元;腾讯Hy4 flash激活参数仅12B,评测中单任务成本为DeepSeek同类产品忙时价格的1/8、Hy4的1/20,缓存命中仅需0.02元。 11月16日,阿里和腾讯在同一天各

    来源 AI 行业观察
  14. Fable 5.2 ,断掉出海Agent的路?

    文/HALFable 5.2发布后没几天,国内社交平台上流传过一款“国产自研3A射击游戏”,页面写着由Fable 5.2自主研发。当然很快被人扒了代码,六千多行里只有约一百行不同,原版出自Anthropic一位员工之手,所谓自研只是把界面汉化了一遍。这件事倒是很能说明Fable 5.2在国内的处境。讨论的人多,真正用上

    来源 腾讯网
  15. Qwen4-Max单任务降58%,Hy4 flash成本仅竞品1/8

    阿里Qwen4-Max基于2.4万亿参数的全新架构,评测中单任务平均费用从26.58元降至11.16元,缓存命中每百万Token低至0.5元;腾讯Hy4 flash激活参数仅12B,评测中单任务成本为DeepSeek同类产品忙时价格的1/8、Hy4的1/20,缓存命中仅需0.02元。

    来源 华尔街见闻
  16. 北大天大开源SpatialScout:让AI像人一样主动探索三维空间

    北京大学与天津大学联合发布了SpatialScout,这是一个针对三维空间智能的全新评测基准。不同于以往让AI“看图答题”的静态测试,SpatialScout要求模型操控虚拟摄像头,在80个室内场景中自主移动、拍照并调用三角测量工具,最终构建出物体中心的三维地图。它通过中心误差和三维IoU双重指标,精准评估模型的定位精

    来源 AI 应用前沿
  17. WorkBuddy工作空间怎么用:绑定文件夹,让AI直接读写本地文件

    很多新手用 WorkBuddy 时直接跳过「选择工作空间」,导致只能当普通聊天机器人用。其实工作空间才是核心:它给 AI 划定一个本地文件夹权限,让它能直接读写文件、自动保存结果。本文详解如何创建空间、避免隐私坑,以及为什么这比拖拽文件高效得多。

    来源 AI 应用前沿
  18. 爱优腾芒抢AI导演,谁的offer更有吸引力

    作者|莉拉 去年,张蓓带着团队参加爱奇艺“鲍德熹·爱奇艺AI剧场”的AI短片比赛。16个入围作品里,她的团队是唯一做动画片的。比赛结束后,爱奇艺找到她,问了一个问题:有没有可能把作品做成长....

    来源 腾讯网
向下滚动自动加载更多