腾讯港大研究多人世界模型:八个玩家如何同看一个世界?
你有没有玩过那种四人联机射击游戏,两个队友同时冲进一个房间,结果屏幕里一个人看到地上有个箱子,另一个人却压根没看到?这不是网络延迟问题,而是一个更底层的问题。如果你想用AI来生成这种多人游戏画面,而不是靠传统的游戏引擎去渲染,你就会撞上一个几乎没人认真解决过的难题:怎么让AI生成的多个玩家视角,互相之间...
玩过四人联机射击的人大概都碰过这种怪事:两个队友一起冲进房间,一个说地上有箱子,另一个却什么也没看见。
这跟网络延迟没关系,问题出在更底下的一层。假如画面不靠传统游戏引擎渲染,而是交给AI生成,就会撞上一个几乎没人认真啃过的硬骨头——多个玩家视角之间怎么保持一致。
腾讯和香港大学的研究团队盯上的就是这件事。多人世界模型,到底难在哪?
先交代背景。这几年AI生成视频跑得很快,从Sora到Veo,单镜头画质已经接近实拍。这类系统有个名字,叫视频世界模型:它根据过去的画面和动作,预测下一步会发生什么,相当于在AI脑子里装了一台物理引擎。
可几乎所有的视频世界模型讲的都是单人故事——一台摄像机、一条动作序列、一段文本提示,生成一段视频。放在自动驾驶仿真、机器人训练里够用,一旦碰上多人联机游戏,事情就复杂了。
多人场景提了三项要求。其一,两个玩家视角出现重叠时(比如都看见了同一个箱子),画面细节得对得上,不能一个看到红箱子、另一个看到蓝箱子。其二,每个玩家按自己的操作走,玩家2按下瞄准键,画面就该切到瞄准视角,不能被别人的动作带偏。其三,这一点最容易被忽略:不相关的事件不该互相污染。玩家3在角落开枪冒出火光,这团火光不该莫名其妙漂进玩家4的画面,人家压根没往那边看。
研究者试过两条路,都卡住了。
Solaris这类方法走的是第一条路,叫做[[保留1]]。思路听着挺公平,人人平等地互相看一眼。代价是计算量随玩家数量呈平方级上涨。4个玩家还扛得住,想做10人联机,开销直接爆炸。论文给出的实际数字很直观:10人场景下,
全连接通信
好比一场10人会议,规定每个人必须单独跟其余9人逐一私聊才能开成,沟通成本随人数指数级爬升。不设限呢,会议室里永远在交换意见,效率低到没法用。改成先分组讨论、再派代表汇总,会议效率立刻不一样。全连接方案的死穴就在这里:它没有分组这个概念,所有人必须两两直连。
第二条路是γ-World走的,叫做[[保留2]]。计算爆炸的问题解决了,每个玩家只需跟中心对话一次,不必跟所有人对话。但新麻烦跟着来:所有玩家的信息,不管相关不相关,全挤进同一个“广播站”。玩家2的瞄准动作、玩家3的开枪火光、玩家4完全无关的移动,混在一个信道里来回传递。结果就是论文开头那个例子,火光信息串台到了不相关玩家的画面里,这就是**
集中式通信
一个公共广播站什么消息都往里塞,听众迟早会把不相关的通知当成跟自己有关的事。这不是信道容量不够,而是塞进去的信息种类太杂,没有分流。[[保留3]]
**
研究者的直觉很朴素:现实世界里,人和人的相关性并不均等。两个在同一个房间里打架的玩家,信息高度相关,应该紧密沟通;两个分别在地图两端巡逻的玩家,基本互不相关,没必要时时刻刻互通有无。
Multics于是提出了[[保留4]]。具体机制是这样:每个玩家的视觉信息用一组token表示,token可以理解成神经网络里携带信息的最小单元。相关性高的玩家被分到同一小组,组内设置若干个[[保留5]]。
层级通信
组令牌
全局令牌继续扮演跨组沟通的角色,不过它接收的已经是组内筛选、聚合过的信息,不再是所有玩家原始信息的大杂烩。
这设计像什么?想象一家大公司开周会。每个员工都跟CEO一对一汇报所有细节,CEO会被信息淹没,汇报质量也下降,因为他没时间消化每个人的具体工作。设一层部门经理就不一样:员工先跟同部门的人对齐,部门经理再把浓缩后的要点报给CEO,传递效率和质量都往上走。去掉部门经理这层,让所有人直接对CEO说话,得到的就是γ-World的问题——信息混杂、重点丢失。让每个员工跟每个同事单独开会对齐,得到的就是Solaris的问题——会议开到天荒地老,根本忙不完。[[保留6]]
层级通信
这些[[保留5]]还有个好处。模型训练时哪怕只见过4人组成2个小组的场景,推理时遇到10人组成5个小组的场景,也能直接套用,不必为每种玩家数量重新训练一套参数。
这个思路跟搭乐高差不多。要是每种造型都单独开一套模具,能拼出来的样子就那么几种。换成标准化的、可以反复用的积木块,同一套零件搭小房子行,搭大城堡也行,差别只在于用多少块、怎么摆。
那谁跟谁分到一组,怎么定?随便分显然不行。比如固定前两人一组、后两人一组,玩家一走动,原本没什么关系的人可能突然凑到一块,本来挨得很近的两个人反倒被拆开,信息割裂照样出现。
层级通信
Multics的办法叫[[保留2]]。系统会一直算每两个玩家之间的“相关性分数”,这个分数看两样东西:两人的摄像机离得多近,以及视线是不是朝着对方、或者朝着同一片区域。分数高的,就优先划进同一组。
动态分组
不过这里卡着一个条件,叫[[保留3]]。说白了,分组不能想怎么分就怎么分,得在一个固定的“沟通经费”里做文章,把真正相关的玩家尽量凑在一起,让这笔预算花得值。
预算约束
这套逻辑跟企业重组团队很像。公司不可能无限掏钱搞团建、开跨部门会,可一分钱不花,部门墙又会越砌越高。比较合理的做法是先定一笔固定预算,再把这笔钱优先给协作最紧密、产出最高的那几个团队。要是没有上限,直接按相关性最高无脑分组,系统很可能滑向另一种形式的
论文的消融实验也说明这一步不能省。固定分组——不管实际相关性,始终按同一种方式分——几何一致性得分是50.71%,随机分组更差,只有46.76%,而
**实验结果说明了什么**
研究团队在
在4人和6人场景下,Multics在一致性指标
泛化能力是更关键的测试。研究者只用4个玩家训练,然后直接拿去跑6人、8人、10人的场景,全程不重新训练。结果Multics在10人场景下的一致性得分仍有51.54%,Solaris是47.82%,γ-World是49.12%。分组加上共享参数这套设计,确实让它能跨过训练时的玩家数量,这一点在实际应用里分量很重——总不可能每种玩家数量都单独训一个模型。
研究者还换了个完全不同的场景做跨领域验证,叫EgoTeam。Multics在这个数据集上照样是相对最好的,一致性得分58.62%,高过Solaris的57.65%和γ-World的52.31%。层级通信这个思路并非针对CS2专门调出来的巧合,它有一定通用性。
计算效率的数据也值得单独拎出来讲。玩家数量从4人涨到10人,
**写在后面**
读完论文,我最意外的是它挑的参照对象。研究者没有凭空造一个新概念,而是把Solaris和γ-World这两种已有方案摆到一起,直接点出各自的病根:一个通信太密,算力扛不住;一个通信太集中,信息串了味。层级通信说到底,是在两个极端中间找一个有物理直觉撑着的中间态。这种先看清两个失败案例的病因再下药的路径,比直接堆新模块的论文更让人信服。
另一个让我多想了一会儿的细节,是组令牌共享参数这个设计。表面看是工程技巧,背后的逻辑其实挺有意思:想让系统扛住未知规模的扩展,就不能把结构和具体规模死死绑在一起。这跟现实里很多组织设计的原则是通的。一个只能靠不断加管理层级来应付扩张的公司,迟早被自己的复杂度压垮;反过来,用标准化、可复制的单元去应对规模变化,弹性会更好。
论文也留了一个没完全解决的问题:长时间运行下的世界状态持久性。玩家分组是动态变的,如果玩家甲离开乙的小组很久之后又重新靠近,之前共享过的那些细节信息,系统还“记得”保持一致吗?论文里说这是未来的方向,但没给答案。这问题其实挺本质,真实的多人游戏不是几分钟的片段,而是动辄几十分钟甚至几小时的连续体验。
Q&A
Q1:Multics是什么?
A:腾讯与香港大学团队联合提出多人视频生成世界模型Multics,其核心创新在于层级通信机制:多个玩家视角下AI生成的画面既能保持一致,又能响应各自操作,还可抵御无关事件干扰。
Q2:Multics和Solaris、γ-World相比有什么优势?
A:Solaris采用全连接通信,计算量随玩家数平方增长;γ-World采用
问:Multics的动态分组机制是如何运行的?
答:该机制以玩家最近的摄像机位置和视线方向为依据,实时算出任意两位玩家之间的相关性分数,再将关联紧密的玩家划入同一小组,且分组过程受一个预算上限约束,从而防止沟通成本失控。