MJev-Spatial:AI答空间问题不再逐字生成,直接“选”出答案
你有没有想过一个很怪的问题:当你问AI"杯子在桌子的左边还是右边",它为什么要洋洋洒洒打出一整句话"根据图片观察,杯子位于桌子的左侧",而不是直接告诉你"左"这一个字?这不是矫情,这是现在所有视觉语言模型的通病。一、一个被忽略的效率黑洞先说个可能颠覆你认知的事实:现在主流的AI视觉模型回答"左还是右""距离多少...
问AI“杯子在桌子的左边还是右边”,它为什么不直接回一个“左”字,反而要洋洋洒洒写上一整句“根据图片观察,杯子位于桌子的左侧”?
这并非矫情,而是眼下所有视觉语言模型共有的毛病。
一、一个被忽略的效率黑洞
先说个或许会颠覆认知的事实:主流AI视觉模型在回答“左还是右”“距离多少米”“指出哪个点”这类问题时,用的流程和写诗、编故事一模一样,都是逐字生成。
模型嘛,不就该会说话吗?你可能觉得这没什么问题。
问题恰恰出在这儿。
这类空间题的答案空间其实小得可怜:选择题答案就那么几个选项,数值题是一个具体的数字,指点题是图上一个坐标。可模型偏要把这些简单答案硬塞进“一个字一个字往外蹦”的文本生成机制里。
VLM(Vision-Language Model,视觉语言模型)
好比去银行取钱,在取款机上按几个数字键就能办完的事,银行却非要你先写一封完整的申请信,把取钱的原因、用途、心情都交代清楚,等工作人员读完批复才能拿到钱。信越长,排队越久,而这封信的内容其实从一开始就能简化成几个按钮。
不简化会怎样?答案是:每一次问答都要经历
这就是
二、灵感从哪来:一个叫
这套思路并非研究团队凭空发明。
Jev
"
MJev-Spatial
三、三种不同的空间问题,怎么用同一套框架搞定
空间理解任务其实分成三大类,看上去风马牛不相及,但
第一类是选择题,比如“椅子在桌子前面还是后面”。这类题天然是有限选项,好办:把每个选项当成一个“候选类别”,让模型逐个打分,分数最高的就是答案。
第二类要麻烦一些,是数值预测,比如“这两个物体之间距离多少米”。距离可以是0.01米,也可以是16384米,数值范围横跨六个数量级,总不能让每一个可能的数值都变成一个选项吧?
论文在这里用了一个很聪明的两阶段设计:先粗分,再细分。就像去图书馆找书,没人会在几万本书里一本本翻,而是先看楼层指示牌(一楼文学类,二楼历史类),锁定大区域之后,再去对应书架精确定位。
MJev-Spatial的做法是先把整个数值范围切成30个粗略区间。这些区间宽度并不均匀,按对数规律递增,短距离分得细,长距离分得粗。确定落在哪个粗区间后,再在这个区间内部切成4到8个更精细的格子,最终取中间值当作答案。
不分阶段会怎样?论文里提到,如果一次性把所有精细格子摆出来,候选选项总共要有960个,模型得在960个选项里挑一个,计算量会爆炸,而且不少选项之间的差异细微到根本没有实际意义。两阶段设计把候选数量压到可控范围,同时保留了足够的精度。
有意思的是,论文做了个实验,发现一件反直觉的事:把精细阶段的候选数从32个降到4到8个之后,理论上的量化误差虽然变大了,模型实际预测的平均误差反而从0.3277米降到了0.3202米。
这说明候选选项太多太细,反而会让模型“选择困难”,在众多相似选项里犹豫不决,拉低准确率。选项少一点,模型有时反倒能更果断地做出正确判断,这多少有点“选择悖论”的意味,就像去餐厅点菜,菜单上选项太多反而让人纠结到错过最佳点单时机。
还有一类是指点任务,例如“请指出沙发上左边的抱枕在哪”,模型得给出图片中某个具体坐标点。三类任务里这一类最难办:图像是二维连续空间,要精确定位,比预测数值还麻烦。
MJev-Spatial 采用的办法叫三阶段九宫格递归裁剪。第一轮先将整张图划成 3乘3 共 9 个区域,由模型判断目标最可能落在哪一块;随后把选中的这块从原图重新裁出来,再次编码成视觉特征(这一步叫“
所谓裁剪重编码,就是把选中的那块局部图单独截出来,再送进视觉编码器过一遍,得到更精细的特征。这样模型看到的是局部细节,不再是整张图的大致轮廓。论文特意对比过:不做重新裁剪编码、让模型直接复用原图视觉信息,或者干脆复制粘贴之前的视觉token,效果都更差。
打个比方,你拿一张全市地图找店,整座城市缩成巴掌大,门牌号根本看不清,得把手机地图放大到那条街才行。非要盯着缩略图判断门牌号,再使劲“想象”细节也没用,信息压根不在那张图里。裁剪重编码相当于给模型配了放大镜,让它看清局部的真实像素,而不是逼它凭记忆脑补。
四、打分机制:不加新参数,直接复用模型自带的能力
候选构造讲完了,接下来是另一个问题:每个候选由谁来打分?
常见做法是在预训练模型后面挂一个新的分类头,专门学打分。MJev-Spatial没走这条路,它一层新网络都没加,直接拿模型最后一层注意力里本来就有的查询投影和键投影来用。
注意力机制中的查询(Query)和键(Key)投影
流程是这样的:当前决策状态——模型看完图片、问题和此前所有候选之后形成的“思考结果”——经查询投影变成“提问向量”;每个候选答案的文本描述经键投影,各自变成“应答向量”。两者做点积算相似度,得分最高的候选胜出。
论文给的解释是,模型最后一层之后紧接着的是一个MLP层。
换成直白的话说:打分要是走了这个MLP层,等于让一位擅长语义判断的裁判先学一套写报告的格式规范,再凭记忆打分,准确性可能被这套规范带偏。MJev-Spatial在MLP介入之前就把信息截出来打分,裁判可以直接凭专业判断下手,少受无关流程干扰。
好处很直接:不用训新的分类头,参数更少——论文给出的数字是4,111,374,336个可训练参数,比对照模型KEV少95,688,192个,训练成本也更低。消融实验对比了三种打分方式:传统线性分类器、名为KEV的新投影方案,以及这种复用原生Q/K投影的方案。
结果显示,三种方案各有强项,没有哪一种全面压过另外两种。
五、怎么训练这么多种不同难度的任务
推理阶段的设计说完了,训练这边还有个绕不开的难题:数据太杂——选择题、数值题、指点题混在一起,指点题还要分三步走,中间得插入新裁剪的图片。这怎么统一训练?
论文的解法是
教师强制
具体操作上,一个三步决策的指点问题,训练时会把三步的正确答案连同对应的裁剪图,按先后顺序预先排进同一个序列,模型一次前向计算就能同时学到这三步怎么选。各步损失取平均,因此三步的指点题不会因为步骤多,就比一步到位的选择题拿到更高的训练权重。
这有点像学校排“连堂课”。要是每道题都得等老师单独批完才能看下一题,光等反馈的时间就够呛。教师强制相当于提前备好一整套连续作业的标准答案,让学生(模型)一口气从头做到尾,老师最后统一批改,来回等待的时间省下不少。
数据规模上,论文用了1230万个问答对,来源包括RefSpatial、SAT、SenseNova-SI、VSI-590K-image和VST-P这几个已有的空间数据集。清洗和去重做得很严,与测试集重复或高度相似的图片都被排除在外。
六、为了训练效率,他们还折腾了调度算法
这么大规模的数据,任务设计好还不够,工程上的调度同样是关键。
论文发现,不同任务的样本长度差得很远。选择题一步到位,短;指点任务三步走,中间还要插两次图片裁剪和重编码,长得多。随机打包成批次送进GPU的话,短样本只能陪着长样本“陪跑”,大量算力耗在填充的空白token上。
于是团队设计了一套
这就像外卖站点派单:随机派的话,可能有的骑手连着接到三个超远单,有的全是附近单,近的早送完在原地等,远的还堵在路上,整站效率被最慢那位拖住。合理的派法会按路程远近统筹,让骑手们差不多同时收工,站点才能转得更快。
实验数据是:这套调度把训练吞吐量从每秒99.06个问答样本拉到129.54个,提升30.78%;数据填充浪费的比例则从35.17%降到1.77%。
七、最终成绩单:7项第一,速度快5.6倍
设计细节讲了这么多,实际效果终究要看数据。
在[[保留1]]基础上改造而来的MJev-Spatial,最终平均分拿到65.64%,在全部8个被测模型中排第一。
第二名是Qwen3-VL-8B-Instruct,得分62.79%,两者相差近3个百分点。12个基准测试里,MJev-Spatial有7个位列第一;全部12个基准上,它的成绩都超过了未做任何改造的原型。
在
速度数据更突出。在[[保留2]]上,这套系统每秒能完成的空间判断次数是原始方案的5倍多。
放到实际场景里看,搭载这套系统的机器人,每秒可完成的空间判断次数达到原方案的5倍以上。机器人导航、抓取这类需要实时反应的场合,这个速度差直接关系到系统能否真正投入使用。
八、一个意外的延伸:不用额外训练就能数清楚有几个点
论文还做了一个巧妙的延伸实验。原本这套三阶段指点机制只能定位一个点,场景里出现多个目标时怎么办?比如数一数桌上有几个苹果。
研究者的做法不是重新训练一个“数数模型”,而是把原来的单点决策树扩展成一棵完整的[[保留3]]。
思路的巧妙之处在于没有引入任何新的训练,只是把原先“只走一条路”的贪心决策,改成“把所有分支都走一遍,看哪些地方概率堆得高”。实验显示,这一改动把[[保留1]]。
计算量自然随之上升:完整展开要访问91个决策节点,评估729个格子。论文又加了一个[[保留2]]。
九、研究团队诚实地留下了一些未解之谜
做消融实验时,这篇论文呈现出不少“没有标准答案”的发现。这种诚实挺难得。
比如对比三种候选打分方式,论文明确写道“没有一致的赢家”。复用原生投影的方案在某些任务上好,线性分类器在另一些任务上好。空间理解这个领域里,不存在一招鲜吃遍天的万能设计,很多选择都是任务特定的权衡。
还有一个细节:论文做了16个[[保留3]]。
这和我们通常设想的“神经网络内部一定有专门负责某个功能的模块”不太一样。至少在这个场景下,更像一群职责高度重叠的团队成员共同完成任务,而不是精确分工的流水线。
写在后面
论文读下来,真正让人意外的倒不是速度快了多少倍,而是候选数量与准确率之间那个反直觉的结论:数值预测的精细候选由32个减到4至8个,误差反倒更小。这么说来,凡是需要“做选择”的系统,可选项多少跟决策好坏并非简单的正比关系——过犹不及,放在AI系统设计上同样说得通。另一个值得细想的点是“裁剪重编码”。论文特意试过不重新裁剪、只拿已有的视觉特征接着用,准确率直接掉到个位数。可见有些信息在最初处理时被压掉,后头再怎么“回忆”“推测”也找不回来。信息损失不可逆,这个道理朴素,搁到不少工程场景里都对得上。
论文没解决的问题也摆在那儿:它管的是单张或少量图片中的静态空间判断,而现实中的空间智能常常是动态、连续的——机器人边走边更新对周边空间的认识,就是这样。这套“候选打分”的路子能不能顺顺当当挪到这种不断变化的场景,论文没有回应。下一篇论文大概得接这个茬。
Q&A
Q1:MJev-Spatial是什么?
A:MJev-Spatial是一款新的空间智能AI模型。选择题、数值预测、图片指点这三类空间理解任务,被它统一成了分类问题,决策方式是直接给候选答案打分,而非像传统视觉语言模型那样先生成自由文本再解析,所以速度更快、延迟更低。
Q2:MJev-Spatial为什么比普通AI模型快这么多?
A:它省掉了逐字生成答案文本再解析这一环,改为直接调用模型自带的注意力打分机制为候选答案评分,一次前向计算就完成决策。测试数据是平均每次查询160.6毫秒,比最快的对比模型快2.5倍,比自己的基础模型快5.6倍。
图片上要精确指到某个点,MJev-Spatial是怎么做到的?办法是三阶段九宫格递归裁剪:每轮先把图切成9块,挑出最可能的那一块,再对该区域重新裁剪、重新编码成视觉特征,接着往下细分。如此重复三次,最终坐标就出来了。精度有保障,也用不着生成坐标文本。