MJev-Spatial:AI答空间问题不再逐字生成,直接“选”出答案

资讯 腾讯网 作者:科技行者 全文 5144 字 · 约 13 分钟读完

你有没有想过一个很怪的问题:当你问AI"杯子在桌子的左边还是右边",它为什么要洋洋洒洒打出一整句话"根据图片观察,杯子位于桌子的左侧",而不是直接告诉你"左"这一个字?这不是矫情,这是现在所有视觉语言模型的通病。一、一个被忽略的效率黑洞先说个可能颠覆你认知的事实:现在主流的AI视觉模型回答"左还是右""距离多少...

问AI“杯子在桌子的左边还是右边”,它为什么不直接回一个“左”字,反而要洋洋洒洒写上一整句“根据图片观察,杯子位于桌子的左侧”?

这并非矫情,而是眼下所有视觉语言模型共有的毛病。

一、一个被忽略的效率黑洞

先说个或许会颠覆认知的事实:主流AI视觉模型在回答“左还是右”“距离多少米”“指出哪个点”这类问题时,用的流程和写诗、编故事一模一样,都是逐字生成。

模型嘛,不就该会说话吗?你可能觉得这没什么问题。

问题恰恰出在这儿。

这类空间题的答案空间其实小得可怜:选择题答案就那么几个选项,数值题是一个具体的数字,指点题是图上一个坐标。可模型偏要把这些简单答案硬塞进“一个字一个字往外蹦”的文本生成机制里。

VLM(Vision-Language Model,视觉语言模型)

好比去银行取钱,在取款机上按几个数字键就能办完的事,银行却非要你先写一封完整的申请信,把取钱的原因、用途、心情都交代清楚,等工作人员读完批复才能拿到钱。信越长,排队越久,而这封信的内容其实从一开始就能简化成几个按钮。

不简化会怎样?答案是:每一次问答都要经历

这就是

二、灵感从哪来:一个叫

这套思路并非研究团队凭空发明。

Jev

"

MJev-Spatial

三、三种不同的空间问题,怎么用同一套框架搞定

空间理解任务其实分成三大类,看上去风马牛不相及,但

第一类是选择题,比如“椅子在桌子前面还是后面”。这类题天然是有限选项,好办:把每个选项当成一个“候选类别”,让模型逐个打分,分数最高的就是答案。

第二类要麻烦一些,是数值预测,比如“这两个物体之间距离多少米”。距离可以是0.01米,也可以是16384米,数值范围横跨六个数量级,总不能让每一个可能的数值都变成一个选项吧?

论文在这里用了一个很聪明的两阶段设计:先粗分,再细分。就像去图书馆找书,没人会在几万本书里一本本翻,而是先看楼层指示牌(一楼文学类,二楼历史类),锁定大区域之后,再去对应书架精确定位。

MJev-Spatial的做法是先把整个数值范围切成30个粗略区间。这些区间宽度并不均匀,按对数规律递增,短距离分得细,长距离分得粗。确定落在哪个粗区间后,再在这个区间内部切成4到8个更精细的格子,最终取中间值当作答案。

不分阶段会怎样?论文里提到,如果一次性把所有精细格子摆出来,候选选项总共要有960个,模型得在960个选项里挑一个,计算量会爆炸,而且不少选项之间的差异细微到根本没有实际意义。两阶段设计把候选数量压到可控范围,同时保留了足够的精度。

有意思的是,论文做了个实验,发现一件反直觉的事:把精细阶段的候选数从32个降到4到8个之后,理论上的量化误差虽然变大了,模型实际预测的平均误差反而从0.3277米降到了0.3202米。

这说明候选选项太多太细,反而会让模型“选择困难”,在众多相似选项里犹豫不决,拉低准确率。选项少一点,模型有时反倒能更果断地做出正确判断,这多少有点“选择悖论”的意味,就像去餐厅点菜,菜单上选项太多反而让人纠结到错过最佳点单时机。

还有一类是指点任务,例如“请指出沙发上左边的抱枕在哪”,模型得给出图片中某个具体坐标点。三类任务里这一类最难办:图像是二维连续空间,要精确定位,比预测数值还麻烦。

MJev-Spatial 采用的办法叫三阶段九宫格递归裁剪。第一轮先将整张图划成 3乘3 共 9 个区域,由模型判断目标最可能落在哪一块;随后把选中的这块从原图重新裁出来,再次编码成视觉特征(这一步叫“

所谓裁剪重编码,就是把选中的那块局部图单独截出来,再送进视觉编码器过一遍,得到更精细的特征。这样模型看到的是局部细节,不再是整张图的大致轮廓。论文特意对比过:不做重新裁剪编码、让模型直接复用原图视觉信息,或者干脆复制粘贴之前的视觉token,效果都更差。

打个比方,你拿一张全市地图找店,整座城市缩成巴掌大,门牌号根本看不清,得把手机地图放大到那条街才行。非要盯着缩略图判断门牌号,再使劲“想象”细节也没用,信息压根不在那张图里。裁剪重编码相当于给模型配了放大镜,让它看清局部的真实像素,而不是逼它凭记忆脑补。

四、打分机制:不加新参数,直接复用模型自带的能力

候选构造讲完了,接下来是另一个问题:每个候选由谁来打分?

常见做法是在预训练模型后面挂一个新的分类头,专门学打分。MJev-Spatial没走这条路,它一层新网络都没加,直接拿模型最后一层注意力里本来就有的查询投影和键投影来用。

注意力机制中的查询(Query)和键(Key)投影

流程是这样的:当前决策状态——模型看完图片、问题和此前所有候选之后形成的“思考结果”——经查询投影变成“提问向量”;每个候选答案的文本描述经键投影,各自变成“应答向量”。两者做点积算相似度,得分最高的候选胜出。

论文给的解释是,模型最后一层之后紧接着的是一个MLP层。

换成直白的话说:打分要是走了这个MLP层,等于让一位擅长语义判断的裁判先学一套写报告的格式规范,再凭记忆打分,准确性可能被这套规范带偏。MJev-Spatial在MLP介入之前就把信息截出来打分,裁判可以直接凭专业判断下手,少受无关流程干扰。

好处很直接:不用训新的分类头,参数更少——论文给出的数字是4,111,374,336个可训练参数,比对照模型KEV少95,688,192个,训练成本也更低。消融实验对比了三种打分方式:传统线性分类器、名为KEV的新投影方案,以及这种复用原生Q/K投影的方案。

结果显示,三种方案各有强项,没有哪一种全面压过另外两种。

五、怎么训练这么多种不同难度的任务

推理阶段的设计说完了,训练这边还有个绕不开的难题:数据太杂——选择题、数值题、指点题混在一起,指点题还要分三步走,中间得插入新裁剪的图片。这怎么统一训练?

论文的解法是

教师强制

具体操作上,一个三步决策的指点问题,训练时会把三步的正确答案连同对应的裁剪图,按先后顺序预先排进同一个序列,模型一次前向计算就能同时学到这三步怎么选。各步损失取平均,因此三步的指点题不会因为步骤多,就比一步到位的选择题拿到更高的训练权重。

这有点像学校排“连堂课”。要是每道题都得等老师单独批完才能看下一题,光等反馈的时间就够呛。教师强制相当于提前备好一整套连续作业的标准答案,让学生(模型)一口气从头做到尾,老师最后统一批改,来回等待的时间省下不少。

数据规模上,论文用了1230万个问答对,来源包括RefSpatial、SAT、SenseNova-SI、VSI-590K-image和VST-P这几个已有的空间数据集。清洗和去重做得很严,与测试集重复或高度相似的图片都被排除在外。

六、为了训练效率,他们还折腾了调度算法

这么大规模的数据,任务设计好还不够,工程上的调度同样是关键。

论文发现,不同任务的样本长度差得很远。选择题一步到位,短;指点任务三步走,中间还要插两次图片裁剪和重编码,长得多。随机打包成批次送进GPU的话,短样本只能陪着长样本“陪跑”,大量算力耗在填充的空白token上。

于是团队设计了一套

这就像外卖站点派单:随机派的话,可能有的骑手连着接到三个超远单,有的全是附近单,近的早送完在原地等,远的还堵在路上,整站效率被最慢那位拖住。合理的派法会按路程远近统筹,让骑手们差不多同时收工,站点才能转得更快。

实验数据是:这套调度把训练吞吐量从每秒99.06个问答样本拉到129.54个,提升30.78%;数据填充浪费的比例则从35.17%降到1.77%。

七、最终成绩单:7项第一,速度快5.6倍

设计细节讲了这么多,实际效果终究要看数据。

在[[保留1]]基础上改造而来的MJev-Spatial,最终平均分拿到65.64%,在全部8个被测模型中排第一。

第二名是Qwen3-VL-8B-Instruct,得分62.79%,两者相差近3个百分点。12个基准测试里,MJev-Spatial有7个位列第一;全部12个基准上,它的成绩都超过了未做任何改造的原型。

在

速度数据更突出。在[[保留2]]上,这套系统每秒能完成的空间判断次数是原始方案的5倍多。

放到实际场景里看,搭载这套系统的机器人,每秒可完成的空间判断次数达到原方案的5倍以上。机器人导航、抓取这类需要实时反应的场合,这个速度差直接关系到系统能否真正投入使用。

八、一个意外的延伸:不用额外训练就能数清楚有几个点

论文还做了一个巧妙的延伸实验。原本这套三阶段指点机制只能定位一个点,场景里出现多个目标时怎么办?比如数一数桌上有几个苹果。

研究者的做法不是重新训练一个“数数模型”,而是把原来的单点决策树扩展成一棵完整的[[保留3]]。

思路的巧妙之处在于没有引入任何新的训练,只是把原先“只走一条路”的贪心决策,改成“把所有分支都走一遍,看哪些地方概率堆得高”。实验显示,这一改动把[[保留1]]。

计算量自然随之上升:完整展开要访问91个决策节点,评估729个格子。论文又加了一个[[保留2]]。

九、研究团队诚实地留下了一些未解之谜

做消融实验时,这篇论文呈现出不少“没有标准答案”的发现。这种诚实挺难得。

比如对比三种候选打分方式,论文明确写道“没有一致的赢家”。复用原生投影的方案在某些任务上好,线性分类器在另一些任务上好。空间理解这个领域里,不存在一招鲜吃遍天的万能设计,很多选择都是任务特定的权衡。

还有一个细节:论文做了16个[[保留3]]。

这和我们通常设想的“神经网络内部一定有专门负责某个功能的模块”不太一样。至少在这个场景下,更像一群职责高度重叠的团队成员共同完成任务,而不是精确分工的流水线。

写在后面

论文读下来,真正让人意外的倒不是速度快了多少倍,而是候选数量与准确率之间那个反直觉的结论:数值预测的精细候选由32个减到4至8个,误差反倒更小。这么说来,凡是需要“做选择”的系统,可选项多少跟决策好坏并非简单的正比关系——过犹不及,放在AI系统设计上同样说得通。另一个值得细想的点是“裁剪重编码”。论文特意试过不重新裁剪、只拿已有的视觉特征接着用,准确率直接掉到个位数。可见有些信息在最初处理时被压掉,后头再怎么“回忆”“推测”也找不回来。信息损失不可逆,这个道理朴素,搁到不少工程场景里都对得上。

论文没解决的问题也摆在那儿:它管的是单张或少量图片中的静态空间判断,而现实中的空间智能常常是动态、连续的——机器人边走边更新对周边空间的认识,就是这样。这套“候选打分”的路子能不能顺顺当当挪到这种不断变化的场景,论文没有回应。下一篇论文大概得接这个茬。

Q&A

Q1:MJev-Spatial是什么?

A:MJev-Spatial是一款新的空间智能AI模型。选择题、数值预测、图片指点这三类空间理解任务,被它统一成了分类问题,决策方式是直接给候选答案打分,而非像传统视觉语言模型那样先生成自由文本再解析,所以速度更快、延迟更低。

Q2:MJev-Spatial为什么比普通AI模型快这么多?

A:它省掉了逐字生成答案文本再解析这一环,改为直接调用模型自带的注意力打分机制为候选答案评分,一次前向计算就完成决策。测试数据是平均每次查询160.6毫秒,比最快的对比模型快2.5倍,比自己的基础模型快5.6倍。

图片上要精确指到某个点,MJev-Spatial是怎么做到的?办法是三阶段九宫格递归裁剪:每轮先把图切成9块,挑出最可能的那一块,再对该区域重新裁剪、重新编码成视觉特征,接着往下细分。如此重复三次,最终坐标就出来了。精度有保障,也用不着生成坐标文本。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 剑桥词典2026年度词选“Human”:AI时代重问人性是什么

    IT之家 11 月 18 日消息,人工智能带来的担忧,让剑桥词典将目光重新投向了 15 世纪,选择一个古老词汇来概括 2026 年的时代文化特征。剑桥词典公布的年度词汇是“Human”。这一选择不仅是对过去的回望,也在一定程度上反映了人们对 AI 发展的反思。随着人工智能逐渐模糊机器与人类之间的界限,关于人类独特性的讨

    来源 腾讯网
  2. AI高薪叙事之外:985硕士12小时连轴转,校招门槛抬到社招

    晚上11点,杨涵合上电脑,12小时连轴转暂告一段落。但人下班了,神经没下,一旦数据有问题,她要24小时待命。 杨涵毕业已经3年,是985计算机本科、QS前20院校硕士,始终在AI这条线上,在几家大厂攒过实习和履历,还当过初创公司AI方向负责人。 这扎实的简历,配上超高的工作强度,按理说收入该傲视群雄。但眼下杨涵的月薪,

    来源 AI 行业观察
  3. AI 崛起,专业价值被消解,还是被重塑?

    设置星标★关注,从此你的世界多点科学~现代工程项目越来越多地要求人类判断力与机器能力相结合。工程师可以先定义问题,接着借助AI工具检索相关研究成果和技术标准,生成多种设计方案,开展仿真测试,并对比各项结果,然后将结果交给那些“能判断AI所不能判断”的其他领域专家,后者负责评估某款设计可否安全落地、在特定...

    来源 腾讯网
  4. 多个单模态AI拼在一起,模态缺失时为何反而不如单干

    你有没有遇到过这种情况:团队里几个专家各管一块,一个懂财务、一个懂法律、一个懂技术,平时开会讨论效果特别好,每个人补充一点信息,最后拼出一个完整方案。但有一天,懂法律的那位请假了,会议还得继续开。结果你发现,剩下两个人讨论出来的结论,居然还不如单独问那位缺席的法律专家靠谱。这听起来有点反常识。团队协作不是应...

    来源 腾讯网
  5. Snowflake Business Ontology:AI 时代如何统一业务口径?

    11 月 3 日,Snowflake 宣布推出 Business Ontology ,即将开启公开预览。它提供了一种受治理的方式,支持团队定义、归属、审批共用业务术语、实体、关联关系与指标,并将其映射至承载这些定义的数据和模型。

    来源 InfoQ
  6. AI伴侣的孤独陷阱

    AI伴侣的核心卖点是随叫随到的陪伴,但这种陪伴是否真正有效?斯坦福大学一项基于46万条真实聊天记录的研究发现,对于社交网络薄弱的人,这种陪伴不仅没有缓解孤独,反而让孤独加剧。

    来源 AI 行业观察
  7. 超三分之一Z世代靠AI交朋友,孤独感反而更重?

    盖洛普最新报告显示,超过三分之一的Z世代将AI作为社交伴侣,拥有纯线上朋友或依赖AI陪伴的年轻人,孤独感显著高于其他群体。技术看似填补了社交空缺,却可能加剧人际疏离。本文编译自WIRED,解析这一矛盾现象背后的数据与隐忧。

    来源 AI 科技快讯
  8. 挪威礼诺航运COO:不能简单把中国AI发展定义为威胁

    中新网土耳其安塔利亚11月18日电 (记者 王高飞 陈溯)《联合国气候变化框架公约》第三十一次缔约方大会(COP31)正在土耳其安塔利亚举行。挪威礼诺航运(Höegh Autoliners)首席运营官Sebjørn Dahl在大会期间接受中新社记者专访时表示,不能简单地把中国的技术发展定义为威胁,各国更应加快自身步伐、

    来源 腾讯网
  9. 宁德时代独家投资子虔科技C轮:AI能否压缩工业研发前置环节?

    过去一个多世纪,制造业一直在解决“如何更快、更便宜、更稳定地生产”。从福特流水线到自动化工厂,这个问题已被回答得足够好。但另一个问题很少被摆上台面:产品走上产线之前,它究竟应该被设计成什么样? 如果说制造,是把确定方案生产出来,那么创造,就是从无数种可能里找到可行设计。制造有产线、节拍、良率等一系列参数可以衡量,创造却

    来源 AI 行业观察
  10. 世界智能制造大会十年:南京车间里的AI答案

    “大力发展新一代智能制造,持续做大做强先进制造业。”11月19日至21日,2026世界智能制造大会将在南京国际博览会议中心举行。大会的主题,也是写在南京车间里的一道题。自2016年首届大会落地以来,这项盛会与南京已经相伴十年。从机器换人、联网上云、黑灯工厂,到如今的人工智能,始终引领世界智能制造“新风向”。今年,...

    来源 腾讯网
  11. AI仿冒盯上普通人:演员被换脸带货,授权难题怎么破?

    “一觉醒来,谁在利用AI肆意抓人替自己作恶?”近期,某演员公开质疑有账号利用AI仿冒其形象和声音带货。事件曝光后,涉事账号被平台永久封禁。类似的AI仿冒乱象并非个例。近日,针对利用AI技术假冒仿冒知名公众人物虚假带货、吸粉引流、误导网民等问题,网信部门督促网站平台深入开展集中整治,从严查处违法违规信息和账号...

    来源 腾讯网
  12. 击败传统 K-pop 偶像,AI 辅助制作歌曲首次登顶韩国热门音乐排行榜

    IT之家 11 月 17 日消息,据日经亚洲今天(17 日)上午报道,韩国 AI 音乐项目 MEOMURU 推出的《你成为梦想中的大人了吗?》登顶 Melon TOP100,成为第一首登上韩国主要音乐榜单榜首的 AI 辅助制作歌曲。 该曲在当地时间 13 日登上 Melon TOP100 榜首,截至当地时间 16 日仍

    来源 AI 行业观察
  13. 李东生谈AI:技术须开放造福全人类,警惕少数企业垄断

    南方财经 21世纪经济报道记者 郑青亭 深圳报道“AI技术必须是一项开放的、造福全人类的技术。”11月17日,在2026年亚太经合组织(APEC)工商领导人峰会上,TCL创始人、董事长李东生给火热的AI赛道提了两点“冷思考”:一是反对垄断封锁,二是呼吁别让AI“走火入魔”。但李东生并非空谈警惕。TCL的AI账本很实在:

    来源 腾讯网
  14. 盖洛普报告:超三分之一Z世代用AI交朋友,孤独感更高

    盖洛普最新报告显示,超过三分之一的Z世代将AI作为社交伴侣,拥有纯线上朋友或依赖AI陪伴的年轻人,孤独感显著高于其他群体。技术看似填补了社交空缺,却可能加剧人际疏离。本文编译自WIRED,解析这一矛盾现象背后的数据与隐忧。

    来源 AI 行业观察
向下滚动自动加载更多