Xiaomi-Lens-0:让AI盯着图里的细节,小米换了种训练方式
你有没有过这样的经历,拿一张照片问AI:"图里穿蓝衬衫的女士旁边的食物在哪?"它给你一个看似合理的答案,但你仔细一看,它其实把旁边那堆水果认成了"食物",位置还说反了。这不是个例。市面上大部分多模态大语言模型(能同时理解图片和文字的AI)回答整体性问题很在行,比如"这张图是什么场景",但一旦涉及到"数一数有几个...
拿一张照片去问AI“图里穿蓝衬衫的女士旁边的食物在哪”,它答得挺像回事儿,可你仔细一瞧,它把旁边那堆水果当成了“食物”,位置还说反了。这种经历你大概也碰到过。
这并非个别现象。多数多模态大语言模型(同时能看懂图片和文字的AI)应付“这张图是什么场景”这类整体问题很拿手,可一碰上“数一数几个人戴了安全帽”“这个杯子究竟在哪个位置”这种得精确定位的细节,就露怯了。
小米这次发布的论文读下来,最让人意外的是:病根也许不在模型“笨”,而在我们一直以来的训练方式本身就有毛病。AI看图为什么总“差不多就行”?
先讲个可能颠覆认知的事实。平时训练这类多模态AI,常见做法是给它一张图配一句文字描述,让它学着把图和文字对上号。听着没问题吧?毛病恰恰出在这儿。这种训练里图片只是“陪衬”,真正的监督信号全来自文字答案。模型从没被明确告知“你这个答案是从图里哪块区域看出来的”。也就是说,AI学会了“看图说话”,却没人教过它“指哪说哪”。
这就像让学生读完一篇文章写摘要,大意他能写得八九不离十,可你问他“这句话具体是从课文第几段第几句推出来的”,他多半支支吾吾,因为训练时从没人要求他标出证据在哪儿。日子一长,大意把握没问题,精确定位始终练不出来。一直不做“标证据”的训练,学生考试大意题能拿高分,细节题却总出错——这正是眼下不少多模态AI的真实写照。
分割掩码
研究团队想到的办法,是引入分割掩码。这是一种标注方式,能精确标出图里哪些像素属于某个目标物体,相当于给物体“抠图”,而不只是画个粗糙的方框。
有了掩码,模型回答“图里有几只猫”就不能只凭感觉报个数,得真在图上标出“这是第一只猫的轮廓,这是第二只”。这个标注过程本身就成了监督信号的一部分。它比单纯的文字监督精确得多,因为答案被死死绑在了图像区域上。
不过这里有个关键的技术分歧:怎么让AI学会生成这些掩码?业内此前的两条路,都没碰到“真正的核心”。
在
第一条路是找外援。LISA、Sa2VA这类模型会额外接入一个专门的分割模块。第二条路是用自家视觉特征,但把门锁上,PixelLM和MLLMSeg尝试直接从模型自身的特征里取料。
两条路的共同问题是:掩码损失(衡量预测掩码和真实掩码差距的指标,用来指导模型训练)根本没真正传导到模型自己生成文字答案所用的那套视觉表示上。
这就像一家公司想提升销售业绩,要么花钱请外部咨询顾问救场(相当于外接模块),要么让内部团队自己扛,却不给他们相应的权限和考核。
Xiaomi-Lens-0的关键决定是:自己动手,而且动真格。它选了一条更彻底的路——不借助任何额外的分割编码器,完全从自己的视觉表示里解码出掩码,并且让掩码的训练损失实实在在传回共享的视觉特征和语言模型状态里。
具体怎么做到的?模型读取的是视觉编码器(负责把原始图片转换成AI能理解的特征向量的模块,相当于AI的“眼睛”)在空间合并之前的特征。
视觉编码器*:负责把原始图片转换成AI能理解的特征向量的模块,相当于AI的“眼睛”。
空间合并
为什么要刻意避开合并之后的特征?论文给了一个很硬核的解释。ViT的内部结构有个特性,叫……
这就像把一张照片反复复印很多代,每复印一次理论上都会损失一点清晰度,但若每次复印都把原始底片叠加进去再印,那么不管复印多少代,原始细节始终还在,只是被新的“理解层”包裹住了。模型的空间合并步骤相当于故意压低分辨率去换计算效率,这一压,恰恰把掩码预测最需要的高频细节丢了。所以团队绕过这一步,直接从压缩前那层图块特征里取料,掩码损失才能真正触及图像最精细的那部分信息,而不是对着一张被“美颜”过的糊图做判断。不这么做的话,后面的解码器设计得再精巧也没用——喂给它的原料本身就是糊的,再怎么精修也做不出锐利的边界。
视觉潜变量
光有高分辨率的图块特征,还不足以让模型判断"眼下要分割的到底是哪个目标"。论文为此提出了视觉潜变量(visual latent)这个概念。
所谓视觉潜变量,指的是模型生成回答时若输出一个特殊标记,该标记在语言模型内部对应的上下文状态(一个高维向量)。这个状态所代表的,正是当前指令或上文所指的那块具体图像区域。
设计上的巧思在于:特殊标记的身份(token identity)始终不变,可它每次出现时的上下文状态都不一样——因为状态取决于当前图片、指令以及此前已生成的内容。一个轻量级掩码解码器会把视觉潜变量与前述高分辨率图块特征合并起来,算两者的相似度,据此给图上每个小块打分;分高的小块被判为属于目标区域,最终再经过两层
整个流程中,图像特征只算一次,就能反复供不同的视觉潜变量调用。好比先"拍照存档",之后无论问多少个不同的问题,都拿这同一份高清底片去查,不必每回重新"看"图。
一边说话一边画重点:拿视觉潜变量来"思考"
论文里最有意思的一处设计,是把掩码解码器改造成辅助思维的工具,作者把这能力叫作"用视觉潜变量思考"(
模型做推理时(比如数数、比较空间关系),不再只吐一段干巴巴的纯文字推理,而是在推理文本中间夹进一个个标记。每个标记对应的视觉潜变量都能解码成一张掩码,把这句话所指的图上区域精确标出来。
论文举了个例子:一道题问"图里一共有几个相框",模型的思考过程是——先说"最左边的那个竖直相框",随即生成一张掩码把它精确框住;接着是"第一排第一个相框",再生成一张掩码;如此逐个往下数,一共数了22个相框,每个都配了掩码,事后可以逐一核对。
这就像做数学应用题时,草稿纸上除了写推理,还在旁边画个简笔画,把关键的数字或图形圈出来,方便自己核对有没有算重、算漏。没有"圈出来"的习惯,数着数着就容易串——明明数到第5个苹果,一抬头却想不起刚才第3个指的是哪一个,只能凭记忆硬撑,出错概率自然高。只靠纯文字推理的模型也撞上同一堵墙:它说"还有一个人",可这句话究竟对应图里哪片像素,完全是个无法验证的黑箱。把视觉潜变量和掩码绑在一起,每一步推理就都能回溯、能检查。
为训练这一能力,团队专门造了一批"有依据的推理轨迹"数据:每步文字推理提到的区域都配上对应掩码标注,于是文字损失和掩码损失可以同时监督推理文本本身、空间引用以及最终答案。
数据从哪来:层层过滤才敢用
只有架构还不够,训练数据质量直接决定上限。论文用了不少篇幅讲数据管线怎么搭,这部分挺考验耐心——每一步都设了"质检关卡"。
指代表达
头一步是视觉定位:先让模型找出图中候选物体,给出框和简短描述,再用裁剪图与文本的一致性检查,把描述和实际图像对不上的候选项剔掉,余下的才送去生成掩码。
第二步是指令合成。对每个保留下来的目标,先生成一张只留目标像素、背景涂黑的"遮罩视图",让生成模型看着这张视图描述目标本身,同时结合原图描述目标与周围物体的关系。这样产出的指代表达会从位置、外观、动作、功能,乃至否定句和数量描述等多个角度指向同一个目标,语言多样性更高。
第三步是一致性过滤,也是我觉得最严谨的一环。每条生成的指代表达会被重新丢回原图做"反向定位"——单独拿出这句话,看它还能不能精确定位回原来那个目标;若定位出的框与原始框重合度不够,这条数据就作废。另有一道独立的语义检查,专挑那些框虽对、描述却提到目标身上并不存在的属性,或者把邻近物体搞混的情况。
推理数据的构建流程更复杂,分问答对生成、独立验证、推理轨迹生成和掩码标注四个环节,中间还夹着规则过滤(清掉格式错误、重复问题、答案泄露),外加一个"独立检查者"机制:检查者在完全看不到标准答案的前提下重做一遍,只有答案能精确匹配的才留下来。这种"左右互搏"式的验证,图的就是把那些看着合理、实则有漏洞的数据尽量筛出去。
LensBench
现有指代表达基准,比如LensBench*:一个专门测多模态AI在不同指令风格和视觉场景下定位能力的评测基准,覆盖通用、航拍、驾驶、全景四种图像领域,每个场景同时考察单目标与多目标、显式和隐式两种指令风格。
这里的"
LensBench共含1200个配对评测单元,每单元配两张目标掩码(单目标、多目标各一张)和四条指令(显式单目标、隐式单目标、显式多目标、隐式多目标),合计4800条指令级样本。每个样本都经人工复核,以保证目标完整、指令与掩码一致。
效果究竟如何:数字说话
设计思路讲了这么多,最后还是要看实际跑分。
先看最经典的指代表达理解任务。
| 数据集 | Xiaomi-Lens-0 | Qwen3.5基座 | 提升幅度 ||---|---|---|---|| RefCOCO (平均) | 94.4 | 90.0 | +4.4 || RefCOCO+ (平均) | **91.8** | 84.3 | +7.6 || RefCOCOg (平均) | 92.5 | 88.1 | +4.4 |
RefCOCO+值得单独说。这个数据集把绝对位置词全部剔除了,模型没法靠“左边的”“上面的”这类取巧手段定位,只能凭外观和属性把目标认出来。Xiaomi-Lens-0偏偏在这项最考验细粒度理解的数据集上拿到了最大涨幅,7.6个百分点,掩码监督确实让模型更会抓物体的外观细节了。
分割任务上也有看头。
cIoU*是衡量分割掩码预测准不准的指标:先把所有测试样本的交集、并集各自累加,再算比值,数值越高,掩码预测越准。
更让人意外的是,它在分割这个专精任务上居然反超了专门的分割模型。从共享视觉表示里解码掩码,这条路算是真走通了。
纯文字问答的细粒度感知测试里,不涉及任何框或掩码输出,只考模型“看懂图”的本事,Xiaomi-Lens-0在全部8个基准测试上都压过了自己的基座模型。其中
消融实验
论文还做了对照实验:一个版本只用框监督、把掩码损失关掉(
结果出来了。单靠框监督,模型比原始基座已有明显提升,RefCOCO、RefCOCO+、RefCOCOg的验证集分数分别涨了3.1、4.9、2.2个百分点,纯文字感知基准也跟着涨了2到6个百分点。
在这个基础上再叠加掩码监督,六项指标无一例外继续往上走:REC任务再多提升1.1到2.4个百分点,感知类任务再多提升0.2到1.4个百分点。
这组数字说清了一件事:掩码监督带来的提升,不是框监督提升的重复计算,而是实打实的增量。它逼着模型把目标的空间边界学得更准,这份精确性甚至能反哺到根本不需要输出框或掩码的纯文字问答任务上——底层共享的视觉特征被训得更细了。
那不加掩码监督会怎样?模型照样能用,但在需要靠外观细节区分相似目标的场景里,比如排除了位置词的RefCOCO+,提升幅度就会打折,差距最大能到2.4个百分点。听起来不大,可放到实际应用里,可能就是“认错了穿蓝衬衫和穿深蓝衬衫的那个人”这种要命的错。
LensBench上的真实表现:说实话,隐式指令还是块硬骨头
Xiaomi-Lens-0在航拍、驾驶、全景三个领域的cIoU都拿下了对比模型里的最高分,但论文也很诚实地指出了它还没能完全攻克的难题。
显式指令上它表现很强,cIoU达到71.4,框精度达到85.0,都是对比模型里最高的。可一换成隐式指令,cIoU直接掉到54.7,排名落到第五位,被几个大模型反超。
跌得最狠的是全景图像里同时要求多目标的隐式指令场景:框精度从显式指令的81.3一路滑到隐式指令的48.7,接近腰斩。
这说明什么?“靠功能和场景推理找出一组目标”,对AI来说还是比“看到类别名直接框出来”难得多。其实这也符合直觉:人在看一张全景图时,要同时找出“所有能让食客坐下来的东西”,也得先在脑子里过一遍“椅子、凳子、沙发算不算”这种模糊判断,何况AI。
写在后面
读完这篇论文,有个细节让我反复琢磨了很久:团队没有选“加一个更强的分割模型”这条看似省事的路,而是死磕“怎么让掩码损失真正传回到共享的视觉特征里”。这个选择背后的思路值得玩味——它赌的不是堆料能赢,而是信号能不能真正打通,这比模块本身强不强更重要。
另一个让我印象很深的地方,是LensBench里“隐式指令”这个设计。不少评测基准都在刻意追求更难的目标类别或更复杂的场景,LensBench却在“指令本身的说法”上做文章,这其实碰到了一个更本质的问题:AI理解语言,到底是在匹配关键词,还是在做真正的推理。显式指令和隐式指令共享同一个标准答案掩码,这个对照设计本身就在逼研究者直面一个尴尬的事实:很多时候模型表现好,可能只是因为它学会了识别某些关键词组合,而不是真的“理解”了那句话在说什么。
论文里那张全景图的例子让我意外停留了很久:模型要同时找出图里所有能坐人吃饭的椅子。这个任务对人来说几乎是瞬间反应,可对AI来说,从隐式的“坐”这个功能描述,到具体认出画面里扭曲变形(全景图特有的镜头畸变)的椅子轮廓,中间要跨过的认知鸿沟,比我们想象的大得多。
一个能“指哪说哪”的AI,距离真正“看懂”世界还有多远?
Q&A
Q1:Xiaomi-Lens-0是什么?它是小米SeerRay团队推出的多模态大语言模型,参数规模40亿,以Qwen3.5为基础构建。其核心能力在于,不依赖额外的分割编码器,直接从自身视觉特征中预测分割掩码;推理时还能穿插生成视觉潜变量,让思考过程与图像区域对应起来。
Q2:和SAM 3这类专门的分割模型相比,它表现如何?在RefCOCO、RefCOCO+、RefCOCOg全部八个分割测试分支上,Xiaomi-Lens-0的cIoU得分均高于SAM 3,领先幅度为7到12.9个百分点。一个通用多模态模型反超专门的分割模型,这样的结果并不多见。
Q3:LensBench是什么,为何要专门设计这套测试?这是论文中新提出的评测基准,涵盖通用、航拍、驾驶、全景四类场景。每个场景都设了两种指令:显式指令直接给出类别名,隐式指令只描述功能、不提类别名。这样设计,是为了检验AI究竟是真懂了语言含义,还是只在匹配关键词。测试结果显示,AI在隐式指令上的表现明显不如显式指令。