Xiaomi-Lens-0:让AI盯着图里的细节,小米换了种训练方式

资讯 腾讯网 作者:科技行者 全文 6118 字 · 约 16 分钟读完 分类Xiaomi小米多模态大模型

你有没有过这样的经历,拿一张照片问AI:"图里穿蓝衬衫的女士旁边的食物在哪?"它给你一个看似合理的答案,但你仔细一看,它其实把旁边那堆水果认成了"食物",位置还说反了。这不是个例。市面上大部分多模态大语言模型(能同时理解图片和文字的AI)回答整体性问题很在行,比如"这张图是什么场景",但一旦涉及到"数一数有几个...

所属频道 大厂动态模型发布

拿一张照片去问AI“图里穿蓝衬衫的女士旁边的食物在哪”,它答得挺像回事儿,可你仔细一瞧,它把旁边那堆水果当成了“食物”,位置还说反了。这种经历你大概也碰到过。

这并非个别现象。多数多模态大语言模型(同时能看懂图片和文字的AI)应付“这张图是什么场景”这类整体问题很拿手,可一碰上“数一数几个人戴了安全帽”“这个杯子究竟在哪个位置”这种得精确定位的细节,就露怯了。

小米这次发布的论文读下来,最让人意外的是:病根也许不在模型“笨”,而在我们一直以来的训练方式本身就有毛病。AI看图为什么总“差不多就行”?

先讲个可能颠覆认知的事实。平时训练这类多模态AI,常见做法是给它一张图配一句文字描述,让它学着把图和文字对上号。听着没问题吧?毛病恰恰出在这儿。这种训练里图片只是“陪衬”,真正的监督信号全来自文字答案。模型从没被明确告知“你这个答案是从图里哪块区域看出来的”。也就是说,AI学会了“看图说话”,却没人教过它“指哪说哪”。

这就像让学生读完一篇文章写摘要,大意他能写得八九不离十,可你问他“这句话具体是从课文第几段第几句推出来的”,他多半支支吾吾,因为训练时从没人要求他标出证据在哪儿。日子一长,大意把握没问题,精确定位始终练不出来。一直不做“标证据”的训练,学生考试大意题能拿高分,细节题却总出错——这正是眼下不少多模态AI的真实写照。

分割掩码

研究团队想到的办法,是引入分割掩码。这是一种标注方式,能精确标出图里哪些像素属于某个目标物体,相当于给物体“抠图”,而不只是画个粗糙的方框。

有了掩码,模型回答“图里有几只猫”就不能只凭感觉报个数,得真在图上标出“这是第一只猫的轮廓,这是第二只”。这个标注过程本身就成了监督信号的一部分。它比单纯的文字监督精确得多,因为答案被死死绑在了图像区域上。

不过这里有个关键的技术分歧:怎么让AI学会生成这些掩码?业内此前的两条路,都没碰到“真正的核心”。

在

第一条路是找外援。LISA、Sa2VA这类模型会额外接入一个专门的分割模块。第二条路是用自家视觉特征,但把门锁上,PixelLM和MLLMSeg尝试直接从模型自身的特征里取料。

两条路的共同问题是:掩码损失(衡量预测掩码和真实掩码差距的指标,用来指导模型训练)根本没真正传导到模型自己生成文字答案所用的那套视觉表示上。

这就像一家公司想提升销售业绩,要么花钱请外部咨询顾问救场(相当于外接模块),要么让内部团队自己扛,却不给他们相应的权限和考核。

Xiaomi-Lens-0的关键决定是:自己动手,而且动真格。它选了一条更彻底的路——不借助任何额外的分割编码器,完全从自己的视觉表示里解码出掩码,并且让掩码的训练损失实实在在传回共享的视觉特征和语言模型状态里。

具体怎么做到的?模型读取的是视觉编码器(负责把原始图片转换成AI能理解的特征向量的模块,相当于AI的“眼睛”)在空间合并之前的特征。

视觉编码器*:负责把原始图片转换成AI能理解的特征向量的模块,相当于AI的“眼睛”。

空间合并

为什么要刻意避开合并之后的特征?论文给了一个很硬核的解释。ViT的内部结构有个特性,叫……

这就像把一张照片反复复印很多代,每复印一次理论上都会损失一点清晰度,但若每次复印都把原始底片叠加进去再印,那么不管复印多少代,原始细节始终还在,只是被新的“理解层”包裹住了。模型的空间合并步骤相当于故意压低分辨率去换计算效率,这一压,恰恰把掩码预测最需要的高频细节丢了。所以团队绕过这一步,直接从压缩前那层图块特征里取料,掩码损失才能真正触及图像最精细的那部分信息,而不是对着一张被“美颜”过的糊图做判断。不这么做的话,后面的解码器设计得再精巧也没用——喂给它的原料本身就是糊的,再怎么精修也做不出锐利的边界。

视觉潜变量

光有高分辨率的图块特征,还不足以让模型判断"眼下要分割的到底是哪个目标"。论文为此提出了视觉潜变量(visual latent)这个概念。

所谓视觉潜变量,指的是模型生成回答时若输出一个特殊标记,该标记在语言模型内部对应的上下文状态(一个高维向量)。这个状态所代表的,正是当前指令或上文所指的那块具体图像区域。

设计上的巧思在于:特殊标记的身份(token identity)始终不变,可它每次出现时的上下文状态都不一样——因为状态取决于当前图片、指令以及此前已生成的内容。一个轻量级掩码解码器会把视觉潜变量与前述高分辨率图块特征合并起来,算两者的相似度,据此给图上每个小块打分;分高的小块被判为属于目标区域,最终再经过两层

整个流程中,图像特征只算一次,就能反复供不同的视觉潜变量调用。好比先"拍照存档",之后无论问多少个不同的问题,都拿这同一份高清底片去查,不必每回重新"看"图。

一边说话一边画重点:拿视觉潜变量来"思考"

论文里最有意思的一处设计,是把掩码解码器改造成辅助思维的工具,作者把这能力叫作"用视觉潜变量思考"(

模型做推理时(比如数数、比较空间关系),不再只吐一段干巴巴的纯文字推理,而是在推理文本中间夹进一个个标记。每个标记对应的视觉潜变量都能解码成一张掩码,把这句话所指的图上区域精确标出来。

论文举了个例子:一道题问"图里一共有几个相框",模型的思考过程是——先说"最左边的那个竖直相框",随即生成一张掩码把它精确框住;接着是"第一排第一个相框",再生成一张掩码;如此逐个往下数,一共数了22个相框,每个都配了掩码,事后可以逐一核对。

这就像做数学应用题时,草稿纸上除了写推理,还在旁边画个简笔画,把关键的数字或图形圈出来,方便自己核对有没有算重、算漏。没有"圈出来"的习惯,数着数着就容易串——明明数到第5个苹果,一抬头却想不起刚才第3个指的是哪一个,只能凭记忆硬撑,出错概率自然高。只靠纯文字推理的模型也撞上同一堵墙:它说"还有一个人",可这句话究竟对应图里哪片像素,完全是个无法验证的黑箱。把视觉潜变量和掩码绑在一起,每一步推理就都能回溯、能检查。

为训练这一能力,团队专门造了一批"有依据的推理轨迹"数据:每步文字推理提到的区域都配上对应掩码标注,于是文字损失和掩码损失可以同时监督推理文本本身、空间引用以及最终答案。

数据从哪来:层层过滤才敢用

只有架构还不够,训练数据质量直接决定上限。论文用了不少篇幅讲数据管线怎么搭,这部分挺考验耐心——每一步都设了"质检关卡"。

指代表达

头一步是视觉定位:先让模型找出图中候选物体,给出框和简短描述,再用裁剪图与文本的一致性检查,把描述和实际图像对不上的候选项剔掉,余下的才送去生成掩码。

第二步是指令合成。对每个保留下来的目标,先生成一张只留目标像素、背景涂黑的"遮罩视图",让生成模型看着这张视图描述目标本身,同时结合原图描述目标与周围物体的关系。这样产出的指代表达会从位置、外观、动作、功能,乃至否定句和数量描述等多个角度指向同一个目标,语言多样性更高。

第三步是一致性过滤,也是我觉得最严谨的一环。每条生成的指代表达会被重新丢回原图做"反向定位"——单独拿出这句话,看它还能不能精确定位回原来那个目标;若定位出的框与原始框重合度不够,这条数据就作废。另有一道独立的语义检查,专挑那些框虽对、描述却提到目标身上并不存在的属性,或者把邻近物体搞混的情况。

推理数据的构建流程更复杂,分问答对生成、独立验证、推理轨迹生成和掩码标注四个环节,中间还夹着规则过滤(清掉格式错误、重复问题、答案泄露),外加一个"独立检查者"机制:检查者在完全看不到标准答案的前提下重做一遍,只有答案能精确匹配的才留下来。这种"左右互搏"式的验证,图的就是把那些看着合理、实则有漏洞的数据尽量筛出去。

LensBench

现有指代表达基准,比如LensBench*:一个专门测多模态AI在不同指令风格和视觉场景下定位能力的评测基准,覆盖通用、航拍、驾驶、全景四种图像领域,每个场景同时考察单目标与多目标、显式和隐式两种指令风格。

这里的"

LensBench共含1200个配对评测单元,每单元配两张目标掩码(单目标、多目标各一张)和四条指令(显式单目标、隐式单目标、显式多目标、隐式多目标),合计4800条指令级样本。每个样本都经人工复核,以保证目标完整、指令与掩码一致。

效果究竟如何:数字说话

设计思路讲了这么多,最后还是要看实际跑分。

先看最经典的指代表达理解任务。

| 数据集 | Xiaomi-Lens-0 | Qwen3.5基座 | 提升幅度 ||---|---|---|---|| RefCOCO (平均) | 94.4 | 90.0 | +4.4 || RefCOCO+ (平均) | **91.8** | 84.3 | +7.6 || RefCOCOg (平均) | 92.5 | 88.1 | +4.4 |

RefCOCO+值得单独说。这个数据集把绝对位置词全部剔除了,模型没法靠“左边的”“上面的”这类取巧手段定位,只能凭外观和属性把目标认出来。Xiaomi-Lens-0偏偏在这项最考验细粒度理解的数据集上拿到了最大涨幅,7.6个百分点,掩码监督确实让模型更会抓物体的外观细节了。

分割任务上也有看头。

cIoU*是衡量分割掩码预测准不准的指标:先把所有测试样本的交集、并集各自累加,再算比值,数值越高,掩码预测越准。

更让人意外的是,它在分割这个专精任务上居然反超了专门的分割模型。从共享视觉表示里解码掩码,这条路算是真走通了。

纯文字问答的细粒度感知测试里,不涉及任何框或掩码输出,只考模型“看懂图”的本事,Xiaomi-Lens-0在全部8个基准测试上都压过了自己的基座模型。其中

消融实验

论文还做了对照实验:一个版本只用框监督、把掩码损失关掉(

结果出来了。单靠框监督,模型比原始基座已有明显提升,RefCOCO、RefCOCO+、RefCOCOg的验证集分数分别涨了3.1、4.9、2.2个百分点,纯文字感知基准也跟着涨了2到6个百分点。

在这个基础上再叠加掩码监督,六项指标无一例外继续往上走:REC任务再多提升1.1到2.4个百分点,感知类任务再多提升0.2到1.4个百分点。

这组数字说清了一件事:掩码监督带来的提升,不是框监督提升的重复计算,而是实打实的增量。它逼着模型把目标的空间边界学得更准,这份精确性甚至能反哺到根本不需要输出框或掩码的纯文字问答任务上——底层共享的视觉特征被训得更细了。

那不加掩码监督会怎样?模型照样能用,但在需要靠外观细节区分相似目标的场景里,比如排除了位置词的RefCOCO+,提升幅度就会打折,差距最大能到2.4个百分点。听起来不大,可放到实际应用里,可能就是“认错了穿蓝衬衫和穿深蓝衬衫的那个人”这种要命的错。

LensBench上的真实表现:说实话,隐式指令还是块硬骨头

Xiaomi-Lens-0在航拍、驾驶、全景三个领域的cIoU都拿下了对比模型里的最高分,但论文也很诚实地指出了它还没能完全攻克的难题。

显式指令上它表现很强,cIoU达到71.4,框精度达到85.0,都是对比模型里最高的。可一换成隐式指令,cIoU直接掉到54.7,排名落到第五位,被几个大模型反超。

跌得最狠的是全景图像里同时要求多目标的隐式指令场景:框精度从显式指令的81.3一路滑到隐式指令的48.7,接近腰斩。

这说明什么?“靠功能和场景推理找出一组目标”,对AI来说还是比“看到类别名直接框出来”难得多。其实这也符合直觉:人在看一张全景图时,要同时找出“所有能让食客坐下来的东西”,也得先在脑子里过一遍“椅子、凳子、沙发算不算”这种模糊判断,何况AI。

写在后面

读完这篇论文,有个细节让我反复琢磨了很久:团队没有选“加一个更强的分割模型”这条看似省事的路,而是死磕“怎么让掩码损失真正传回到共享的视觉特征里”。这个选择背后的思路值得玩味——它赌的不是堆料能赢,而是信号能不能真正打通,这比模块本身强不强更重要。

另一个让我印象很深的地方,是LensBench里“隐式指令”这个设计。不少评测基准都在刻意追求更难的目标类别或更复杂的场景,LensBench却在“指令本身的说法”上做文章,这其实碰到了一个更本质的问题:AI理解语言,到底是在匹配关键词,还是在做真正的推理。显式指令和隐式指令共享同一个标准答案掩码,这个对照设计本身就在逼研究者直面一个尴尬的事实:很多时候模型表现好,可能只是因为它学会了识别某些关键词组合,而不是真的“理解”了那句话在说什么。

论文里那张全景图的例子让我意外停留了很久:模型要同时找出图里所有能坐人吃饭的椅子。这个任务对人来说几乎是瞬间反应,可对AI来说,从隐式的“坐”这个功能描述,到具体认出画面里扭曲变形(全景图特有的镜头畸变)的椅子轮廓,中间要跨过的认知鸿沟,比我们想象的大得多。

一个能“指哪说哪”的AI,距离真正“看懂”世界还有多远?

Q&A

Q1:Xiaomi-Lens-0是什么?它是小米SeerRay团队推出的多模态大语言模型,参数规模40亿,以Qwen3.5为基础构建。其核心能力在于,不依赖额外的分割编码器,直接从自身视觉特征中预测分割掩码;推理时还能穿插生成视觉潜变量,让思考过程与图像区域对应起来。

Q2:和SAM 3这类专门的分割模型相比,它表现如何?在RefCOCO、RefCOCO+、RefCOCOg全部八个分割测试分支上,Xiaomi-Lens-0的cIoU得分均高于SAM 3,领先幅度为7到12.9个百分点。一个通用多模态模型反超专门的分割模型,这样的结果并不多见。

Q3:LensBench是什么,为何要专门设计这套测试?这是论文中新提出的评测基准,涵盖通用、航拍、驾驶、全景四类场景。每个场景都设了两种指令:显式指令直接给出类别名,隐式指令只描述功能、不提类别名。这样设计,是为了检验AI究竟是真懂了语言含义,还是只在匹配关键词。测试结果显示,AI在隐式指令上的表现明显不如显式指令。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关 AI 工具

AI 导航

相关推荐 按相关度与热度排序

全部资讯 →
  1. 小米MiMo被曝考虑分拆独立融资,罗福莉或不排除创业

    观点网讯:11月18日,据媒体报道,小米大模型业务MiMo正处于是否分拆独立融资的关键阶段,已有多家VC和产业资本展开初步接触,但小米集团层面尚未拿出明确的分拆融资方案。报道称,雷军与MiMo负责人罗福莉在分拆一事上存在分歧,罗福莉已接触少数投资人及财务顾问,不排除独立创业的可能。截至发稿,小米及罗福莉本人尚未公...

    来源 腾讯网
  2. 没收过钱的DeepSeek,限个流就成罪人了?

    要说哪家大模型公司在科技圈和开发者中口碑最好,DeepSeek 认第二,估计没几家敢认第一。 哥们平时也不买量投流,纯靠模型攒口碑。 但我真没想到,就这么一家浓眉大眼的公司,最近....

    来源 腾讯网
  3. 摩尔线程周苑与腾讯云石梅:AI落地卡在哪,如何跨过三道坎

    从芯片、大模型到真正落地人工智能(AI)提效,“硅基”世界的演进逻辑正在发生根本重构。产业场景里的真实需求正在倒逼算力与产品的同步进化。算力底座、模型引擎与终端应用,谁在牵引谁?场景数据又如何反哺技术突破?三方共生的临界点将在何时到来?在2026年《财富》中国500强论坛上,来自AI全景生态链中不同站位的四位...

    来源 腾讯网
  4. Metric AI开源亚美尼亚语模型Ayb 0.5:90亿参数跻身前三

    Metric AI团队推出了Ayb 0.5系列开源语言模型,包含0.8B、4B和9B三个版本。该系列基于Qwen3.5架构,针对亚美尼亚语进行了深度适配,在ArmBench基准测试中表现优异,甚至超越了部分参数量更大的模型。Ayb 0.5不仅支持文本生成和指令遵循,还保留了完整的视觉语言能力,能够用亚美尼亚语描述图片。

    来源 AI 应用前沿
  5. ARTEX开源:AI Agent驱动渗透测试,Planner与Worker如何分工

    ARTEX 是一个基于 LLM Agent 的自动化渗透测试平台,采用 Go 和 Next.js 构建。它通过 Planner 和 Worker 协作,自动梳理资产、生成攻击向量并记录流量。本文介绍其核心架构、部署流程及在授权测试中的实际应用,强调人工复核的重要性。

    来源 AI 应用前沿
  6. 蔚来重写NOMI底层架构:告别九年旧代码,3000项整车能力接入AI

    蔚来NOMI产研团队重写沿用九年的传统规则架构,转向以大模型主智能体为核心的原生技术架构,取消传统单向指令分发流程。新架构4月完成实车概念验证,8至9月完成3000项整车原子能力工具化改造,依托SkyOS·天枢系统运行,更多技术细节与推送计划将在11月25日公布。

    来源 凤凰科技
  7. 姚顺雨团队Reddit答问:混元下一代模型规模将显著扩大

    连续发布Hy4和Hy4 flash后,腾讯首席AI科学家、混元大模型负责人姚顺雨和混元团队研究员来到Reddit,回应关于小尺寸模型、下一代训练计划、架构选择、安全与模型能力等问题。 北京时间11月21日凌晨,混元团队首次在Reddit举办AMA(Ask Me Anything,即“有问必答”),共收到300多条留言。

    来源 腾讯网
  8. TML开源新模型,循环Transformer架构,笔记本就能跑

    编辑|Panda昨晚,黎曼猜想的一份 AI 证明声明,把大模型的推理能力再次推到聚光灯下。Anthropic 数学家 Levent Alpöge 宣称,自己与 Claude 合作找到了证明,并公布了形式化材料。虽然这项声明仍待独立核验,但已经让人们重新追问:AI 究竟能完成多复杂的工作?而刚刚,Thinking Mac

    来源 腾讯网
  9. 亚马逊封堵AI购物助手,马斯克放话:也许该做个对手

    AI刚学会替你干活,亚马逊、摩根大通、嘉信理财就开始堵门了! 10月18日,@trikcode在X上列出了一份「AI碰壁清单」,点名达美航空、摩根大通、嘉信理财、Yelp和亚马逊。 他吐槽: 那些本该替我们搞定一切的AI智能体,开始被互联网挡在门外。 人愿意买,AI愿意跑腿,但最后一公里却卡在了平台不肯放行上! 而亚马

    来源 AI 行业观察
  10. 英伟达7连跌市值蒸发2.74万亿美元,美股AI板块集体重挫

    智东西11月21日消息,一夜之间,美股惨遭“黑色星期五”,对AI泡沫加剧的担忧引发华尔街抛售潮,恐慌情绪集中爆发,美国科技股一片哀嚎,英伟达股价暴跌14%,戴尔暴跌11%,Anthropic暴跌9%,甲骨文、SpaceX、特斯拉暴跌8%,Meta暴跌6%,亚马逊暴跌4%。 芯片股也愁容惨淡。美国芯片股费城半导体指数周五

    来源 AI 行业观察
  11. 姚顺雨回应混元为何不追5万亿参数:Hy4仍待改进,计划训更大模型

    IT之家 11 月 21 日消息,11 月 21 日凌晨,腾讯首席 AI 科学家、混元大模型负责人姚顺雨和团队成员,在 Reddit 进行了一场持续 120 分钟的 AMA,回答全球开发者关于混元的“任何问题”。 问答环节,有人询问:字节跳动、Kimi 等似乎都在往 3 万亿、甚至 5 万亿参数的超大模型推进,而你们还

    来源 AI 行业观察
  12. VHA注意力机制:查询头减半、KV头压到2个,质量反而超过GQA-8

    你有没有想过,为什么现在的大模型越做越能处理长文本,但手机上跑起来却越来越卡?这背后藏着一个工程师们心知肚明却一直没彻底解决的矛盾。大模型在处理长文本时,需要把之前算过的键值对(Key-Value)存在显存里,这样下一个字生成的时候就不用重新计算前面所有内容。这个存起来的东西叫做KV缓存:大模型在生成文字时,...

    来源 腾讯网
  13. 美参议员致函苹果谷歌Meta:AI脱衣应用未下架,Meta仍在赚广告费

    IT之家 11 月 21 日消息,据英国《卫报》报道,美国参议员罗恩 · 怀登、埃德 · 马基和本 · 卢汉指出,苹果和谷歌未能有效识别或下架用于生成未经当事人同意的裸照或色情图像的应用。三人还指出,Meta 仍在从这些所谓的 AI 脱衣应用广告中获利。当地时间 18 日,三人向苹果、谷歌和 Meta 的 CEO 致函

    来源 腾讯网
  14. Megaspeed被查:一家游戏背景公司如何做成41.3亿美元AI芯片生意

    2015年,一家名叫7 Road International的公司在新加坡注册。 最初几年,它并不起眼。谁也不会想到,十年后,这家公司会成为英伟达先进AI芯片供应链上一个引人注目的名字。 2023年,公司更名为Megaspeed International,业务重心也开始转向云计算和AI基础设施。 随后,它的生意急速膨

    来源 AI 行业观察
向下滚动自动加载更多