Jag让AI直接读隐藏状态出坐标,不生成文字
你有没有想过,当你对着一个智能助手说"把图里举着鼻子的大象框出来",它是怎么把答案变成一个方框的?大部分人可能以为,这就是模型"看一眼"就知道答案了。但事实没那么简单。现在主流的多模态大模型处理这类任务时,走的是一条相当绕的路:它先理解图片和你的问题,然后像写作文一样,一个字一个字地"生成"坐标数字,比如...
对着智能助手说一句“把图里举着鼻子的大象框出来”,它怎么把这句话变成一个方框?多数人会觉得,模型看一眼就懂了。其实没这么轻松。
眼下主流的多模态大模型做这类活儿,走的路相当绕:先读懂图片和问题,再像写作文那样一个字一个字地把坐标数字“生成”出来——先吐“123”,再吐“456”,拼成完整方框坐标,最后交给程序解析还原成框。
打个比方,你问路人“便利店在哪”,对方不伸手一指,而是先组织语言:“从这里往前走,第一个路口左转,再走大概五十米,能看到一个蓝色招牌”,你还得照这段话自己在地图上画路线。信息一点没少,效率却低了一大截。换成直接伸手一指呢?答案很明显:快得多,也不会因为表述误差让你走错路。
多模态大模型
多模态大模型:能同时处理图片和文字两类信息的人工智能模型。你给它一张图加一句话,它能理解两者的关联并给出回答。
这种“说坐标”的做法有个学名,叫
自回归生成
自回归生成:模型按顺序一项一项地产出内容,每产出新内容都要参考前面已产出的部分,像接龙,说完一个词才想下一个词。
毛病就出在这条“接龙”上。理解图片和文字本身已经吃掉不少算力,为了说出四个坐标数字,模型还得再跑一轮又一轮的序列生成,每走一步都重新计算一遍,又慢又费资源。论文作者们于是琢磨:能不能让模型看懂图片和问题后直接“伸手一指”,把方框的四个数字一次算出来,不必再一个字一个字往外蹦?
于是,一个叫做
核心问题:当时的世界是什么样子
在Jag出现之前,
早期有
另一条路线是像
还有一类工作尝试了折中方案。比如
这些工作都指向同一个方向:能否把预训练好的多模态理解能力,和直接数值预测的效率优势捏到一起?可具体怎么捏,哪个环节该动、哪个环节该留,讲究不少。Jag给出的答案是:不生成任何新词,直接从已经存在的某个位置读取信息,一步算出坐标。
方法解读:Jag到底做了什么
读取“最后一个有效输入位置”的信息,而不是生成新词
Jag的做法是,把预训练模型原本处理图片和文字的全套流程保留下来:视觉编码器看图,视觉融合模块把图像特征转成语言模型能懂的形式,语言主干网络再把图文信息融合处理一遍。走到这一步,和普通的多模态大模型没有区别。
区别在最后一步。普通模型到这儿要开始生成文字,Jag一个新内容都不生成,而是直接取走输入序列里最后一个有效位置的
隐藏状态
隐藏状态:神经网络处理完一段输入后,内部某一层保留下来的数值表示,可以理解成模型对这段信息的“理解结果”,后续计算都从它出发。
这里有个细节值得琢磨。模型处理文字时句子长短不一,为了批量处理,通常会在短句后面“填充”一些无意义的占位符凑齐长度。Jag选取的不是序列的最后一个位置,而是
这就像听一段录音转文字,录音结束后系统又录了几秒空白静音。你要总结这段话的意思,自然是听到最后一个有意义的词为止,不会把那几秒空白算进去。Jag如果不做这个区分,填充方式用错的时候,模型读到的可能就是一段无意义占位符对应的状态,预测自然跑偏。
论文专门做了对比实验来回答这个问题:新增一个专门的“定位标记”token 到底有没有必要?结果显示,加与不加,准确率的差距都落在1个百分点以内。模型其实可以“顺手”借用已有的位置,无需另做设计。道理不复杂——图片和文字的信息本就已融进最后那个位置的表示,直接取用即可,再添一层纯属多余。
轻量级回归头:把一个向量变成四个数字
拿到这个隐藏状态,接下来要把它转成方框的四个坐标值。Jag用了一个很简单的
多层感知机
多层感知机属于一种基础神经网络结构,若干层全连接神经元叠在一起,每一层先对输入做线性变换,再加非线性激活,信息就这样一层层往下传。
流程上,第一步先做一次变换;接着要回答一个问题:为什么不拿两个角点直接表示方框,偏要用中心点加宽高?这是几何表示里常见的做法。用中心点配尺寸来刻画一个框,数值上更稳,宽和高永远为正,不会冒出左上角坐标大于右下角这类逻辑错误。到实际使用阶段,再统一换算成角点坐标。
这个回归头分量很轻,整个模块大约53万个参数,而语言模型自身的参数量是按十亿来计的。好比一辆车已经造好,再往上装一个简易仪表盘,仪表盘结构并不复杂,可它显示的车速准不准,很大程度上取决于接进去的信号线对不对。线接错了位置,仪表盘做得再精细也白搭。
两阶段训练
论文里让我觉得最有意思的发现,就在这里。
Jag的训练分两个阶段走。第一阶段冻结整个预训练模型,只训练新加的那个轻量回归头。到了第二阶段,回归头和语言主干网络、视觉融合模块一起放开训练,让定位任务的监督信号反过来去调整整个模型的表示方式。
为什么不一步到位、直接全部一起训练,而要拆成两步?论文的解释是:预训练模型的隐藏状态原本是为生成语言而设计的,里面装的是“下一句话该怎么说”的信息,而非“这个物体的边界在哪儿”的信息。一上来就让回归头去拟合这些现成的、没经过针对性调整的特征,效果会打折扣。
更出人意料的是,这说明预训练模型学到的表示对语言生成很有用,可放到“物体精确边界在哪”这类几何问题上,天生就不匹配。好比请一位文笔很好的作家去量房子尺寸,他能把房间描述得活灵活现,量出来的数字却未必靠谱,因为他的训练压根不是朝着“精确测量”去的。只有让这些内部表示跟着几何监督信号一起调整,才能把“写作脑”真正改造成“测量脑”。
论文还试了另一种读取方式:把整个问题句子(不含图片和模板部分)中每个词对应的状态做平均,结果准确率暴跌到35%到70%左右。这进一步说明,最后一个有效位置的状态之所以好用,是因为它经过了完整的注意力计算,图片信息和问题信息都已被“吸收”进去;简单平均则把这种经模型深度整合的信息丢掉了。
损失函数这边,Jag训练时用两种损失配合监督。其一是L1加……
GIoU
GIoU即广义交并比,用来衡量两个方框的重叠程度。它在传统IoU(交集面积除以并集面积)的基础上,还把两个框之间的空隙算了进去,能更好地引导模型去学框的位置和大小关系,即便两框完全不重叠,也能给出有效的梯度信号。
那为什么光靠L1损失不够,非得再加GIoU?因为L1是逐个坐标数值独立看误差,不太关心这些数值组合起来之后,预测框和真实框到底重不重合。举个例子,预测框中心点差一点,宽度也差一点,单独看两个误差都不大,合起来框的实际重叠率可能已经很糟。GIoU损失直接从“两个框叠得好不好”这个几何角度切入,正好补上L1的盲区。
两种损失按一定比例加权组合(论文里L1权重为5,GIoU权重为2),当作唯一的训练目标,推动整个模型往“预测出更准的框”这个方向调整。
核心数据:Jag的表现究竟如何
论文在三个常用的……数据集上做了测试,衡量标准用的是……
下表把Jag和原始基础模型(即未经过定位任务微调的Qwen3.5-0.8B)放在一起对比:
| 模型 | RefCOCO testA | RefCOCO testB | RefCOCO+ testA | RefCOCO+ testB | RefCOCOg test |
|---|---|---|---|---|---|
| 基础模型 | 84.27 | 74.72 | 76.53 | 62.57 | 77.96 |
| **Jag** | **93.90** | **88.36** | **90.69** | **80.08** | **87.72** |
表格显示,每个测试集上Jag都压过了未微调的基础模型,提升幅度在9.63到17.51个百分点之间。涨得最猛的是RefCOCO+的testB,一口气提升了17.51个百分点。
RefCOCO+在标注时就刻意回避了方位词,没法只说"左边那个苹果",得凭物体自身的特征来描述。这种更难的场景下,Jag的提升幅度依然守住了,说明直接预测不是靠方位词的规律抄近道,而是真学到了更准确的图文对应能力。
下面再看它和同类专门做定位的模型相比表现如何:
| 模型 | RefCOCO testA | RefCOCO testB | RefCOCO+ testA | RefCOCO+ testB | RefCOCOg test |
|---|---|---|---|---|---|
|
| LocateAnything | 93.23 | **89.26** | 88.00 | 79.57 | **88.54** |
| **Jag** | **93.90** | 88.36 | **90.69** | **80.08** | 87.72 |
NExT-Chat走的同样是连续坐标回归的路子,可Jag在每个测试集上都压过了它。差距最大的一处是RefCOCO+ testB,拉开了13.89个百分点。可见"直接从已有位置读取状态、不生成触发词"这套设计,比"先生成触发词再读状态"效率更高,也更准。
至于采用并行离散预测的专门模型LocateAnything,五个测试子集里Jag赢了三项、输了两项,输的是RefCOCO testB和RefCOCOg。从综合准确率看,Jag为88.30%,LocateAnything为88.00%,两边咬得很紧。
效率这一项,才是它真正的杀手锏。
准确率打平甚至略占上风,还不是Jag最出彩的地方。让这套方案有实际价值的,是它的推理速度和资源开销。
论文测了单次请求的如下指标:
| 模型 | 平均延迟 | 峰值
|---|---|---|
| 基础模型(自回归生成) | 1293.01毫秒 | 2.246 GiB |
| NExT-Chat | 120.01毫秒 | 15.986 GiB |
| LocateAnything | 239.05毫秒 | 9.660 GiB |
|
| **Jag** | **65.97毫秒** | **2.523 GiB** |
所有对比模型里,Jag的延迟最低。它比基础的自回归生成模型快了将近19.6倍,比NExT-Chat快1.82倍,比LocateAnything快3.62倍,比Hi-Token快9.35倍。
显存这块,Jag只占2.5GiB左右,比NExT-Chat低84%,比LocateAnything低74%,比Hi-Token低68%。
这些差距落到实际场景里是什么概念?假设一套智能摄像头系统每秒都要实时处理大批图片并标出目标位置。自回归方式处理一张要1.3秒,一分钟顶多40多张;换成Jag,一张66毫秒,一分钟能处理900张左右,差了20多倍。对实时性要求高的场合,比如自动驾驶的视觉辅助系统、工业质检流水线,这样的速度差往往直接决定方案能不能落地。不做这层优化,准确率再高,用户用起来也会因为"卡顿"大打折扣。
那Jag跟同样采用连续回归、又专门针对精确预测微调过的自回归模型比,准确率会差多少?论文为此做了对照实验:同一个底层模型,一条路走自回归生成坐标文字(记作AR),另一条走Jag的直接预测。结果在标准的0.5重叠率下,两者几乎打平,差距都在1个百分点以内,统计检验的置信区间基本都包含0,这个差距在统计上不算显著。
可把重叠率标准提到0.75乃至0.9,也就是要求方框画得更精准时,AR开始占优,三个数据集上都比Jag高出4到6个百分点左右。也就是说,直接预测在"大致框对"上和生成式方法打平,到了"框得特别精准"这一层还是稍逊一筹。这提示了一个有意思的方向:未来任务若对精度要求极高,或许还得在Jag的基础上继续优化。
规模和数据量带来的影响
论文还考察了训练数据量对效果的作用。从2万条训练样本起步,加到4万、8万,最后用上全部32万多条样本,三个数据集上的准确率一路持续提升,没有出现"数据加多了反而没用"的饱和迹象。其中RefCOCO+提升最明显,从80.33%一路涨到85.80%。
论文还拿更大的底层模型做了对照,参数从0.8B提到2B。结果两种预测路径——直接回归和自回归生成——都因模型变大而受益。不过换成大模型之后,自回归方式反倒以微弱优势超过了Jag。照论文的说法,模型规模和预测方式之间或许存在某种相互影响,这一点还需继续研究。
写在后面
论文里有个“只训练回归头”的消融实验,准确率从90%直接掉到26%,这个结果我读完印象最深。差距摆在这里,让人不得不重新想一件事:平时挂在嘴边的“预训练模型学到了通用表示”,究竟有多少靠得住?至少在视觉定位这个任务上,答案很清楚——预训练学到的表示对语言生成确实通用,可一旦要输出精确数值、做几何定位,这些表示几乎“不兼容”,不经过针对性微调根本用不了。这么看,“预训练+微调”里微调那一步的分量得重新掂量,它更像是决定任务成败的关键环节,而非可有可无的补充。
还有个细节可以提一下。论文列了几个失败案例,其中一个要找的是“一架黑白相间、在一架红白相间飞机后面的飞机”,Jag挑错了,基础模型却挑对了。这说明什么?整体准确率更高的方法,落到某个具体场景里未必更靠谱。效率和准确率的提升是统计层面的,不等于每个具体任务都占绝对优势。论文在“写在后面”之前特意安排失败案例分析,用意也在这里——把方法的边界如实摆出来。
顺着这个思路往下想:视觉定位能跳过生成式、改成直接预测,那其他依赖大模型“说出结果”的任务呢?比如要输出一个精确数字、一个坐标、一个分类标签的场景,是不是也有类似的改造余地?这个问题,论文留给了后续研究者。
Q&A
Q1:Jag是什么?
A:Jag是一种让多模态大模型直接预测物体边界框坐标的方法。传统方式得一个字一个字生成坐标文字,它不用;它读取的是模型处理完图片和问题后的最后一个有效状态,再通过一个轻量级回归头,一次性算出四个坐标值,全过程只需一次。
Q2:Jag相比传统自回归生成坐标的方法快多少?
A:论文测试显示,Jag单次请求平均延迟65.97毫秒。对比没有微调的基础自回归模型,快了约19.6倍;对比NExT-Chat快1.82倍,对比LocateAnything快3.62倍。GPU显存占用也明显更低。
Q3:Jag的准确率和专门设计的定位模型相比如何?
A:在RefCOCO、RefCOCO+、RefCOCOg三个测试集上,Jag综合准确率88.30%,与LocateAnything的88.00%基本持平。同样走连续坐标回归路线的NExT-Chat则被它全面超过,最大差距13.89个百分点。