检索AI为何漏掉图文混排答案：单科满分混搭就崩？

找资料时，你有没有碰过这种怪事：资料库里文字和图片混在一起，系统返回的全是看着沾边、实际不相关的文字段落，真正藏着答案的那张图表，反倒被甩到十名以外？

这不是错觉。最近有群研究者做了实验，把这个现象实打实测了出来，还给它取了个挺形象的名字——文本中的混乱。

问题到底出在哪：单科满分，混搭就崩

这事儿是怎么被发现的？先从头说。

眼下做检索的AI模型，像CLIP这类，处理纯文字资料库已经很在行，处理纯图片资料库也不在话下。

CLIP*：这种AI模型能同时读懂文字和图像，做法是把文字和图片都转成一串数字（也就是向量），再比对数字之间的相似度，据此判断两者是否相关。

可现实里的资料库没那么干净。打开一个企业知识库，或者翻一份扫描版研究报告合集，里面常常是文字文档、图片文档、图文混合文档三种类型搅在一块。研究者想弄明白：碰上这种大杂烩，AI检索系统到底顶不顶用？

他们设计了一个巧妙的实验：取一批图片文档，一步步把其中一部分图片替换成内容完全对应的文字描述，观察检索效果如何变化。

结果画出一条很诡异的曲线，形状像字母V。纯图片资料库里，检索效果很好，能打到0.94分（满分1分）；纯文字资料库里也不错，0.88分。可两种模态的文档一掺和，分数直接跌到0.65。

这就像一个学生，数学单科能考95分，语文单科也能考90分，但把数学题和语文题混在同一张卷子里考，他反而只考到及格边缘。不是数学或语文变差了，而是他没学会在两种题型之间切换时做出正确判断。

后续实验更能说明问题。研究者往纯图片库里分别混进等量的无关文字和无关图片，比哪种干扰更严重。掺入无关文字段落后，检索效果下滑明显，降幅达到0.3到0.5分；混进同样数量的无关图片，冲击就小很多。

这背后的原因并非候选池扩大导致检索变难——若真是如此，两种干扰的表现应当接近。真正的问题是，系统对文字这一模态存在某种系统性偏好。一段文字哪怕根本回答不了问题，也能排在真正相关的图片前面。

为什么文字能"插队"：模型内心的模态偏好

要弄清这个偏爱是怎么回事，研究者设计了一个对照实验。

同一份文档，他们准备了三种版本：纯文字版（用AI生成的详细描述）、纯图片版（原图）、图文融合版（图片配一段简短摘要），然后拿同一批问题分别去查这三个版本的相似度得分。

结果相当一致。不管换哪个模型，文字版本的相似度分数都系统性地高于图片版本，哪怕那张图片确实就是正确答案。

引用块：模态偏好，指的是检索模型给文档打分时，不是单纯依据内容和问题的语义相关性，而是会因为文档所属的模态（文字、图片还是图文混合）产生系统性的分数偏差，导致本不该影响排序的"是文字还是图片"这个因素，实际上左右了最终排名。

研究者用一个具体问题做了演示：某品牌在某年开了多少家店。测试中排在前三的清一色是文字段落，分数均超过0.7，而写着准确数字的那张图表相似度仅0.51分，落到第12名，直接出局。

研究者还统计了一个指标，叫干扰率：当正确答案是一张图片时，有多大比例的问题会被一段无关文字反超。在某个模型上，这个比例高达94.6%。也就是说，差不多每10次检索，有9次是文字凭着"天然的高分体质"把正确图片挤下去的，而不是文字内容真的更贴题。

有个场景颇为讽刺：公司招聘时，面试官给说普通话的候选人一律打高分，对讲方言但能力更强的人却打低分，哪怕后者的回答更对题。久而久之，招进来的人未必最合适，只是最会说“标准普通话”。检索系统里的这种偏好其实是一回事——模态成了隐形加分项，而这个加分项跟内容是否答对毫无关系。

怎么治：让三种"打扮"的同一份文档平起平坐

病因找到了，接下来就是开药方。

研究团队提出的方案叫Trident，思路特别直白：既然模型偏爱文字，那就不给文字单独出头机会，强迫模型把同一份文档的三种呈现方式（纯文字、纯图片、图文融合）绑在一起学，谁也别想抢跑。

具体做法分成两步。

训练数据怎么来？研究者拿一个大模型，为每张图片文档产出两版文字：一版是详细描述，当纯文字用；一版是简短摘要配原图，做融合视角。再加上原始图片本身，一共三种正例视角，全都指向同一个问题。

更关键的一步，是设计出一个叫多正例视角InfoNCE的训练目标。

先说InfoNCE是什么。对比学习里常用这种训练方法：一堆候选项摆在那儿，模型要把真正相关的那个（正例）得分往上拉，不相关的（负例）得分往下压，再用softmax做归一化，让所有候选项的得分放在同一把尺子上比。

有个技术细节容易被忽略。假如给每个模态单独训一个InfoNCE损失，会出毛病：某个模态里所有候选项统一加一个偏移量，该模态内部的排序丝毫不变。也就是说，模型对文字整体打分偏高、对图片整体打分偏低，只要各自模态内部排得对，损失照样能收敛到很低。

这就像几个班分开考试，班里名次都没问题，可没有统一阅卷标准，甲班的90分和乙班的90分根本不是一回事，成绩单上却一样好看。

Trident的办法，是把三种正例视角连同所有负例，全部塞进同一个softmax归一化的分母，逼它们在同一个尺度上比。这个损失函数拆成两块：一块叫相关性判别，负责让三个正例的总概率质量尽量从负例手里抢过来，确保模型分得清谁真正相关；另一块叫正例视角平衡，负责防止抢来的概率质量被某一个模态（比如文字）独吞。

只用相关性判别会怎样？论文的梯度推导给出了答案：模型会偏向依赖最容易匹配的文字正例去拿分，把图片或融合视角晾在一边，因为这么干"性价比"最高，损失降得最快。补上第二项平衡约束，情况就变了——某个视角分到的概率份额低于平均水平（即三分之一），它的得分会被主动往上拉；份额超标的，反倒被压下去。

这个思路让人想到餐厅拼桌分账。只说"大家凑钱付清账单"，那谁抢着多点贵菜谁占便宜，反正总额算清就行，没人会主动约束自己。可要是规定每个人最后吃到的份量必须大致相当，账单总数不变，体验就完全不同了，嘴快的人占不到大便宜，也没人饿着肚子回家。Trident干的，就是给检索模型加了这么一条"吃饭均等"的规则。

**效果到底怎么样**

光讲道理不够，得把实验数据摆出来。

团队在六个视觉文档检索基准上做了测试，既看模型在原始单模态资料库上的表现（叫Origin），也看六个数据集拼成混合模态资料库之后的表现（叫Mix）。

表格里的数字很说明问题。以CLIP架构下的Jina-CLIP-v2为基准，原始模型在Mix设置下平均得分42.68，经Trident训练后冲到55.51，提升超过12个百分点。VLM架构下对比更明显：Qwen3-VL-Embedding-2B在Mix设置下只有40.12分，同一个底座模型用Trident训练后飙到73.90，几乎翻倍。

VLM*：Vision-Language Model，视觉语言模型，指能同时处理图像和文字输入、并在统一网络结构里推理的AI模型，与CLIP那种图文分开编码再对齐的架构不同。

还有个对比挺有说服力：训练后的2B小模型（Trident-Qwen3VL-2B）在Mix设置下平均73.90分，居然超过了未训练、参数量是它四倍的8B大模型（47.17分）。问题不在于模型"笨"或者"不够大"，而是训练方式本身有系统性缺陷，堆参数量治不了这个病。

研究者还测了压缩嵌入维度后的表现。向量维度从2048一路压到128（维度越低，存储和计算成本越小），在混合模态资料库上，Trident训练出的模型优势没缩小，反而稳定在26到30个百分点左右——提升不靠"更大的表示空间装更多信息"，而是真把模态偏好这个病根治了。

可视化分析也做了：比较同模态文档对（如文字对文字）和跨模态文档对（如文字对图片）的相似度分布。训练前，不同模态组合的相似度中心点差异很大，标准差0.055到0.092；训练后差异大幅收窄，标准差降到0.004到0.011。数字证明，模型看待不同模态文档的"心理标尺"确实被拉平了。

有意思的是，研究者还试过更激进的做法：直接加一个损失项，强迫三种视角的相似度完全相等。标准差能进一步压到0.003，但最终检索效果反倒比不强制相等时略差一点。

这里头有个挺值得玩味的道理：均衡不等于强行拉平。文字描述和图片承载的信息密度、细节粒度天然不同，比如一张图里可能藏着文字没写全的视觉细节，硬要求它们打分完全一致，其实是在扭曲这种天然差异。真正有用的均衡，是不让任何一个模态系统性地垄断注意力，而不是磨平它们之间本就该有的合理差异。

团队还把这套方法搬到自然图像检索场景（不只是文档图片），在Google-WIT、MSCOCO等四个基准上验证，同样看到类似幅度的提升。这说明它不是文档检索这一个场景的巧合，而是一个更普遍的问题和解法。

Q&A

Q1：文本中的混乱具体指什么现象？

A：资料库里混着文字、图片和图文融合文档，检索系统会系统性地把无关的文字文档排到相关图片文档前面，真正含答案的图片被挤出搜索结果前列——哪怕那些文字根本答不上问题。

Q2：Trident是怎么解决模态偏好问题的？

Trident的做法是给每份文档建三种正例视角——纯文字、纯图片、图文融合，再配一个多正例视角InfoNCE损失函数。三种视角连同所有负例被放进同一个归一化空间里比，相关性判别和正例视角平衡这两个目标同时受约束，某个模态想单独垄断得分就没那么容易了。

Q3：小模型经Trident训练后，能赢过没训练的大模型吗？

能。实验数据摆在那里：用Trident训练过的20亿参数模型，在混合模态检索任务上平均拿到73.90分；没经过训练、参数量四倍的80亿参数大模型只有47.17分。差距的根源在训练方式，不在模型规模。