OneSearch-VL：单图、多图集、视频统一处理，AI查证推理怎么做

先提一个问题。

手里有一张照片，画面里一个女生抱着一只金毛犬，问这种狗的原产国在哪，你会怎么答？多数人的路径差不多：先认出这是金毛寻回犬，再去查它的起源地，最后给出苏格兰这个答案。听起来不难吧？

换一种问法试试。给三张不同的图片，问这三辆车里有几款出自大众集团旗下公司。你得先一辆辆认出品牌，再判断这个品牌有没有被大众收购，最后数出符合条件的数量。这已经超出“看图说话”的范围，更像侦探在干活。

再换个场景。给一段视频，要比视频里出现的两座地标建筑谁更高，还得精确到英尺。你得先在视频里定位这两座建筑出现的那些帧画面，分别截图确认是哪两座楼，然后分头查高度，最后比出大小。

论文要处理的，正是让一个AI模型同时具备应对这三档难度的能力：单张图片、由多张图片组成的图集、以及视频。做法不是训练三个模型各管一摊，而是用同一套“脑子”把三件事都做下来。

这个课题听着简单，真做起来却埋着一个大坑。

一个被忽视的大坑：证据链在哪里断掉了

你可能会想，这不就是让AI学会“看图”加“查资料”吗？市面上这类工具不是已经不少了？

确实有。过去两年，研究者已经做出了一批能一边看图一边上网搜索的AI代理（agent，指能自主执行多步骤任务的AI系统，不是被动答一次问题，而是像人一样反复“想一想、查一查、再想一想”）。问题是这些工具大多只对一种输入类型使劲，要么只处理单张图片，要么专攻视频；图集这个中间地带很少有人纳入，三种类型用一套系统统一搞定，更没人试过。

真正的难点不在于“要不要统一训练”，而在于统一训练所需的数据从哪来，以及训练出来的模型怎么评价对错。

设想给AI出这样一道题：“图中骑士的头盔上有个什么徽章，这个徽章代表的家族发源于哪个城堡？”题目看着普通，但要让AI真正学会解它，得先保证几件事：第一，徽章这个视觉细节必须真实存在于图片里，能被精确定位到；第二，徽章对应的家族信息必须有网页可查，而且这个网页是真实可信的来源，不是AI编出来的；第三，从“认出徽章”到“查到家族”再到“锁定城堡”，中间每一步的逻辑链条都得完整，不能断掉，也不能偷换概念。

过去的研究方法，往往只记下这条链条的某一段。有的方法用“感知到知识”的链条记录视觉识别与外部知识的对应关系，却不记录证据来自哪个具体网页段落。有的方法用“事实清单”打分，告诉模型这道题需要用到哪些事实，却不记录这些事实是从图片上哪个具体位置找到的线索。视频相关的研究更倾向于把关键帧和实体抽出来，仅当作检索的“引子”，用完就扔，整个推理过程的来龙去脉没有存档。

这就像让侦探破案，却只给他一份残缺的卷宗：有的地方只有指纹没有嫌疑人信息，有的地方只有嫌疑人口供没有物证照片。侦探最后或许也能破案，但你没法判断他是真推理出来的，还是蒙对的。更麻烦的是，如果不同

研究者面对的正是这个问题：没有一个统一的“案卷模板”，能同时记录“证据在图片哪个位置”“证据对应什么外部事实”“这些事实怎么组合成最终答案”这三件事，并且这个模板得同时适用于单图、多图、视频三种场景。

VGEG：给每道题配一份完整的侦探卷宗

论文给出的核心解法叫VGEG，全称是“视觉锚定证据图”（Visually Grounded Evidence Graph，一种统一的任务参考结构，用图的形式把视觉线索、外部事实和推理步骤全部串联起来）。

说白了，这个结构就是给每一道研究题目都配一份标准化的“案卷”。案卷包含四个部分：视觉锚点（图片或视频里被定位出来的具体物体、区域或帧，附带它们对应的真实世界实体）、来源可查的事实（每条事实都标注了是从哪个网页、哪句话里提取出来的）、操作说明（规定这些事实要通过什么运算组合成最终答案，比如求和、比较大小、做减法）、以及依赖关系（把前面三者用边连接起来，形成一张完整的图）。

用数学方式描述的话，每道候选任务 i 都对应一个VGEG，记作 Γ? = (A?, F?, O?, R?)。其中这四个字母依次代表锚点集合、事实集合、操作集合与关系集合。该结构并非凭空生成，它由一张更大的“输入级证据图”投影而来。打个比方，这就像从体量庞大的案卷档案库中，只挑出与某道具体题目相关的那部分卷宗。

如果没有这套VGEG会怎样？

那就等于让AI做完一道推理题，只看最后答案对不对，完全不检查它是怎么推出来的。这种打分方式有个致命问题：AI很可能瞎蒙对了答案，或者编造一些根本不存在的“证据”硬凑出正确答案，表面分数很高，但这种能力完全不可信，换一道类似的题目立刻露馅。

VGEG建好之后，AI 每一步都能被反过来核对：它选中的图片区域是否准确？它检索到的事实，是否确实出自其引用的那个网页？推理过程有没有依照题目要求的逻辑推进，还是中途跳步、甚至编造？

这好比老师批改一道数学应用题，不只看最后的得数，而是要求学生把解题步骤完整写出来，每一步都有依据，这样才能确认学生是真的理解了题目，而不是背了答案。

从70万小时的视频里，淘出可以出题的素材

有了VGEG这个标准模板，接下来的问题是，题目从哪里来？

论文为此搭起一条完整的数据流水线：入口是250万条YouTube视频记录，出口是十几万条高质量训练数据。筛选标准定得很紧，一轮轮刷下来，最后只剩7万多条视频。

具体怎么筛？第一步按上传日期卡掉2023年以前的老片子，余下129万条。第二步用规则打分，把内容单薄、找不到可查实体的剔出去，剩37.8万条。第三步按12个内容类别均衡抽样，音乐、教育这类视觉信息偏少的类别不在其中，留下12.8万条。第四步交给GPT-4.1对视频文本信息做二次判断，要求确实存在多个场景、可识别实体和具体事件，过关的7.2万条。第五步按时长均衡，防止某一时长区间占比过高，最终定格在7.08万条。

这个过程有点像在旧货市场里淘古董：绝大多数东西扫一眼就能排除，越往后越考验眼力，能留下来的都得经得起反复推敲。

视频选出来之后，还得往片子内部挖视觉线索，这一步叫密集视觉锚点发现。做法是先把视频按2帧每秒采样，切成十帧一组的小片段，逐段生成描述；再从每段里挑关键帧，写出更细的描述；随后用图文嵌入模型跨片段做帧去重，避免同一画面被反复使用；时间上相邻、语义相关的片段再聚合成一个个“事件”；最后在每个事件的代表性关键帧里，定位出能查证的具体物体，车标、商品、地标都算。

整套流程跑完，得到一棵“视频密集描述树”：视频套事件，事件套关键帧，关键帧套具体物体，层层嵌套，每一层都带着精确的时间和空间坐标。

视觉锚点有了，接下来要把它们跟外部世界的真实知识接上，这一步叫网络证据图构建。系统会自动判断每个物体走哪条路查身份：是以图搜图，还是先识别文字再搜索。视频里出现跑车车标，就用反向图像搜索匹配候选品牌；出现写着文字的招牌，就先OCR识字，再拿这段文字去搜对应实体。

搜出来的结果不会直接采信。系统把候选身份和网页摘要摆在一起，交给另一个模型核对它跟视觉上下文是否对得上，免得同名同姓却毫不相干的东西混进来。核对通过后还要继续往外扩：认出一辆奥迪R8，就接着追问“这辆车的设计者是谁”“这个人还创立过什么企业”，一层层剥下去，每一跳都记下支撑这条信息的网页和原文引用。

当然不会无止境地挖。实体够不够具体、关系可不可信、跟任务相不相关，系统据此判断要不要继续；找不到合适的后续线索就自动停。这跟查户口一个道理：查到具体的人，还能顺着查工作单位、家庭成员；查到的只是“某种汽车品牌”这种模糊概念，再往下就没多大意义，该收手了。

最后形成的“网络实体图”，把事件、关键帧、定位物体、实体、属性、来源网页全装进一张图。这张图就是VGEG的原材料库，每道题目的VGEG都是从大图里投影截出来的一块。

从证据图里出题，还得保证“不作弊”。

证据图备齐，才进入真正出题的环节。这里要同时顾三件事：推理深度得够，答案要经得起反查，问题描述不能把答案漏出去。

出题时，系统把事件描述、视觉锚点、来源可查的事实和候选关系链条拼到一起，让生成模型围绕六种研究操作类型命题，这六种操作后面会细讲。问题、答案和对应的VGEG是一起生成的，三者绑定，不存在先出题再补证据。

题出完，还有一道验证专门防“假题目”。系统先用确定性规则查证据路径和任务结构是否自洽：多跳题要看相邻事实之间是否真能衔接，多锚点比较题要看比较的是不是同一个语义属性。结构过关还不够，另一个模型会只凭题目相关的证据把答案重算一遍，看出题时给的答案跟重算结果是否一致。另外，事实摘要里明显出现答案原词的地方会被掩码，防止答案提前泄露在证据描述里。

再往下是“视觉实体模糊重写”，这招挺巧。假设出题时已经知道图里那只狗是金毛犬，直接问“金毛犬的原产国是哪里”，等于把答案白送。系统会把问题里点名的实体改写成基于视觉特征的描述，比如“图中被男孩抱着的那只狗”，AI就得先自己看图认出是什么狗，再去查资料，没法从问题文字里直接抄。多跳题连中间经过的实体名字也一并藏起来，逼着AI从看得见的目标出发一步步推出中间环节，而不是从文字里偷看捷径。

最后一关是质量过滤，查四件事：信息遮蔽彻不彻底、指代唯不唯一（一张图里有两只狗，问题却没说清指哪只，不行）、视觉输入是不是真的必要、题目够不够复杂、能不能靠猜。其中“纯文字探测”很关键：把图片拿掉只留文字问题，看AI能否凭记忆蒙对；蒙对了就说明这题根本不用看图，直接淘汰。

整套流程跑下来，产出两份训练数据集。OneSearch-VL-SFT-110K用于监督微调，先用大量优质示范教会模型基本套路，约11万条轨迹，单图3.6万条、多图3.7万条、视频3.5万条，平均每条轨迹调用10.1次工具。OneSearch-VL-RL-10K用于强化学习，让模型自己尝试做题，按做得好坏给奖励信号、逐步改进，约1万道题目，三种输入类型都有覆盖。

EVGR：答案对不对要查，“作案过程”也要查。

数据再好也只是底子，训练时怎么给模型反馈，同样决定最终效果。

论文为此提出EVGR，全称“证据感知的视觉锚定评分奖励”（Evidence-aware Visual-Grounded Rubric reward）。这是一种从VGEG标注中衍生出来的强化学习奖励机制，专门检查模型推理时有没有真找对证据、真看对画面。

这套奖励从两个互不干扰的维度分别打分。一个是证据可追溯性，看模型调工具拿回来的观察结果，是否真能撑住答案所依赖的核心实体和每一跳事实，推理时有没有偷偷换概念、凭空捏造。另一个是视觉定位，看模型是否真的锁定了图中该找的物体和区域、视频中该取的那几帧，后续检索又是否确实用上了这些视觉信息。

单图和多图这两种场景下，图片本身就摆在模型眼前，不必再调工具去“看”，所以视觉定位查的是模型有没有用对那张图、那个物体；到了视频场景，查的则是它挑出的那几帧是否真的覆盖了问题所需的关键时刻。

分数按档位给：拿满1分，说明所有需要的证据环节都有直接支撑；0.75分，是大部分撑住了但有一个小缺口；0.5分，有用证据存在，可有一个关键环节的证据是间接的或者干脆缺席；0.25分，证据大多嘈杂，靠猜，或者和已知信息顶牛；0分，则是一点有效证据支撑都没建起来。

那如果不设这两个独立维度，光凭最终答案对错来打分，会是什么结果？

论文的消融实验把这问题回答清楚了。只给答案正确性奖励，六个基准的平均分是56.3分；补上查询质量奖励，升到57.3分；单独加证据可追溯性，分数到59.0；单独加视觉定位，是59.3；两者一起加上去，分数直接抬到61.1，比只有答案和查询奖励时高出3.8个百分点。

数字背后说的是这么回事：光看最终答案打分，模型很容易练出“答案猜对、过程不对”的取巧路子，好比考试只瞧最后得数、不看演算步骤，学生自然会琢磨怎么蒙过去。EVGR等于递上一份细到每步的评分细则，逼模型把整条推理链老老实实走完，这么练出来的本事才牢靠，也才能搬到新题上去用。

这套机制最终会跟答案正确性奖励、查询质量奖励拼在一起，构成一个总的复合奖励，再交给GRPO来训练模型。GRPO是一种强化学习优化算法，做法是比较同一批次里不同答题轨迹的相对优劣来更新模型，不必另外训一个单独的价值评估网络。

六种研究操作：把“怎么查资料”拆开来看

前面说出题要覆盖六种研究操作，这里把这六种逐一讲明白，因为它直接决定了论文新建的那两个评测基准在考什么。

头一种是单锚点查找，也最简单：盯住一个视觉目标，去查它的一项外部属性，比如认出某只狗的品种，再查它的原产国。

第二种叫多跳检索，从一个视觉锚点起步，沿着一条关系链一路追下去。举例来说，先认出一个标志的设计者，再查这位设计者的母校，接着查母校所在的城市。

第三种是知识条件计数，得对每个视觉目标挨个核实一项外部条件是否成立，最后清点满足条件的个数。比如判断图中几位摔跤手各自拿过几次冠军赛事的冠军，再数出至少拿过一次的一共有几位。

第四种为多锚点联结，把多个视觉锚点各自查到的事实拼到一起。比如认出两个动漫角色，分别查出他们的生父是谁，再联成一个完整答案。

第五种是多锚点算术，对多个视觉目标查来的数值做计算。比如认出一只宝可梦的初始形态和最终形态，分别查身高，再做减法得出差值。

第六种是多锚点比较，把多个视觉目标查到的同类属性拿来比大小。比如查出视频里两座瞭望塔的高度，看哪座更高。

依托这六种操作，论文搭起了两个新评测基准：面向多图场景的OneSearch-MI-Bench，共301道题；面向视频场景的OneSearch-Video-Bench，共307道题。两个基准最特别的地方在于，题目不是按“视频内容属哪一类”来分的，而是按“这道题要用哪种研究操作”来分。统计下来，除最简单的单锚点查找外，其余五种复合操作占去全部题目的91.3%，多图题目平均每道要用到3.05张图片。

这个思路值得琢磨。以往的视频深度研究基准，多按“这是体育视频”还是“这是新闻视频”来分类统计准确率，这种分法只能告诉你模型在哪类内容上表现好，却说不出问题到底出在“查找”这一环，还是出在“比较”“计算”那一环。换成按操作类型分类，就好比对AI的能力做了一次CT扫描，哪个环节的推理偏弱，能精确定位出来。

数据说话：统一训练到底值不值

设计思路讲了这么多，终究还得落到实际效果上。

论文拿Qwen3-VL-8B当基础模型，先监督微调，再强化学习，训出OneSearch-VL-8B。七个单图深度研究基准上，OneSearch-VL-8B平均得58.3分，比同规模的Qwen3-VL-8B代理版本高出16.3个百分点，也比此前开源最优方法OpenSearch-VL-8B高1.7个百分点；七个基准里有六个，它都拿到了所列方法中的最高分。

多图和视频基准上的涨幅更大。OneSearch-VL-8B在OneSearch-MI-Bench上比Qwen3-VL-8B高20.2个百分点，在OneSearch-Video-Bench上高17.6个百分点，在已有的另一个视频深度研究基准VideoDR上高27.0个百分点。六种操作类型无一例外都有提升：多图场景里，知识条件计数、多锚点算术、多锚点比较分别涨了29.8、26.3、22.5个百分点；视频场景里，多跳检索、多锚点算术、多锚点联结分别涨了25.5、20.0、19.2个百分点。这组数据表明，提升主要落在那些要跨多个视觉锚点做综合推理的复杂操作上，并非只集中在简单的单点查找。

最耐人寻味的是数据混合的消融实验。论文拿纯单图数据、纯多图数据、纯视频数据各训了一个模型，结果单用视频数据训出来的那个平均分55.1，是三者里最高的，而且在三个单图基准上也都有提升。这说明不同视觉输入类型之间的研究轨迹可以互相迁移、互相借鉴，并非各练各的、互不相干。三种数据混在一起联合训练，平均分又进一步升到55.8，在单图基准SimpleVQA、多图基准、视频基准上都拿到了这组对比实验里的最高分。

这好比让孩子同时学画画、写作和音乐。有人会担心精力太散，哪样都学不精。实际情形常常相反：画画练出的观察力让写作描写更细，音乐练出的节奏感让句子更有韵律。几种能力之间有暗藏的共通之处，只盯一件事，反而容易错过这种迁移带来的好处。

只训练单一类型会怎样？论文的数据给了明确答案：单用单图数据训练，平均分只有51.7，比联合训练低4.1个百分点。说白了，不肯接触多元训练数据，模型的能力上限会明显更低。

三篇正文里的推理案例值得细看。第一个案例要求比较一辆蓝色跑车和一个深灰色刹车卡钳背后制造商的成立年份差。模型先裁出跑车尾部，反向图像搜索认出是福特野马；再裁出卡钳上的标志，认出是布雷博；随后分别查两家公司的成立年份，福特1903年，布雷博1961年，做减法得出58年。两个视觉锚点在整个过程中被完全独立处理，各自查证，最后才汇成一个数字，这正是VGEG里"多锚点算术"结构在实际推理中的具体体现。

第二个案例更复杂：判断三张图片里的车，有几款出自大众集团旗下公司。模型先裁出一个车标，认出是宾利，查到宾利确实被大众收购；再分别裁三张图里的车身细节，反向搜索确认三款车都是宾利欧陆系列的不同变体，最后给出答案3款。中间有个细节挺有意思，模型专门去查证"这三款车算不算彼此独立的不同型号"，因为若算作同一款车的三个版本，答案可能就不是3。可见模型的推理不只是查找加拼接，还包含对"计数边界"这类微妙问题的判断。

视频场景的案例同样能说明问题。有个案例要求模型在视频里找到两款玩具弹射枪，查出各自的发售年份，比较哪款更新。模型选中第9帧和第116帧，分别裁剪、反向搜索，认出一款是Commander RD-6，另一款是Recon CS-6，查到的年份分别是2020年和2008年，最终正确给出2020年更晚。查证过程里系统返回的资料其实互相矛盾：关于Commander RD-6的发售年份，三份搜索结果中一份写2015年，另外两份写2020年，模型最终采用多数一致的2020年。这个细节暴露了一个现实问题，互联网上的信息本就存在矛盾和噪声，一个真正可靠的研究代理，不能指望搜到的每条信息都绝对准确，而是要有能力在多个来源之间做交叉验证和取舍。

写在后面

消融实验里 EVGR 那组数字挺值得琢磨：只用答案正确性和查询质量这两项奖励，六个基准平均 57.3 分；把证据追溯和视觉定位加进来，分数升到 61.1。涨了 3.8 个百分点，不算少。它反映的是“答案蒙对了”跟“推理过程真站得住”压根是两码事，中间那道坎肉眼看不见——要是没有专门设计的机制去查，训练时基本不会自己撞上这个问题。

那个高度比较的案例更让人在意。模型最后查到约翰·汉考克中心有三组互相矛盾的高度数据，1128英尺、1499英尺、1127英尺，分别来自不同的检索结果，这些数字里还混淆了"建筑本体高度"和"加上天线的高度"两个不同概念。模型最终选对了官方标准答案1128英尺，可它给出的解释文字里把1506英尺错误地标注成"含天线高度"，这个数字和它自己之前查到的任何一个都对不上。答案对了，推理链条内部也可能藏着没被发现的小毛病，这正是EVGR这类过程监督机制存在的意义：逼着研究者正视"答案对但过程有瑕疵"的灰色地带，而不是被最终得分蒙蔽。

论文里还提到一个此前没想到的局限：这套系统依赖外部搜索工具和实时网页内容，而网页会变化，甚至消失。同一道题目，今天跑出来的证据链和一年后跑出来的可能完全不同。所谓"深度研究"能力的可靠性，某种程度上建立在流动、不稳定的信息海洋之上；这和纯粹依靠模型内部参数记忆的问答方式相比，在可复现性上面临的挑战截然不同。

同一套 AI 得学会看单张照片、翻多图相册、刷视频片段，还得边看边上网查证、来回比对。这些真做成了，离能替人跑调研的助手还差多少？

Q&A

Q1：OneSearch-VL是什么？

A：OneSearch-VL 属于统一的多模态深度研究代理，单张图片、多图集合、视频这三类视觉输入都能接，靠视觉定位、网页检索和事实组合来应对复杂问题。它的训练数据和评估体系，核心是按 VGEG 证据图结构搭起来的。

Q2：VGEG和EVGR分别解决了什么问题？

A：VGEG 是一套统一的证据图结构，把视觉锚点、来源可查的事实和答案推理步骤串在一起，用来造训练数据、也用来验题目的质量。EVGR 则是从 VGEG 衍生出的强化学习奖励机制，查的是模型推理过程扎不扎实，看证据可追溯性和视觉定位这两个维度，而不是只盯最终答案对不对。

Q3：OneSearch-VL的实际效果如何？

A：在七个单图基准上平均得分58.3，超过同规模Qwen3-VL-8B代理版本16.3个百分点；在新建的多图和视频基准上分别领先20.2和17.6个百分点，在VideoDR基准上领先27.0个百分点，复合知识操作类问题提升尤其明显。