Deep Search迎战真实互联网：最强模型准确率为何仅39%？

大语言模型的推理和工具调用能力在提升，Deep Search Agent 已经能自己搜索、自己整合信息。让 Agent 自主规划搜索路径、处理跨多个信息源的复杂问题，这方面的研究也越来越多。

可一旦把 Deep Search 放进现实互联网，研究过程就远没那么简单。

真实网络里的信息散落在不同网站和资源中，可能藏在视频的某一帧、播客的某段对话、学术论文的图表里，也可能在一份得下载才能读的数据文件中。就算找到了相关网站，Agent 往往还得继续操作交互式页面、调整查询参数，才能拿到真正想要的信息。现有多轮检索、跨来源推理、工具调用和网页交互等方向的研究已积累不少进展，相关 Benchmark 也从各自角度评估了这些能力。问题是，多模态信息、异构资源格式与交互式访问需求交织在一起，当前 Agent 端到端的研究能力仍缺少充分评测。

由此引出一个问题：证据的位置和获取方式都不预先给定，AI Agent 能不能自己判断下一步查什么、去哪查、怎么访问和处理，再根据手上的信息调整方向，把不同来源的证据串起来，最终查清一个复杂问题？

香港科技大学（广州）、复旦大学、华盛顿大学、帝国理工大学、斯坦福大学等多家机构的研究团队在论文《Deep Search in Real-World Web Environments》中给出了新的深度搜索任务范式 OpenDS（Open-Web Deep Search），同时构建了面向真实开放网络环境的评测基准 OpenDS-World。

• 论文：Deep Search in Real-World Web Environments
• 论文链接：https://arxiv.org/pdf/2610.30181v1
• GitHub 链接：https://github.com/Yu-xm/OpenDS
• Hugging Face 链接：https://huggingface.co/datasets/Yu2020/OpenDS-World

团队出了 200 道任务，覆盖 4 种模态、42 种资源格式和 7 类证据访问需求。GPT-6 Astra、Claude Opus 5.5、Gemini 3.8 Flash、Qwen3.8 Max、GLM-5.3 Flash、DeepSeek V4.1-Flash、Kimi K3 等 12 个前沿模型拿到的是同一套搜索、浏览器和视频相关工具，每题限 1 小时搜索时间、100 次工具调用，搜索过程由模型自行决定，证据由模型自己串联，答案也由模型给出。

200 道题做下来，最好的 GPT-6 Astra 准确率只有 39%，Claude Opus 5.5 和 Gemini 3.8 Flash 分别为 38.0% 和 36.5%，其余模型都没到 35%。另一组数字反差更大：平均每道题人工标注并审核的来源条目只有 3.94，模型一次搜索尝试却包含几十甚至接近一百次工具调用。失败调用还特别耗时间——GPT-6 Astra 的执行记录里，失败调用只占 6.34%，却吃掉了 42.57% 的工具执行时间。在真实网络中，模型不得不花大量时间找信息源、试不同的访问方式，还要应付搜索途中遇到的失败。

图 1：12 个模型在 OpenDS-World 上的表现。人类成绩来自独立求解实验。

深度搜索到底希望模型完成什么？

查过资料的人都熟悉这个过程：起初只有一个模糊的感兴趣对象，搜到一篇介绍，才知道还要去找哪篇报告，报告里的一张图又把问题引向另一组数据。搜得越深，下一步该做什么才越清楚。

Deep Search 想做的就是让 Agent 自主完成这类搜索。OpenDS 关心的是，这一过程发生在真实开放网络环境中时，Agent 能不能自己发现并访问分散在不同来源里的信息，应对多样的资源格式与交互要求，并用不断到手的新线索决定后面往哪搜。

这种自主决策在实际访问信息时随处可见。找到了相关网站，Agent 常常还要经过好几步操作才能取得目标信息。论文举了一个页面的例子：同一个页面上有文字、地图和图表，也提供 CSV、JSON 和 ZIP 等数据资源。要查某个地区在特定年份的数值，Agent 可能得先选地区、再调时间，然后读图表，或者走数据接口和文件下载获取信

图 2：同一网站可以同时包含文字与图表、多种数据格式，以及参数选择、时间定位和数据查询等操作。

不同信息源对访问和处理的要求也各不相同。视频里的线索要定位到具体片段，论文中的证据可能藏在图表里，数据文件则要找到目标记录和字段。就算存的全是文本数据，HTML、PDF、Parquet 的读取方式也不一样。

论文把这些差异归成三个维度：多样的模态信息（Diverse Modalities）、异构资源格式（Heterogeneous Formats）、交互式证据访问（Interactive Access Requirements）。模态说的是证据以文本、图像、音频还是视频呈现；格式说的是它存在怎样的文件和数据结构里；访问要求说的是取得它需要执行哪些操作。

一次搜索中，这三个维度会以不同形式组合起来。模型从视频里识别出的对象，可以变成检索论文的关键词；论文里的新线索，又可能要转到另一个网站去查。每一步都得把已经拿到的证据用在下一步行动上。

OpenDS 把这一过程定义为具有唯一、可验证答案的事实问答任务。模型拿到问题和初始线索后，要自己发现、访问、处理并关联每一步的证据，最后给出答案。真实开放网络的复杂性就此保留在搜索过程里，重点又有了明确的核验标准。

怎样把真实网络搜索变成一道题？

要让题目从真实开放网络里长出来，既得有靠得住的事实依据，又得逼着模型一步步去查，得先解决两件事：证据链上每个节点以及节点之间的关联都要有真实、可核验的出处；最终问题不能把中间实体或答案直接摆出来，光看题面就能摸到终点。

OpenDS-World 走的是另一条路——先把证据链搭好，再倒过来出题。整个任务构建分成三个阶段。

第一步是定搜索起点（Real-World Anchor）。研究团队从文化、日常生活、科学、经济、历史、自然、社会和技术八个领域挑出 500 个候选视频。标注人员对着连续画面和音频，找出其中指向明确的初始实体，并确认它能唯一对应一个有效的 Wikidata 条目。这里加了一道限制：初始实体只能靠视频里的视听信息判断，不能从视频页面上的文字直接摘出来。这样一来，模型得真看懂视频内容，才能拿到后续任务的起始线索。用于任务的起始视频会归档，作为基准输入提供。

起点定下后，进入开放网络证据扩展（Open-Web Evidence Expansion）阶段。标注人员围绕当前实体构造查询，用 Google Search 在真实网络里找候选信息源，逐个检查内容，再挑出语义关联清楚、可以核验的来源，从里面提取新实体，作为下一步搜索的节点。整个扩展过程看重证据之间的可靠关联。每个新节点虽然出自某个特定来源，但它的有效性要由多个独立来源交叉验证。相邻节点之间的关系也得有明确的事实依据。标注人员还会顾及信息模态、资源格式和访问方式的多样性，让证据路径覆盖真实网络中不同的信息获取需求。这一过程反复进行，直到找到一个唯一、稳定、适合当最终答案的实体。

最后一步是反向构建问题（Question Inversion），到这时候问题才被写出来。研究团队把证据链的终点设为参考答案，再把已经确定的中间实体转成一组互相依赖的间接描述和约束。

比如题目不会直接点出某件博物馆展品的名字，而是要求先看视频确定生物，再找到对应的馆藏，然后从指定展柜里认出目标化石。前一步的发现给后一步留下必要线索，各项约束一层层收窄候选范围，最后共同锁定唯一答案。

图 3 展示的是 OpenDS-World 里的一个实例：视听识别、虚拟旅游导航、文档核查，以及跨多个网络来源的结构化数据检索，被这道题串成了一条线。从起始视频入手，依次经过博物馆虚拟导览、播客、学术论文和结构化数据集等来源，最后锁定 UNESCO 地质公园的唯一编号。

这样设计，模型没法只凭题目里某个直接给出的实体名称去检索最终答案，只能一步步确定中间对象之间的对应关系，在真实网络中展开搜索。

题目构建完成后，研究团队还组织了共 10 名独立审核者，从两个方面验证候选任务：

• 证据有效性（Evidence Validity）：检查初始实体、中间节点、节点之间的关系以及最终答案有没有真实、可核验的依据，并通过多个独立网络来源交叉验证。
• 任务有效性（Task Validity）：检查问题表述是否清楚、各项约束是否准确一致，以及这些约束能不能共同确定唯一的事实答案。

有事实错误、证据不足、约束冲突或答案歧义的候选任务会被剔除，最终留下 200 道任务，每道都有明确的参考答案和可核验的证据路径。

单看一道任务，不算单独提供的起始视频，82.5% 的题目涉及至少两种信息模态，96.0% 涉及至少两种资源格式，95.5% 涉及至少两类访问操作。其中 67.0% 的任务涉及页面或内容跳转，60.0% 涉及资源传输，47.5% 需要时间定位，42.0% 涉及参数化状态更新。同一项研究任务里，模型往往要连续处理不同类型的信息和访问操作。

图 4 呈现 OpenDS-World 在信息模态、资源格式与访问需求上的分布情况。同一任务里可能同时出现不同类别，单独提供的起始视频不计入统计。

人类花了多久？模型又答对多少？

为了摸清从头找出答案到底有多难，团队组织 50 名参与者独立求解。每人分到 20 道题，每道题由 5 人分别尝试，共得到 1,000 次作答。

参与者只拿得到原始视频和题目，不能用 LLM 工具，只能用常规浏览器和搜索，彼此之间也不能交流。对人类测试不设统一的单题时间上限，参与者觉得再往下也难有进展时，可以结束尝试。

这 1,000 次作答累计花掉约 646 小时，其中拿到正确答案的只有 211 次。200 道题里，至少被一人解出的有 115 道；五次独立尝试均未解出的有 85 道；被至少三人答对的仅 29 道。

图 5：人类独立求解的成功情况、耗时和主观难度。中间一图统计每名参与者完成其分配的 20 道题所用的总时间。

研究团队据此划分任务难度：至少两人答对的 54 题为 Low，恰好一人答对的 61 题为 Medium，五人均未答对的 85 题为 High。再按这个分层评价模型的答题能力。

评价模型时用的是统一的 Harness：16 个工具分别提供搜索（Search）、浏览器交互（GUI）以及视频与字幕读取能力（Other），支持网页点击、输入、滚动、截图、下载内容以及视频片段检查。12 个模型配置完全一致，自己选择信息源和操作顺序。

人类作答没有时间上限，模型则不同：搜索时间最多 3,600 秒，工具调用最多 100 次。两个预算只要有一个用完，搜索就停止。如果此时答案还不完整，系统会进入禁用工具的收尾环节，由模型依据已有证据给出作答。作答结束后，Qwen3.8-27B 会对照参考答案核查语义等价性与完整性，评测框架同时记录任务耗时以及 token 消

图 6：12 个参评模型的总体成绩及不同难度下的表现。括号内为答对题数，T 表示纯文本模型。

放到OpenDS-World这个测试里，12款模型的成绩单差距不小：GPT-6 Astra以39.0%的准确率排在首位，Claude Opus 5.5和Gemini 3.8 Flash分别以38.0%、36.5%跟在后面，剩下那些模型的准确率落在12.0%—33.5%这个区间。任务一难，整体表现就往下掉。Low、Medium、High三个难度组上，12款模型的平均准确率依次是39.66%、23.50%、16.76%。各家的强项也在挪位置：低难度组GPT-6 Astra领先，中等难度组它和Claude Opus 5.5并列第一；到了高难度组——五名人类参与者都没能做出来——Gemini 3.8 Flash以28.24%的准确率拿到最高分。

标注的参考路径短，实际搜起来却很长

成绩摆出来之后，更该追问的是：这些题到底卡在哪？前面开篇就提过，平均每道题人工标注并审核的来源条目只有3.94条，可模型跑一次搜索，工具调用动辄几十次，甚至接近一百次。哪怕题目只设了三条标注来源，工具调用的中位数也有74次。

回头再看，OpenDS-World的任务带着很重的长程决策（Long-Horizon Decision-Making）色彩。模型得先从初始视频里认出线索，再靠反复搜索、跨页面跳转、交互式访问和多模态信息处理，一点点把散落在真实网络各处的证据找出来、串起来。同一个来源也未必一步到位：进网站、找入口、设参数、读结果，每一步都在消耗工具调用。路上还会撞见无关的候选来源、做不下去的操作，以及需要折回去核实的线索。于是即便最后只用到少量关键来源，把这些证据发现并拿到手，也可能要折腾大量探索和交互。

研究团队的分析显示，执行长度并不跟着证据链规模单调往上走。标注来源为3条、4条、5条以及至少6条的任务，工具调用中位数分别是74、56、72和82.5次。参考证据链更长，不代表实际搜索就一定要更多操作。

图 7：不同证据链规模对应的工具调用分布，以及各模型的平均执行长度。虚线表示每题平均 3.94 条标注来源记录。

证据链长度说的是答案由哪些材料撑着，搜索轨迹记的则是Agent发现、访问、关联这些信息时走过的探索路程。OpenDS-World把这两样放在一起看，揭出了一种单靠证据链长度或推理跳数很难量准的执行复杂度，也说明长程规划、上下文管理、自适应工具使用在真实网络研究里有多要紧。

时间和工具都花到哪儿去了？

同样的环境里，不同模型投入的搜索精力和工具策略差别很明显。GPT-6 Astra平均每题调用工具51.05次，花掉18.66分钟，准确率39.0%；GPT-5.6 Sol的调用次数跟它差不多，平均只耗8.99分钟，准确率28.0%。Gemini 3.8 Flash的总Token消耗大约是GPT-6 Astra的5.22倍，准确率36.5%。工具调用更多、执行时间更长、Token消耗更高，搜索表现却未必跟着变好。

模型之间的偏好也分得清楚。GPT-5.6 Sol最爱用搜索工具，占它全部调用的74.5%；Claude Opus 5.5和Qwen3.8-Flash更愿意走浏览器交互，GUI调用占比分别是51.5%和49.4%，可两者的准确率差了26个百分点。

图8. 不同模型工具使用分布

研究还注意到，模型的工具调用有明显的同类操作连着跑的现象。比如Gemini 3.8 Flash的Search → Search转移比例达到84.6%，Qwen3.8-Flash的GUI → GUI转移比例达到85%。

图9. 不同模型相邻工具调用之间的类别转移

论文据此指出，工具使用的频率和类别分布，还不足以解释模型之间的性能差。放到真实的Deep Search里，能不能把搜索、网页交互和信息处理协调好，能不能把拿到的证据用足，才是影响任务表现的关键。

失败调用带来的代价

翻执行记录时，团队发现了一笔容易被调用次数盖住的开销：工具失败。各模型失败调用的占比在2.83% ~ 9.42%之间，对应的耗时却占到累计工具执行时间的19.27% ~ 61.90%。拿GPT-6 Astra来说，6.34%的调用失败，吃掉了42.57%的工具执行时间。

这项任务既卡工具调用次数，又卡时间，失败调用哪怕数量不多，高昂的时间损耗也会直接挤掉后面探索的余地。怎么少做无效操作、提高失败后的恢复效率，就成了具体的优化方向。

图10. 模型的失败调用的频率与耗时，以及失败后的下一步选择。

论文还看了模型在工具失败之后怎么决策。大多数模型最常见的选择是直接换工具：Claude Opus 5.5、Gemini 3.8 Flash和GPT-5.6 Sol失败后切换工具的比例分别约为83%、81%和79%；Kimi K3与GLM 5.3更多选择在原工具上改参数重试，比例分别约为38%和37%。

搜索结束了，答案真的查清了吗？

对Deep Search Agent而言，搜索到哪一步该收手，本身就是一个关键判断。它既要赶在预算用完前把研究做完，又得评估手上拿到的信息够不够回答这个问题。

OpenDS-World设定的自然结束标准是：模型交出完整、非空的答案，并且不再请求调用工具。GPT-6 Astra有69.0%的任务能做到自然收尾，可最终准确率只有39.0%。这说明模型能主动喊停，并不代表它手里的证据已经充分且正确。

还有一种情形是模型一直操作到预算见底。Qwen3.8-Flash有80.0%的任务因触及调用上限而终止，DeepSeek-V4.1-Flash为60.5%；GLM-5.3则有41.0%的任务只碰到时间上限，没到工具调用上限。各家模型面对的主要预算约束差别不小。预算耗尽比例相对较低的GPT-6 Astra和Claude Opus 5.5，总体准确率同样没到40%。

就算预算还没用光，结果也不见得更准。GPT-6 Astra和Claude Opus 5.5的预算耗尽比例相对较低，可两者总体准确率都还在40%以下。

图11. 模型终止搜索的原因

由此看来，真实网络深度搜索有两道坎：一是在有限预算里把搜索做完，二是收尾时给出正确答案。光提执行效率不够，信息源怎么挑、证据怎么整合、何时停止搜索，都是提升Agent研究能力的关键环节。

下一步：从搜索经历里持续改进

每完成一次深度搜索，Agent都会留下一条完整的执行轨迹——工具调用、交互反馈、失败操作、资源消耗都在里面。这些来自真实网络环境的反馈，给改进搜索策略提供了具体的研究切口。

论文讨论部分提出，OpenDS-World恰好可以充当研究递归式自我改进（Recursive Self-Improvement，RSI）的天然实验环境。

比如，网页操作反复失败时，Agent能不能从历史轨迹里看出问题所在，进而调整工具选择和恢复策略？再比如，面对长程复杂搜索，它能否归纳出更有效的信息源发现与资源分配办法，在有限预算内拿到更好的结果？

图12. 不同模型的工具调用预算耗尽情况、工具失败率及失败耗时占比，呈现了 Agent 执行策略中潜在的改进空间。

真实互联网里的搜索结果、网页结构和资源状态一直在变。Agent得慢慢摸索出能适配不同信息源、访问机制和任务需求的研究策略，再借新任务里的实际反馈来检验它管不管用。

OpenDS-World把真实开放网络中的复杂搜索任务、可验证的结果反馈和完整执行轨迹拧到一起，为研究Agent的搜索、交互与长程决策优化打下基础。

Agent已经能自己跑完复杂的网络搜索，接下来的问题是怎么在一次次真实交互中积累经验，并把这些经验变成应对新任务时更可靠的本事——这或许正是下一阶段AI Agent要跨过的一道重要门槛。