DeepSearch真实网络评测：最强模型准确率仅39%，OpenDS基准发布

大语言模型在推理和调用工具上的能力持续走强，Deep Search Agent 如今已经能自主搜索、整合信息。不少研究开始让 Agent 自己规划检索路线，去处理那些要跨多个信息源的复杂问题。

可真把 Deep Search 放进现实互联网，研究过程就远没这么简单了。

真实网络里的信息散落在不同站点和资源中：可能藏在视频的某一帧、播客里的一段对话、论文的图表，也可能是一份得先下载才能读的数据文件。就算已经摸到了相关网站，Agent 往往还得继续操作交互式页面、调整查询参数，才能拿到真正想要的内容。

现有的 Deep Search 研究在多轮检索、跨来源推理、工具调用、网页交互等方面都攒下了不少成果，相关 Benchmark 也从各自角度衡量过这些能力。不过，多模态信息、异构资源格式和交互式访问需求搅在一起的真实开放网络，对 Agent 端到端研究能力的评测仍不充分。

问题也就跟着来了：证据藏在哪、怎么拿到，事先都不给，AI Agent 能不能自己判断下一步查什么、去哪儿查、怎么访问和处理，再依据手上信息调整检索方向，把不同来源的证据串起来，最终把一个复杂问题查清楚？

香港科技大学（广州）、复旦大学、华盛顿大学、帝国理工大学、斯坦福大学等多家机构的研究团队，在论文《Deep Search in Real-World Web Environments》里给出了一个新的深度搜索任务范式 OpenDS（Open-Web Deep Search），同时搭起了面向真实开放网络环境的评测基准 OpenDS-World。

• 论文：Deep Search in Real-World Web Environments

• 论文链接：https://arxiv.org/pdf/2610.30181v1

• GitHub 链接：https://github.com/Yu-xm/OpenDS

• Hugging Face 链接：https://huggingface.co/datasets/Yu2020/OpenDS-World

团队一共出了 200 道任务，涉及 4 种模态、42 种资源格式和 7 类证据访问需求。GPT-6 Astra、Claude Opus 5.5、Gemini 3.8 Flash、Qwen3.8 Max、GLM-5.3 Flash、DeepSeek V4.1-Flash、Kimi K3 等 12 个前沿模型拿到的是同一套搜索、浏览器和视频相关工具；每题搜索时间上限 1 小时、工具调用上限 100 次，搜什么、怎么串证据、最后给出什么答案，全由模型自己定。

200 道题跑完，成绩最高的 GPT-6 Astra 准确率只有 39%，Claude Opus 5.5 和 Gemini 3.8 Flash 分别为 38.0% 和 36.5%，其余模型都没到 35%。另一个反差在于：平均每道题人工标注并审核的来源条目仅 3.94 条，模型一次搜索尝试却要发起几十次乃至接近一百次工具调用。失败调用还很吃时间——GPT-6 Astra 的执行记录里，这类调用只占 6.34%，却吃掉了 42.57% 的工具执行时间。放到真实网络里，模型得花大量时间找信息源、试不同的访问方式，还要应付搜索途中冒出来的失败。

图 1：12 个模型在 OpenDS-World 上的表现。人类成绩来自独立求解实验。

在深度搜索中，我们希望模型完成什么？

查过资料的人都有体会：一开始手里只有一个模糊的感兴趣对象，读到一篇介绍，才知道接下来该去找哪份报告；报告里的一张图，又把问题引向另一组数据。搜得越深，下一步要做什么反而越清楚。

Deep Search 想做的，就是让 Agent 自主走完这样一段搜索。OpenDS 关心的是：当这个过程发生在真实开放网络里，Agent 能不能自己发现并访问散落在不同来源的信息，应付各种资源格式和交互要求，再顺着新冒出来的线索决定往哪儿搜。

这种自主决策，在信息访问的实际操作中就能看到。就算相关网站已经找到，Agent 常常还要走好几步才能拿到目标信息。论文举了一个页面作例子：同一页上既有文字、地图和图表，也提供 CSV、JSON、ZIP 等数据资源。想查某个地区在特定年份的数值，Agent 可能得先选地区、再调时间，然后读图表，或者改走数据接口、下载文件来取信息。

图 2：同一网站可以同时包含文字与图表、多种数据格式，以及参数选择、时间定位和数据查询等操作。

不同信息源，访问和处理的要求也各不相同。视频里的线索要定位到具体片段，论文里的证据可能藏在图表中，数据文件则要找到目标记录和字段。哪怕存的全是文本数据，HTML、PDF、Parquet 的读法也不一样。

论文把这些差异拆成三个维度：多样的模态信息（Diverse Modalities）、异构资源格式（Heterogeneous Formats）、交互式证据访问（Interactive Access Requirements）。模态说的是证据以文本、图像、音频还是视频出现；格式说的是它存在什么样的文件和数据结构里；访问要求说的则是要拿到它得做哪些操作。

在实际的一次搜索里，这三个维度往往以不同形式交织出现。模型从视频里认出的对象，可以拿去当检索论文的关键词；论文中出现的新线索，又可能得转到另一个网站继续查。每完成一步，已经拿到的证据都要成为下一步行动的依据。

OpenDS 把这一过程界定为事实问答任务：答案唯一，且可以验证。模型拿到问题和初始线索后，要自己去找、去访问、去处理并串联每一步的证据，最终给出答案。真实开放网络的复杂性因此被保留下来，同时又有明确的核验标准。

怎样把真实网络搜索变成一道题？

想从真实开放网络中造出既有可靠事实依据、又确实需要模型一步步探索才能答出的问题，得先解决两件事：证据链上每个节点以及节点之间的关联，都要有真实、可验证的支撑；最终问题也不能把中间实体或答案直接亮出来，否则模型顺着问题里的线索就能摸到终点。

OpenDS-World 走的是「先搭证据链，再倒推问题」的路子，任务构建被分成三个阶段：

第一步是确定搜索起点（Real-World Anchor）。研究团队从文化、日常生活、科学、经济、历史、自然、社会和技术八个领域挑出 500 个候选视频，标注人员结合连续的画面和音频，找出其中有明确指向的初始实体，并保证它能唯一对应一个有效的 Wikidata 条目。这里还卡了一道特殊限制：初始实体只能靠视频里的视听信息确定，不能直接从视频页面上的文字提取。这样一来，模型必须真正看懂视频内容，才能拿到后续任务的起始线索。用作任务起点的视频会被归档，作为基准输入提供。

起点确认之后，进入开放网络证据扩展（Open-Web Evidence Expansion）阶段。标注人员围绕当前实体构造查询，用 Google Search 搜真实网络中的候选信息源，逐一检查内容，再挑出语义关联明确、可以核验的来源，从里面提取新实体，作为下一步搜索的节点。整个扩展过程特别看重证据之间关联的可靠性。每个新节点虽然出自某个特定来源，但它的有效性要由多个独立来源交叉验证；相邻节点之间的关系同样得有明确的事实依据。标注人员还会兼顾信息模态、资源格式和访问方式的多样性，让证据路径覆盖真实网络中不同的信息获取需求。这个过程反复进行，直到找到一个唯一、稳定、适合当最终答案的实体。

最后一步是反向构建问题（Question Inversion），到这时候问题才被写出来。研究团队把证据链的终点设为参考答案，再把已经确定的中间实体转化成一组彼此依赖的间接描述和约束。

举例来说，题目不会直接给出某件博物馆展品的名称，而是要求先根据视频确定生物，再找到对应的馆藏，并从指定展柜中认出目标化石。前一步的发现给后一步提供必要线索，各项约束一层层缩小候选范围，最终共同锁定唯一答案。

图 3 展示了 OpenDS-World 里的一个案例：该任务需要串联视听识别、虚拟旅游导航、文档核查，以及跨多个网络来源的结构化数据检索。从初始视频入手，依次经过博物馆虚拟导览、播客、学术论文和结构化数据集等来源，最后锁定 UNESCO 地质公园的唯一编号。

如此设计，模型没法只靠题目里某个直接给出的实体名称去检索最终答案，只能一步步确定中间对象之间的对应关系，在真实网络中展开搜索。

题目搭建完成后，研究团队另外找来 10 名独立审核者，从两个方向对候选任务逐一核验：

• 一是看证据是否站得住脚（Evidence Validity）：初始实体、中间节点、节点间的关联以及最后给出的答案，都得有真实、可查的依据，并且要拿多个彼此独立的网络来源做交叉比对。

• 二是看任务本身是否成立（Task Validity）：问题写得清不清楚，各项约束准不准、彼此是否一致，以及这些约束合在一起能不能锁定唯一的事实答案。

凡是有事实错误、证据不够、约束相互冲突或答案存在歧义的候选任务，都会被拿掉。经过这一轮筛选，剩下 200 道题，每道都配有明确的参考答案和可核验的证据路径。

具体到单道任务，如果不算另外单独给出的起始视频，82.5% 的题目要用到至少两种信息模态，96.0% 涉及至少两种资源格式，95.5% 涉及至少两类访问操作。再往下细分，67.0% 的任务需要做页面或内容跳转，60.0% 涉及资源传输，47.5% 要求定位时间点，42.0% 涉及参数化状态更新。也就是说，模型在做同一项研究任务时，常常得接连处理不同种类的信息和访问操作。

图 4 展示 OpenDS-World 在信息模态、资源格式和访问需求上的分布情况。各类别可能在同一任务里同时出现，统计时未把单独给出的起始视频计入。

人类花了多久？模型又答对多少？

从头把答案找出来到底有多难？团队拉了 50 名参与者各自独立求解，每人分到 20 道题，每道题由 5 个人分别尝试，加起来共 1,000 次作答。

参与者手里只有原始视频和题目，不许借助 LLM 工具，只能用常规浏览器和搜索，彼此之间也不能交流。针对人类的测试没有统一的单题时间上限，参与者觉得自己再也推进不下去时，可以随时结束尝试。

这 1,000 次作答累计投入约 646 小时，最后只有 211 次答对。200 道题里，至少被一人解出的只有 115 道，另有 85 道在五次独立尝试中都没被解出；被至少三人答对的题目仅 29 道。

图 5：人类独立求解的成功情况、耗时和主观难度。中间一图统计每名参与者完成其分配的 20 道题所用的总时间。

团队按人类答题结果给任务分了档：至少两人答对的 54 道算 Low，只有一人答对的 61 道算 Medium，五个人都没答对的 85 道算 High。模型的能力就按这个分层来评。

模型这边用的是同一套 Harness。16 个工具负责搜索（Search）、浏览器交互（GUI），以及读取视频和字幕（Other），能完成网页点击、输入、滚动、截图、下载内容、检查视频片段这些操作。12 个模型配置完全一样，信息源和操作顺序都由自己定。

人类作答不限时，模型则被卡在最多 3,600 秒搜索时间、100 次工具调用，哪个先用完就停止搜索。如果这时答案还没成形，系统就进入禁用工具的收尾环节，让模型凭已有证据作答。答完之后，由 Qwen3.8-27B 对照参考答案检查语义是否等价、内容是否完整，评测框架同时记录任务耗时和 token 消

图 6：12 个参评模型的总体成绩及不同难度下的表现。括号内为答对题数，T 表示纯文本模型。

放到一起看，12 个模型在 OpenDS-World 上的差距还不小。GPT-6 Astra 以 39.0% 的准确率排第一，Claude Opus 5.5 和 Gemini 3.8 Flash 跟在后面，分别是 38.0% 和 36.5%，剩下模型的准确率落在 12.0%—33.5% 这个区间。

任务一难，模型的表现就往下掉。Low、Medium、High 三个难度组上，12 个模型的平均准确率分别是 39.66%、23.50% 和 16.76%。各家擅长的档位也不一样：低难度组 GPT-6 Astra 领先，中等难度组它和 Claude Opus 5.5 并列第一；到了五名人类参与者都没解出来的高难度组，最高分换成了 Gemini 3.8 Flash，准确率 28.24%。

参考路径很短，实际搜索很长

成绩有了，接下来要追问的是：这些任务到底难在哪？

开头就提过，平均每道题人工标注并审核的来源条目只有 3.94 条，可模型跑一次搜索，工具调用动辄几十次，甚至接近一百次。就算题目只标了三条来源，工具调用的中位数也有 74 次。

回头再看，OpenDS-World 的任务带着明显的长程决策（Long-Horizon Decision-Making）特征。模型得先从初始视频里认出线索，再靠反复搜索、跨页面跳转、交互式访问和多模态信息处理，一点点把散落在真实网络里的证据找出来、串起来。同一个来源往往也要分几步走：进网站、找入口、设参数、读结果，每一步都算工具调用。路上还会碰上不相关的候选来源、做不完的操作，以及得回头再核对的线索。结果就是，哪怕最后只用到少量关键来源，发现和拿到这些证据也可能要大量探索和交互。

团队分析后发现，执行长度并不随证据链规模单调上升。标注来源为 3 条、4 条、5 条以及至少 6 条的任务，工具调用中位数分别是 74、56、72 和 82.5 次。参考证据链更长，不代表实际搜索就一定要更多操作

图 7：不同证据链规模对应的工具调用分布，以及各模型的平均执行长度。虚线表示每题平均 3.94 条标注来源记录。

证据链长度说明的是答案由哪些材料支撑，搜索轨迹记录的则是 Agent 发现、访问并关联这些信息时走过的探索路径。OpenDS-World 把这两者放在一起分析，结果显示，光看证据链长短或者推理跳数，很难完整衡量执行复杂度；长程规划、上下文管理、自适应使用工具，在真实网络研究里同样关键。

时间和工具用在了哪里？

同样的环境下，不同模型在搜索投入和工具策略上差别明显。GPT-6 Astra 平均每题调用工具 51.05 次，耗时 18.66 分钟，准确率 39.0%；GPT-5.6 Sol 调用次数与之相近，平均耗时只有 8.99 分钟，准确率 28.0%。Gemini 3.8 Flash 的总 Token 消耗约为 GPT-6 Astra 的 5.22 倍，准确率 36.5%。工具调得更多、跑得更久、Token 花得更多，搜索表现未必就更好。

模型之间的偏好差异也很突出。GPT-5.6 Sol 最爱用搜索工具，这类调用占其全部调用的 74.5%；Claude Opus 5.5 和 Qwen3.8-Flash 更偏向浏览器交互，GUI 调用占比分别为 51.5% 和 49.4%，可两者的准确率差距达到 26 个百分点。

图8. 不同模型工具使用分布

研究还观察到，模型调用工具时存在明显的同类操作连续执行现象。Gemini 3.8 Flash 的 Search → Search 转移比例达到 84.6%，Qwen3.8-Flash 的 GUI → GUI 转移比例达到 85%。图9. 不同模型相邻工具调用之间的类别转移

论文依据这些结果指出，工具使用的频率和类别分布，并不能充分解释模型之间的性能差异。在真实的 Deep Search 里，能否有效协调搜索、网页交互与信息处理，并把拿到的证据用足，才是影响任务表现的关键。

失败调用带来的隐性开销

翻看执行记录，团队注意到一项常被调用次数盖住的花费：工具失败。

从各模型看，失败调用占比在2.83% ~ 9.42%之间，可这些失败对应的耗时却占到累计工具执行时间的19.27% ~ 61.90%。GPT-6 Astra 就是例子：6.34% 的调用失败，占用了42.57% 的工具执行时间。

这项任务既限定工具调用次数，也限定时间。失败次数不多，时间上的高损耗照样会挤掉后面探索的余地。怎么减少无效操作、让失败后恢复得更快，就成了具体的优化方向。

图10. 模型的失败调用的频率与耗时，以及失败后的下一步选择。

论文还考察了工具失败之后模型怎么选。多数模型最常见做法是直接换工具：Claude Opus 5.5、Gemini 3.8 Flash 和 GPT-5.6 Sol 失败后切换工具的比例分别约为 83%、81% 和 79%。Kimi K3 与 GLM 5.3 更倾向于留在同一工具上改参数重试，比例分别约为 38% 和 37%。

搜索收尾时，信息真的够了吗？

对 Deep Search Agent 而言，何时收手同样是个关键决定。模型得在有限预算里把研究做完，还得判断手上信息够不够回答问题。

OpenDS-World 的判定是：模型提交完整、非空答案，并且不再请求工具，才算自然结束。GPT-6 Astra 有69.0%的任务能自然收尾，最终准确率却只有39.0%。能主动停下搜索，不等于已经拿到充分且正确的证据。

另一种情形是模型一直操作到预算用尽。Qwen3.8-Flash 有80.0%的任务因触达调用上限而终止，DeepSeek-V4.1-Flash 为60.5%；GLM-5.3 则有41.0%的任务只碰到时间上限，没到工具调用上限。各模型面对的主要预算约束差别明显。

预算耗尽比例相对较低的 GPT-6 Astra 和 Claude Opus 5.5，总体准确率也仍在40%以下。

图11. 模型终止搜索的原因

OpenDS-World 由此点出真实网络深度搜索的两道难关：一是在有限预算内把搜索做完，二是收尾时给出正确答案。除了提升执行效率，选对信息源、把证据整合起来、判断何时停止搜索，同样是磨练 Agent 研究能力的关键方向。

下一步，从搜索经历中不断改进

一轮深度搜索跑完，Agent 会留下完整的执行轨迹，其中包含工具调用、交互反馈、失败操作和资源消耗。这些反馈来自真实网络环境，为改进 Agent 的搜索策略留下了具体的研究切口。

论文讨论部分提出，OpenDS-World 能成为研究递归式自我改进（Recursive Self-Improvement，RSI）的天然实验环境。

比如网页操作反复失败时，Agent 能不能从历史轨迹里看出问题所在，进而调整工具选择与恢复策略？碰上复杂的长程搜索任务，它又能不能归纳出更管用的信息源发现和资源分配办法，在有限预算内拿到更好的结果？

图12. 不同模型的工具调用预算耗尽情况、工具失败率及失败耗时占比，呈现了 Agent 执行策略中潜在的改进空间。

真实互联网里的搜索结果、网页结构和资源状态一直在变。Agent 得一步步形成能适配不同信息源、访问机制和任务需求的研究策略，再借新任务中的实际反馈检验它是否管用。

OpenDS-World 把真实开放网络中的复杂搜索任务、可验证的结果反馈和完整的执行轨迹捏到一起，为研究 Agent 的搜索、交互与长程决策优化打下基础。

Agent 已经能独立开展复杂网络搜索，接下来怎样在一次次真实交互中积累，把这些经验变成应对新任务时更可靠的能力，或许正是下一阶段 AI Agent 要跨过的重要门槛。