Deep Search实测：GPT-6 Astra最高仅39%，真实网络难在哪

大语言模型在推理和调用工具上的能力持续走强，Deep Search Agent 如今已能自主搜索、整合信息。不少研究开始让 Agent 自己规划检索路线，去处理那些要跨多个信息源的复杂问题。

不过，一旦把 Deep Search 放进真实的互联网，研究过程就没那么简单了。

真实网络里的信息散落在不同站点和资源中：可能藏在视频的某一帧、播客的一段对话、论文的图表里，也可能在一份得下载才能读的数据文件中。就算已经找到相关网站，Agent 往往还得继续操作交互式页面、调整查询参数，才拿得到真正想要的内容。

现有的 Deep Search 研究在多轮检索、跨来源推理、工具调用、网页交互等方面已积累不少成果，相关 Benchmark 也从不同角度考察了这些能力。问题是，真实开放网络把多模态信息、异构资源格式和交互式访问需求搅在一起，当前 Agent 的端到端研究能力仍缺少充分评测。

这就引出另一个问题：当证据的位置和获取方式都不事先给定，AI Agent 能不能自己判断下一步查什么、去哪里查、怎么访问和处理，并根据已有信息调整搜索方向，把不同来源的证据串起来，最终查清一个复杂问题？

围绕这个问题，香港科技大学（广州）、复旦大学、华盛顿大学、帝国理工大学、斯坦福大学等多家机构的研究团队，在论文《Deep Search in Real-World Web Environments》中提出了新的深度搜索任务范式 OpenDS（Open-Web Deep Search），并构建了面向真实开放网络环境的评测基准 OpenDS-World。

• 论文：Deep Search in Real-World Web Environments

• 论文链接：https://arxiv.org/pdf/2610.30181v1

• GitHub 链接：https://github.com/Yu-xm/OpenDS

• Hugging Face 链接：https://huggingface.co/datasets/Yu2020/OpenDS-World

团队一共构建了 200 道任务，覆盖 4 种模态、42 种资源格式和 7 类证据访问需求。GPT-6 Astra、Claude Opus 5.5、Gemini 3.8 Flash、Qwen3.8 Max、GLM-5.3 Flash、DeepSeek V4.1-Flash、Kimi K3 等 12 个前沿模型拿到的是同一套搜索、浏览器和视频相关工具，每题限 1 小时搜索时间、100 次工具调用，搜索过程由模型自己决定，证据由它们自己串联，最后给出答案。

200 道题做下来，成绩最好的 GPT-6 Astra 准确率只有 39%，Claude Opus 5.5 和 Gemini 3.8 Flash 分别拿到 38.0% 和 36.5%，其余模型都没到 35%。

还有个现象：平均每道题人工标注并审核的来源条目只有 3.94，模型一次搜索尝试却包含几十甚至接近一百次工具调用。搜索失败也很耗时间——GPT-6 Astra 的执行记录里，失败调用只占 6.34%，却吃掉了 42.57% 的工具执行时间。在真实网络中，模型得花大量时间去寻找信息源、尝试不同的访问方式，还要应付搜索过程中遇到的失败。

图 1：12 个模型在 OpenDS-World 上的表现。人类成绩来自独立求解实验。

深度搜索到底要让模型做成什么事？

用过搜索引擎找材料的人大概都经历过这种路径：一开始手里只有一个模糊的对象，翻到一篇介绍文章，才发现接下来该去找哪份报告；报告里的一张图，又把人引向另一组数据。搜得越深，下一步要干什么反而才逐渐清楚。

Deep Search 想做的，就是让 Agent 自己走完这样一段搜索。OpenDS 关心的问题在于：当这个过程放到真实开放的网络里，Agent 能不能自己发现并访问散落在不同来源的信息，应付各种资源格式和交互要求，再靠一路上新拿到的线索判断接下来往哪儿搜。

这种自主决策，在真正查信息的时候就体现得很具体。哪怕已经找到相关网站，Agent 常常还得连着操作好几步才能拿到目标信息。论文举了一个页面作例子：同一个页面上，文字、地图、图表都有，另外还提供 CSV、JSON 和 ZIP 等数据资源。要查某个地区在某一年份的数值，Agent 可能得先选地区、再调时间，然后读图表，或者走数据接口、下载文件来取数。

图 2：同一个网站里可以同时有文字和图表、多种数据格式，还有参数选择、时间定位、数据查询这些操作。

不同的信息源，访问和处理的要求也各不相同。视频里的线索要定位到具体片段，论文中的证据可能藏在图表里，数据文件则要找到目标记录和字段。就算存的都是文本数据，HTML、PDF、Parquet 的读法也不一样。

论文把这些差异归成三个维度：多样的模态信息（Diverse Modalities）、异构资源格式（Heterogeneous Formats）、交互式证据访问（Interactive Access Requirements）。模态说的是证据以文本、图像、音频还是视频的形式出现；格式说的是它存放在什么样的文件和数据结构里；访问要求说的則是拿到它需要做哪些操作。

在一次搜索里，这三个维度会以不同方式叠在一起。模型从视频里认出来的对象，可以拿去当检索论文的关键词；论文里的新线索，又可能得跑到另一个网站上去查。每一步都得把已经到手的证据用到下一步行动上。

OpenDS 把这一过程定义成有唯一、可验证答案的事实问答任务。模型拿到问题和初始线索之后，要自己去发现、访问、处理并关联每一步的证据，最后给出答案。这样，搜索过程里真实开放网络的复杂性被保留了下来，核验标准又是明确的。

真实的网络搜索，怎么变成一道题？

要从真实开放网络里造出这样的问题——既有可靠的事实依据，又确实需要模型一步步探索才能答出来——得先解决两件事：证据链上的每个节点以及节点之间的关联，都必须有真实、可验证的依据；最终问题不能把中间实体或答案直接露出来，让模型光靠问题里的线索就能摸到终点。

OpenDS-World 走的是「先构建证据链，再反向生成问题」的路子，任务构建分成三个阶段：

搜索起点怎么定，是第一道关。研究团队从文化、日常生活、科学、经济、历史、自然、社会、技术八个领域挑出 500 个候选视频。标注人员把连续画面和音频放在一起看，从中找出指向明确的初始实体，并保证它能唯一对应一个有效的 Wikidata 条目。这里有个硬性限制：初始实体只能靠视频里的视听信息确认，不能直接从视频页面的文字中提取。这样一来，模型必须先看懂视频内容，才能拿到后续任务的起始线索。用于任务的起始视频会被归档，作为基准输入提供。

起点确认之后，进入开放网络证据扩展阶段。标注人员围绕当前实体构造查询，用 Google Search 在真实网络中搜索候选信息源，逐个检查内容，再挑出语义关联明确、可以核验的来源，从中提取新实体，作为下一步搜索的节点。整个扩展过程看重证据之间的可靠关联。每个新节点虽然来自某个特定来源，但其有效性要经过多个独立来源交叉验证。相邻节点之间的关系也必须有明确的事实依据。标注人员同时会考虑信息模态、资源格式和访问方式的多样性，让证据路径能覆盖真实网络中不同的信息获取需求。这一过程反复进行，直到找到一个唯一、稳定、适合作为最终答案的实体。

问题直到最后才写出来，这一步叫反向构建问题。研究团队把证据链的终点设为参考答案，再把确定的中间实体转化成一整套互相依赖的间接描述和约束。

拿一道题来说，展品的名字并不会直接摆出来。得先从视频里判断出是哪种生物，接着去找对应的馆藏，再到指定的展柜里把目标化石认出来。前面这一步的发现，给后面那一步留下必要线索；一道道约束把候选范围越收越窄，最后才锁定唯一答案。

图 3：OpenDS-World 里的一个样例。该问题把视听识别、虚拟旅游导航、文档核查以及跨多个网络来源的结构化数据检索串在了一起。起点是一段初始视频，中途经过博物馆虚拟导览、播客、学术论文、结构化数据集等来源，最终敲定 UNESCO 地质公园的唯一编号。

按这种设计，模型没法只凭题目里直接给出的某个实体名称就检索到最终答案，只能一步步确定中间对象之间的对应关系，在真实网络中展开搜索。

题目构建完成后，研究团队还安排了共 10 名独立审核者，从两方面验证候选任务：

• 证据有效性：核对初始实体、中间节点、节点之间的关系及最终答案是否有真实、可核验的依据，并通过多个独立网络来源交叉验证。

• 任务有效性：核对问题表述是否清晰、各项约束是否准确一致，以及这些约束能否共同确定唯一的事实答案。

事实有错、证据不足、约束冲突或答案有歧义的候选任务会被剔除，最后留下 200 道任务，每道都有明确参考答案和可核验的证据路径。

单看一道任务，不把单独提供的起始视频算进去，82.5% 的题目涉及至少两种信息模态，96.0% 涉及至少两种资源格式，95.5% 涉及至少两类访问操作。其中 67.0% 的任务涉及页面或内容跳转，60.0% 涉及资源传输，47.5% 需要时间定位，42.0% 涉及参数化状态更新。同一项研究任务里，模型往往要连续处理不同类型的信息与访问操作。

图 4：OpenDS-World 中各信息模态、资源格式与访问需求的分布情况。同一任务里可能同时出现不同类别，统计时未计入单独给出的起始视频。

人类花了多久？模型又答对多少？

为了摸清从零开始找答案到底有多难，团队找了50名参与者各自独立作答。每人分到20道题，每道题由5个人分别上手，合计得到1,000次作答。

这些人拿到的只有原始视频和题目，不许用LLM工具，只能用普通浏览器和搜索，彼此之间也不能通气。人类测试没有统一的单题时间上限，参与者觉得再查下去也不会有进展，就可以收手。1,000次作答总计投入约646小时，最后只有211次答对。200道题里，至少被一人解出的只有115道，有85道在五次独立尝试中都没被解出；被至少三人答对的只有29道。

图 5：人类独立求解的成功情况、耗时和主观难度。中间一图统计每名参与者完成其分配的 20 道题所用的总时间。

团队按此给任务分了难度档：至少两人答对的54题算Low，恰好一人答对的61题算Medium，五人都没答对的85题算High。模型的能力就按这个分层来评。

评模型用的是同一套Harness：16个工具分别提供搜索（Search）、浏览器交互（GUI）以及视频与字幕读取（Other）能力，能完成网页点击、输入、滚动、截图、下载内容以及视频片段检查。12个模型配置完全一致，信息源和操作顺序由它们自己定。

人类作答不限时，模型则被卡了预算：最多3,600秒搜索时间、100次工具调用，任一耗尽就停止搜索。要是答案还没成形，系统会进入禁用工具的收尾阶段，让模型凭已有证据作答。答完之后，由Qwen3.8-27B对照参考答案检查语义等价性与完整性，评测框架同时记录任务耗时以及 token 消

图 6：12 个参评模型的总体成绩及不同难度下的表现。括号内为答对题数，T 表示纯文本模型。

放到整体上看，12个模型在OpenDS-World上的差距还不小。GPT-6 Astra以39.0%的准确率排在第一，Claude Opus 5.5和Gemini 3.8 Flash跟在后面，分别是38.0%和36.5%，其余模型的准确率落在12.0%—33.5%之间。

任务一难，模型的表现就往下掉。Low、Medium、High三个难度组上，12个模型的平均准确率依次是39.66%、23.50%和16.76%。各家的强项也不一样：低难度组GPT-6 Astra领先，中等难度组它与Claude Opus 5.5并列第一；到了五名人类参与者都没解出的高难度组，最高的是Gemini 3.8 Flash，准确率28.24%。

参考路径很短，实际搜索很长

成绩摆出来了，接下来要细究的是：这些任务究竟难在哪？

开头提过的那组数字值得再摆一次：平均每道题人工标注并审核的来源条目只有3.94条，可模型跑一次搜索，工具调用动辄几十次，多的接近一百次。即便任务只设了三条标注来源，工具调用的中位数也有74次。

回过头看，OpenDS-World 里的任务带有很强的长程决策（Long-Horizon Decision-Making）色彩。模型得先从初始视频里找出线索，再靠反复搜索、跨页面跳转、交互式访问和多模态信息处理，把散落在真实网络各处的证据一点点找出来并串起来。同一个来源往往也要分几步走：进站、找入口、设参数、读结果，每一步都算工具调用。路上还会碰上不相干的候选来源、做不下去的操作，以及需要折回去核实的线索。结果就是，关键来源虽少，真要把这些证据发现并拿到手，探索和交互的量可能相当大。

团队分析时注意到，执行长度并没有随证据链规模单调上升。标注来源为3条、4条、5条以及至少6条的任务，工具调用中位数分别是74、56、72和82.5次。参考证据链更长，不代表实际搜索就一定要更多操作。

图 7：不同证据链规模对应的工具调用分布，以及各模型的平均执行长度。虚线表示每题平均 3.94 条标注来源记录。

证据链长度说的是答案由哪些材料支撑，搜索轨迹记的则是 Agent 发现、访问并关联这些信息时走过的探索路径。OpenDS-World 把两者放在一起分析，暴露出一种单看证据链长度或推理跳数很难衡量的执行复杂度，也说明长程规划、上下文管理、自适应地使用工具，在真实网络研究里有多重要。

时间和工具用在了哪里？

同样的环境下，各模型在搜索投入和工具使用策略上差别不小。

GPT-6 Astra 平均每题调用工具51.05次，耗时18.66分钟，准确率39.0%；GPT-5.6 Sol 的调用次数跟它差不多，平均只花8.99分钟，准确率28.0%。Gemini 3.8 Flash 的总 Token 消耗约为 GPT-6 Astra 的5.22倍，准确率36.5%。工具调得更多、跑得更久、Token 烧得更多，搜索表现未必就更好。

模型之间的偏好差异也很清楚。GPT-5.6 Sol 最爱用搜索工具，占其全部调用的74.5%；Claude Opus 5.5 和 Qwen3.8-Flash 更倚重浏览器交互，GUI 调用占比分别是51.5%和49.4%，可两者的准确率差了26个百分点。

图8. 不同模型工具使用分布

研究还观察到，模型调用工具时有明显的同类操作连续执行现象。比如 Gemini 3.8 Flash 的 Search → Search 转移比例达到84.6%，Qwen3.8-Flash 的 GUI → GUI 转移比例则达到85%。

图9. 不同模型相邻工具调用之间的类别转移

论文据此得出结论：工具用得多不多、类别怎么分布，都解释不了模型之间的性能差距。真正拉开差距的，是在真实的 Deep Search 里把搜索、网页交互和信息处理协调好，并把拿到的证据用足。

失败调用带来的代价

翻执行记录还能看到一项开销，它容易被调用次数遮住，那就是工具失败。各模型的失败调用占比在2.83% ~ 9.42%之间，可这些失败调用吃掉的耗时，占到累计工具执行时间的19.27% ~ 61.90%。GPT-6 Astra 就是例子：6.34% 的调用失败，占用了42.57% 的工具执行时间。

这项任务不只卡工具调用次数，还卡时间。失败调用哪怕次数不多，高昂的时间损耗也会直接挤掉后面探索的余地。怎么少做无效操作、失败后更快恢复，就成了具体的优化方向。

图10. 模型的失败调用的频率与耗时，以及失败后的下一步选择。

论文还看了模型在工具失败之后怎么决策。多数模型最常见的做法是直接换工具：Claude Opus 5.5、Gemini 3.8 Flash 和 GPT-5.6 Sol 失败后切换工具的比例分别约为 83%、81% 和 79%。Kimi K3 与 GLM 5.3 更倾向于留在同一工具上改参数重试，比例分别约为 38% 和 37%。

搜索收尾时，信息真的查全了吗？

对 Deep Search Agent 来说，何时收手同样是个重要决定：既要在有限预算内把研究做完，又要判断手上的信息够不够回答问题。OpenDS-World 把模型提交完整、非空答案且不再请求工具视为自然结束。GPT-6 Astra 有69.0%的任务能自然结束搜索阶段，最终准确率却只有39.0%。能主动结束搜索，不等于已经拿到了充分且正确的证据。

另一种情形是模型一直操作到预算耗尽。Qwen3.8-Flash 有80.0%的任务因触达调用上限而终止，DeepSeek-V4.1-Flash 为60.5%；GLM-5.3 则有41.0%的任务只碰到时间上限，没到工具调用上限。各模型面对的主要预算限制，差别也很明显。

预算耗尽比例相对较低的 GPT-6 Astra 和 Claude Opus 5.5，总体准确率同样不到40%。图11. 模型终止搜索的原因

OpenDS-World 由此点出了真实网络深度搜索的两项核心难题：一是在有限预算内把搜索做完，二是在搜索收尾时交出正确答案。除了提升执行效率，选对信息源、整合证据、决定何时停止搜索，同样是增强 Agent 研究能力的关键方向。

下一步：从搜索经历中持续改进

Agent 的每次深度搜索都会生成一条完整执行轨迹，工具调用、交互反馈、失败操作、资源消耗全在里头。真实网络环境给出的这些反馈，正好成了改进其搜索策略的具体研究切入点。

论文在讨论部分提出，OpenDS-World 有望成为研究递归式自我改进（Recursive Self-Improvement，RSI）的天然实验环境。

比如，当网页操作反复失败时，Agent 能不能从历史轨迹里找出问题所在，进而调整工具选择和恢复策略？面对复杂的长程搜索任务，它又能否总结出更管用的信息源发现与资源分配方法，在有限预算内拿到更好的结果？

图12. 不同模型的工具调用预算耗尽情况、工具失败率及失败耗时占比，呈现了 Agent 执行策略中潜在的改进空间。

真实互联网里的搜索结果、网页结构和资源状态一直在变。Agent 需要逐步形成一套能适应不同信息源、访问机制和任务需求的研究策略，再通过新任务中的实际反馈来检验这套策略是否有效。

OpenDS-World 把真实开放网络中的复杂搜索任务、可验证的结果反馈和完整的执行轨迹结合在一起，为研究 Agent 的搜索、交互与长程决策优化打下基础。

Agent 已经能独立完成复杂的网络搜索，接下来怎样在一次次真实交互中积累经验，并把这些经验变成应对新任务时更可靠的能力，或许正是下一阶段 AI Agent 要跨过的一道重要门槛。