Cloudflare上线Web Search API:AI代理实时搜索,费用并入AI Gateway
最近,Cloudflare 通过 AI Gateway 推出了一款测试版的 Web Search API。
Cloudflare 近日在 AI Gateway 上线了 Web Search API 的测试版。访问方式有两种,REST API 和 Cloudflare Workers;日志记录、访问控制与计费都归到同一套体系里,同时允许用户自带提供商密钥。
借助这个统一接口,AI 代理能实时拿到 Ceramic.ai、Exa、Linkup 的网页搜索结果。搜索产生的费用也并入 AI
Gateway 结算,搜索请求和模型推理可以一起记录;服务提供商须满足经过验证的机器人要求,并在结果里给出源链接。
有了它,AI 应用就能取回最新的网络内容——新近的新闻、API 变动、技术文档都在范围内——推理时再把这些内容当作上下文喂给语言模型。Cloudflare 集团产品经理 Michelle Chen、高级总监 Sam Else 和高级系统工程师 Gabriel Massadas 说明了他们想要解决的问题:
代理需要实时抓取网页时,往往先自行猜一个 URL,再调用工具用 curl 去抓。404 未找到就这样冒出来了,多数情况是猜错了地址。随机猜 URL 显然谈不上高效。
应用和外部服务要调用网络搜索,只需带上 AI Gateway 身份验证令牌,并在请求负载中写明搜索提供商,就能通过 REST 端点拿到结果。Chen、Else 与 Massadas 又补充道:
搜索提供商所用的爬虫,必须满足 Cloudflare 开发者文档中列明的“已验证机器人”公开要求;搜索响应里也必须附上被爬取内容的链接。他们称,这些规则对建设公平的互联网有正面作用,内容创作者也能自行决定自己的数据怎么处理。
在 Hacker News 的一个热帖里,社区成员围绕搜索质量、数据保留限制,以及统一 API 相对现有方案有没有实质优势展开了讨论。Simon Willison 写道:
对搜索 API,我首先想问的是:允不允许把拿到的结果存下来再发布?要是我在跑一个代理系统,却不准保存响应,连“分享对话记录”按钮都不能提供,那限制就太大了。可这个答案,常常藏在服务条款的字缝里。
Erato Labs 首席技术官兼联合创始人 Maximilian Goisser 指出:
我的看法是,对已经在用 Cloudflare 的企业来说,它正慢慢变成可信赖的主要云服务商——这个位置以前通常属于 AWS、GCP 或 Azure。企业的大部分云开销会从这个平台走账,也用不着重新走一遍采购流程。
Cloudflare 表示,会筛出支持“零数据保留”的供应商,搜索服务按供应商标价提供,不另外加价。公司还打算给 AI Gateway 加上原生服务器工具,第一步就是 Web 搜索。在这之前,开发者可以用 Cloudflare Workers 把 Web 搜索接进自己的工作流。