Cloudflare推Web Search API,给AI代理实时联网搜索能力
最近,Cloudflare 通过 AI Gateway 推出了一款测试版的 Web Search API。该 API 可以通过 REST API 和 Cloudflare Workers 访问,提供统一的日志记录、访问控制和计费功能,并支持自带提供商密钥。 该 API 使 AI 代理能够从 Ceramic.ai、Exa
最近
Cloudflare在AI Gateway下上线了一款测试版Web Search API。开发者通过REST API和Cloudflare Workers都能调用它,统一的日志记录、访问控制与计费一并提供,也支持自带提供商密钥。
借助这个API,AI代理可以实时拿到Ceramic.ai、Exa和Linkup的网页搜索结果。接口是统一的,搜索计费与AI Gateway打通,搜索请求和模型推理能同时记录下来;同时它要求服务提供商遵守经过验证的机器人要求,并返回来源链接。
Cloudflare的Web Search API让AI应用能检索最新网络内容——近期新闻、API变更、技术文档都算,推理时再把这些结果当作上下文喂给语言模型。Cloudflare集团产品经理Michelle Chen、高级总监Sam Else以及高级系统工程师Gabriel Massadas解释了公司想解决的难题:
代理需要实时抓网页时,往往先去猜URL,再调工具用curl抓。结果有时会撞上404未找到,多半就是URL猜错了。总靠随机猜URL,效率显然高不到哪去。
应用和外部服务要调网络搜索,可以提交AI Gateway身份验证令牌,并在请求负载里指定搜索提供商,通过REST端点拿到搜索结果。Chen、Else和Massadas补充说:
网络搜索提供商用的爬虫,必须满足Cloudflare在开发者文档中写明的“已验证机器人”公开要求;搜索响应里也得带上指向已爬取内容的链接。这些规则对建一个公平的互联网是好事,内容创作者也能自己决定数据怎么处理。
Hacker News上一个热帖里,社区成员聊了搜索质量、数据保留限制,还有统一API比现有替代方案到底有没有实质优势。Simon Willison写道:
对搜索API,我头一个疑问就是:允不允许你存下并重新发布从它那拿到的结果。如果跑着代理系统却不许存响应,连个“分享对话记录”按钮都做不了,限制就相当大了。可答案常常埋在服务条款的字里行间。
Erato Labs首席技术官兼联合创始人Maximilian Goisser指出:
我觉得,对已经在用Cloudflare的企业来说,它正慢慢变成可信赖的主要云服务供应商——这角色往常归AWS、GCP或Azure——企业大部分云服务费用会走这个平台结算,采购流程也就不用重走一遍。
Cloudflare表示会筛出支持“零数据保留”的供应商,搜索服务按供应商标价提供,不额外加收费用。公司还计划给AI Gateway加上原生服务器工具,先从Web搜索做起。在那之前,开发者可以用Cloudflare Workers把Web搜索接进自己的工作流。