Cloudflare Auto Router公测:便宜模型出错,修起来更贵
Cloudflare 最近通过 AI Gateway 推出了 Auto Router 公测版。只需将模型设置为 cloudflare/auto,分类器就会为每个请求选择一个模型。公告中最有价值的内容,是一项 Cloudflare 自家路由器反而落败的基准测试。 路由分为两个阶段。AI Gateway 首先构建候选模型池
Cloudflare 近期借 AI Gateway 上线了 Auto Router 公测版。用户只要把模型设成cloudflare/auto,分类器就会给每个请求挑一个模型。公告里最值得看的,是一项让 Cloudflare 自家路由器反而输掉的基准测试。
路由分两步走。AI Gateway 先搭出候选模型池,把处理不了当前请求格式的模型剔掉,再套上凭证、计费配置、访问控制和支出限制。接着,一个多头分类模型在 Cloudflare 边缘 GPU 上通过 Workers AI 跑起来,给 14 类任务分配概率,并从四个维度按 1~5 级给请求打分:复杂性、歧义性、风险程度、对先前上下文的依赖程度。最后,评分矩阵把这些结果和基准测试数据合到一起,公开公式是:“效用 = 预期质量 - 自适应成本惩罚”。
分类只看最近几轮,文本上限 8KiB。之后,它按候选模型在不同任务上的能力打分,也看处理较难任务能带来多少预期收益;任务越难,价格在评分里占的分量越轻。
做智能体工程的 CTO Jacques B 在 Cloudflare 的一篇 LinkedIn 帖子里点出了真正该看的指标:
要是还得有人多花一个小时去修结果,那便宜模型其实没省下多少钱。
Cloudflare 公布的恰好就是这个数字。测试含 97 个任务,每个模型采样三次,并做了 1 万次 Bootstrap 重采样。
可靠性提升约 10 个百分点,成本约为原来的三分之一。站哪一边由团队自己定,而多数路由产品压根不给这种选择。
分类机制本身招来了从业者最尖锐的质疑。参与过银行和医疗平台开发的技术负责人 Igor Pyrin 说,风险评分只依赖一份偏重最近几轮的精简上下文:
在一段较长的智能体会话里,用户可能很早就讲过“这是客户退款”,后面只补一句“继续执行”。我会让应用自己维护一个跨轮次的风险标签,用它来判断请求能不能用
cloudflare/auto。一句简短的最终指令,不该悄悄把底层操作的风险等级降下来。真正提交操作的那一轮,往往正好是整段对话里看起来成本最低的一轮。
文档还补了两点。其一,响应会带上cf-aig-routed-model 和 cf-aig-routing-reason,后者可能返回cost_optimal_within_pool 或 pinned_by_turn等值,事后就能审计模型选择。其二,可以通过cf-aig-allowed-models 和 cf-aig-allowed-providers请求头,针对单个请求限制模型池,但目前没法把它存成路由配置文件——这正是 Adam Natad 在发布讨论里提的需求。
信这些数据之前,还有一点要确认:当前默认模型池列了 Claude Opus 5、Sonnet 5 和 Fable 5,以及 GPT-5.6 Luna、Sol、Terra 和 Grok 4.5。表格里作为两项基线的 Opus 5.5 和 GPT-6 Sol,却待在必须靠上述请求头才能用的可选模型列表里。Cloudflare 说模型池“可能会随时间变化”,所以这可能只是配置漂移,不是有意设计。不过,想复现该基准测试的团队还是该确认自己的网关到底选了哪些模型。
会话处理也有成本。没有会话 ID 的话,同一对话里的请求可能被分给不同模型,提示词缓存也就没法复用。同样的原因,Cloudflare 会加一项随上下文长度增长的模型切换惩罚,因为新模型可能要重新生成推理 Token,并按输出价格计费。
Reddit 上,评论者 reachjalil 直接否定了这个前提,认为自动路由器“最终会让你花更多的钱,却得到更低的智能”,还说结果真重要的话,直接用能力更强的模型反倒更便宜。评论者 yangqi 回应说,计量单位该是任务,不是请求。reachjalil 随后回复,点出一个 Cloudflare 自己也承认的问题:分类本身更适合交给大模型做,而且路由权重会过时,“尤其是在模型不断变化的情况下”。文章称,路由权重来自基准测试结果,新模型必须手动加进评分矩阵。
Auto Router 公测期间免费,之后的价格还没公布。眼下不支持 WebSocket,只支持 Chat Completions 和 Responses API。
路线图里还有cloudflare/auto-best。它用同一套分类器和模型池,但不考虑成本取舍,直接挑预期质量最高的模型。