Cloudflare Auto Router 公测:便宜模型省的钱,够修错吗

资讯 InfoQ 全文 1934 字 · 约 5 分钟读完 配图 3 张 分类Cloudflare

Cloudflare Auto Router 仅根据最近几轮对每个请求的风险等级进行评分。

Cloudflare 近日借 AI Gateway 上线了 Auto Router 公测版。用户只要把模型指定为cloudflare/auto,分类器便会替每个请求挑一个模型。公告里最抓人的,是一份让 Cloudflare 自家路由器落败的基准测试。

路由流程分两步走。第一步由 AI Gateway 搭起候选模型池:把处理不了当前请求格式的模型剔出去,再套上凭证、计费配置、访问控制和支出限制。第二步,一个多头分类模型在 Cloudflare 边缘 GPU 上经 Workers AI 跑起来,给 14 类任务分配概率,同时从复杂性、歧义性、风险程度、对先前上下文的依赖程度四个维度,对请求打 1~5 级分。评分矩阵最后把这些结果和基准测试数据拼在一起,公开公式是:“效用 = 预期质量 - 自适应成本惩罚”。

Cloudflare Auto Router 公测:便宜模型省的钱,够修错吗(配图 1)

Auto Router 判断一个请求,只看最近几轮对话,文本上限 8KiB。接着它按候选模型在各任务上的能力打分,也按处理难题时的预期收益打分;任务越难,价格在评分里占的分量就越轻。

做智能体工程的 CTO Jacques B 在 Cloudflare 的一则 LinkedIn 帖子下,点出了真正该看的指标:

要是还得有人额外搭上一小时去修结果,那便宜的模型根本没省下什么。

Cloudflare 给出的恰恰是这个数字。测试共 97 个任务,每个模型采样三次,另做了 1 万次 Bootstrap 重采样。

Cloudflare Auto Router 公测:便宜模型省的钱,够修错吗(配图 2)

可靠性提升约 10 个百分点,成本压到原来的三分之一左右。站哪一边由团队自己定,而多数路由产品连这个选项都不给。

从业者质疑最狠的,是分类机制本身。参与过银行和医疗平台开发的技术负责人 Igor Pyrin 说,风险评分只吃一份偏重最近几轮的精简上下文:

一场较长的智能体会话里,用户可能很早说过“这是客户退款”,后面只补一句“继续执行”。我会让应用自己维护跨轮次的风险标签,拿它判断请求能不能走cloudflare/auto。一句简短的收尾指令,不该悄悄把底层操作的风险等级降下来。

偏偏真正提交操作的那一轮,常常是整段对话里看着最便宜的一轮。

文档另外补了两条。其一,响应里会带上cf-aig-routed-model 和 cf-aig-routing-reason,后者可能给出cost_optimal_within_pool 或 pinned_by_turn这类等值信息,事后可以审计模型是怎么选的。其二,能通过cf-aig-allowed-models 和 cf-aig-allowed-providers请求头对单个请求限定模型池,但眼下没法把它存成路由配置文件——Adam Natad 在发布讨论里提的正是这个需求。

信这些数据之前,还有一点要核实:当前默认模型池列了 Claude Opus 5、Sonnet 5、Fable 5,以及 GPT-5.6 Luna、Sol、Terra 和 Grok 4.5。表格里当作两项基线的 Opus 5.5 和 GPT-6 Sol,反倒躺在必须靠上述请求头才能调用的可选模型列表里。Cloudflare 称模型池“可能会随时间变化”,所以这也许只是配置漂移,不是有意为之。但想复现该基准测试的团队,还是得确认自己的网关到底选了哪些模型。

会话处理也有成本。没有会话 ID,同一段对话里的请求可能被分给不同模型,提示词缓存也就复用不上。同样出于这个原因,Cloudflare 加了一项随上下文长度增长的模型切换惩罚——新模型可能要重新生成推理 Token,而这按输出价格计费。

Reddit 上,评论者 reachjalil 干脆把这套前提推翻了,认为自动路由器“最终会让你花更多的钱,却得到更低的智能”,还说结果真要紧的话,直接用更强的模型反倒便宜。评论者 yangqi 回帖说,计量单位该是任务,不是请求。reachjalil 后续的回复又戳中一个 Cloudflare 自己也认的问题:分类这件事本身也更适合交给大模型做,而且路由权重会过时,“尤其是在模型不断变化的情况下”。文章指出,路由权重取自基准测试结果,新模型得手动加进评分矩阵。

公测期间 Auto Router 免费,之后怎么收费还没公布。目前它不支持 WebSocket,只支持 Chat Completions 和 Responses API。

路线图里还有cloudflare/auto-best。它用的是同一套分类器和模型池,但不做成本取舍,直接挑预期质量最高的模型。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 亚历山大·王:29岁Meta AI官,接班人传闻外的百亿朋友圈

    智东西(公众号:zhidxcom)作者 | 江宇编辑 | 云鹏一个由华尔街量化实习生组成的“硅谷新黑帮”,再次走入聚光灯下。智东西11月4日报道,近期,英国《金融时报》刊发了对Meta首席AI官、29岁华裔创业者亚历山大·王(Alexandr Wang)的人物报道,讨论了他在Meta内部的影响力,以及未来接替扎克伯格掌

    来源 腾讯网
  2. OpenAI重置按钮换人管?Tibo转岗做安全,Andrew接手产品体验

    Tibo 不发糖了?因为Open AI 的内部安全烂透了 作者丨高允毅 编辑丨岑 峰 OpenAI 的“赛博义父”好像换人了?最先发现不对劲的是敏锐的网友。 11 月 4 日,Codex 团队的产品负责人 Andrew Ambrosino 发帖称,关于 OpenAI 产品的任何意见都可以反馈给他。 Tibo 在下面跟了

    来源 AI 行业观察
  3. 大晓机器人“双脑协同”拆解:一次滑移如何变成可复用经验

    【TechWeb】11月6日消息,一次普通的取杯任务中,机器人找到水杯、规划接近方向,却在抬起时发生滑移;它调整接触位置,重新抓取并完成任务。对使用者而言,任务已经结束;但对持续学习的具身智能系统而言,真正值得追问的是:为什么滑?这次调整在什么条件下有效?换一只杯子、一副夹爪,甚至另一台机器人,这段经验还能否复用? 近

    来源 AI 行业观察
  4. 从一次滑移到可复用经验:大晓“双脑协同”如何让机器人少走弯路

    为什么需要“双脑”协同?三个递进闭环第一是自主执行闭环,让机器人更可靠完成当前任务。双脑协同希望建立的,正是任务推理与物理预测通过真实反馈相互校正、执行认识经过验证进入后续学习、学习与研发方法持续改进的路径。让一台机器人付出的探索,为更多机器人省下重复试错的代价——这是大晓双脑协同试图推动的进步。

    来源 TechWeb
  5. 埃森哲报告被指15条虚假引用:AI幻觉还是编造案例?

    IT之家 11 月 8 日消息,埃森哲(Accenture)被指发布了一份充斥人工智能“幻觉”的研究报告,其中不仅包含大量虚假信息,还出现了多处疑似捏造的研究案例。 据 GPTZero 最新分析,这家咨询巨头发布的一份报告涉嫌包含 15 条虚假引用,以及完全虚构的案例研究,因此正受到外界审查。 这份名为《跨越式发展》(

    来源 AI 行业观察
  6. 埃森哲报告被指15条引用造假:AI幻觉还是虚构案例?

    GPTZero 分析发现,埃森哲与 IE 大学合作的《跨越式发展》报告含 15 条虚假引用及完全虚构的案例研究。埃森哲否认是 AI 所致,称系人为失误,正修正报告。此前该公司曾警告不用 AI 的员工将被“淘汰”。#埃森哲AI幻觉#

    来源 IT之家
  7. 索尼中国首发Wi-Fi跌倒检测系统:不装摄像头,进博会亮相

    IT之家 11 月 7 日消息,据索尼中国资讯公众号,在 11 月 5-10 日期间举行的第九届进博会上,索尼中国全球首发面向居家养老的隐私友好型无线感知跌倒检测系统。 该系统通过 Wi-Fi 信号感知人体活动,无需佩戴额外设备,也不进行影像采集,面向卧室、卫生间等居家环境以及养老机构、社区养老服务场景,帮助看护人员及

    来源 AI 行业观察
  8. 布卢门撒尔盯上苹果英伟达:白宫宴会捐款与ICEBlock下架成调查焦点

    路透社昨日报道称,即将接任美国参议院常设调查小组委员会主席的民主党参议员理查德・布卢门撒尔(Richard Blumenthal),已经要求苹果、Meta、谷歌、英伟达、亚马逊和微软等参与特朗普白宫宴会捐款的科技企业主动提交相关文件。若企业拒不配合,可能在2027年1月面临传票。

    来源 TechWeb
  9. 印度 IT 行业领袖警告:AI 或致应届毕业生更难进入科技行业

    IT之家 11 月 7 日消息,据日经亚洲 6 日报道,印度最大科技行业协会 —— 印度全国软件与服务公司协会会长拉杰什 · 南比亚尔警告,随着 AI 逐渐接手基础编程和软件测试工作,印度应届大学毕业生进入科技行业可能更加困难。 南比亚尔认为,求职难的问题,可能要等到印度软件出口企业适应新的商业环境后才能缓解。随着技术

    来源 AI 行业观察
  10. 布卢门撒尔盯上苹果英伟达:白宫宴会捐款与App下架或引国会传票

    路透社昨日报道称,即将接任美国参议院常设调查小组委员会主席的民主党参议员理查德・布卢门撒尔(Richard Blumenthal),已经要求苹果、Meta、谷歌、英伟达、亚马逊和微软等参与特朗普白宫宴会捐款的科技企业主动提交相关文件。若企业拒不配合,可能在2027年1月面临传票。

    来源 TechWeb
向下滚动自动加载更多