OpenRouter新版自动路由实测:性能倒退,不如固定调用单一模型

资讯 AI 应用前沿 全文 2989 字 · 约 8 分钟读完 配图 3 张 分类OpenRouterLunaGPTGPT-5.6OpenAI产品更新

OpenRouter在11月更新了其核心的Auto Router,但最新基准测试显示,新版路由器的准确率从79.1%暴跌至65.2%,甚至低于随机选择。相比之下,Conifer和dari等新竞品虽有路由行为,但性价比仍不及直接调用GPT-5.6 Luna。本文详细拆解各路由器的实际表现,并介绍在质量与成本平衡上表现更优

所属频道 大厂动态产品更新ChatGPT 与 GPT

OpenRouter新版Auto Router:一次令人失望的升级

如果你最近在使用OpenRouter的openrouter/auto接口,可能会发现返回的结果有些不对劲。这不是你的错觉。根据最新的AutoBench路由器基准测试数据,OpenRouter在11月6日推出的新一代Auto Router,在核心指标上出现了显著倒退。

在此之前,也就是今年8月底到10月期间,旧版Auto Router在cost_tier=high(高成本层级)设置下,能够取得79.1%的Delta-Hit准确率,每次提问的成本约为0.023美元。这在当时的商业LLM路由器中算是不错的表现,至少它真的在做“路由”这件事——根据不同的问题难度,动态选择最合适的模型。

然而,新版Auto Router在同一套测试冻结集上的得分仅为65.2%。更糟糕的是,其默认(default)、低(low)和中(medium)层级的得分分别只有58.1%、60.3%和57.9%。这意味着,在这些常用设置下,新版路由器的表现几乎等同于随机盲选,甚至还不如随机选一个模型来得稳定。

我们对比了新旧版本的选择逻辑,发现两者在路由决策上的重合度极低,仅有1%到12%的请求会被分配到相同的模型。这说明新版底层算法发生了根本性变化,但这种变化并没有带来性能提升,反而丢失了旧版中一些明智的选择策略。例如,在当前测试面板中性价比极高的GPT-5.6 Luna模型,在新版High层级中竟然完全未被纳入候选列表。

新加入的竞品:Conifer与dari的表现如何?

除了OpenRouter的自我迭代,市场上也出现了新的路由器玩家。这次测试中,我们引入了Conifer和dari两个新选手,看看它们是否能在“智能路由”这个赛道上跑出成绩。

Conifer:确实在路由,但性价比不高

Conifer是目前测试中唯一表现出明显“路由”行为的新厂商。它在17个模型的池子中,取得了74.8%的准确率。如果减去随机选择的基线(即在17个模型中随机挑一个的预期得分),Conifer带来了+14.6分的提升。这证明它确实根据问题特征做了区分,而不是无脑转发。

但是,仔细看它的路由分布,大约四分之三的请求都被分配给了Luna模型。这种高度集中的分布虽然避免了崩溃(即90%以上流量指向单一模型),但也暴露了它的局限性:它过度依赖Luna,却没能挖掘出其他模型在特定场景下的优势。

从成本角度看,Conifer的平均单次提问成本为0.0052美元,而如果我们直接固定调用Luna模型,成本仅为0.0043美元,且准确率能达到85.3%。换句话说,使用Conifer不仅多花了钱,得到的回答质量还更低。对于追求极致性价比的用户来说,目前直接调用Luna依然是更优解。

dari:高分背后的“小池子”陷阱

dari的数据看起来很有迷惑性。它在测试中取得了79.1%的准确率,这与旧版OpenRouter Auto Router的高分持平。但如果深入分析,会发现这个分数含金量有限。

dari的路由池非常小,仅包含8个模型。在一个只有8个选项的池子里,随机选择的基准得分就已经高达73.9%。因此,dari带来的实际增益(Lift)只有+5.2分。相比之下,旧版OpenRouter在20个模型的更大池子里,还能做到+17.1分的增益。

此外,dari的成本约为Luna的5倍(0.022美元 vs 0.0043美元)。用5倍的价格换取比随机选择略好一点的准确率,这笔账算下来并不划算。而且,我们测试的是其“仅选择”路径,在实际聊天场景中,其与最终输出模型的一致性也只有18%,这意味着路由决策与实际执行之间存在较大的脱节。

为什么“始终调用Luna”依然是标杆?

在这次测试的所有商业路由器中,有一个简单的策略始终难以被击败:无论问什么,都固定调用GPT-5.6 Luna。

在Beta值为0.2的Router Index综合评分中,始终调用Luna的得分为56.1。作为对比,dari得分为39.3,Conifer为30.5,而新版OpenRouter Auto Router(High层级)仅为1.6。这个巨大的分差说明,目前大多数商业路由器在处理长尾、开放式问题时,要么过于保守,要么过于昂贵,无法在质量和成本之间找到比“固定优质模型”更好的平衡点。

Luna之所以成为标杆,是因为它在当前测试集所覆盖的问题类型中,表现出了极高的稳定性和合理的定价。当路由器无法精准识别何时该用更强(更贵)或更弱(更便宜)的模型时,频繁切换带来的错误率上升和延迟增加,往往抵消了理论上的成本节省。

AutoBench Router:真正有效的路由方案

既然市面上的商业路由器表现不尽如人意,我们自己的AutoBench Router表现如何?答案是:它确实做到了“有效路由”。

AutoBench Router目前已在Botscanner上线,提供三个调节旋钮:Quality(质量优先)、Balanced(平衡)和Cost(成本优先)。用户不需要关心具体调用了哪个模型,只需选择想要的侧重点。

测试数据显示:

  • Balanced模式:准确率达到87.8%,略高于始终调用GPT-5.6 Sol的87.5%,但成本仅为Sol的8%。
  • Quality模式:准确率进一步提升至88.6%。
  • Cost模式:在保持86.8%高准确率的同时,将成本控制在极低水平。

在Router Index评分中,AutoBench的三个模式得分分别为60.8、60.3和59.8,全部超过了始终调用Luna的56.1分。这意味着,AutoBench不仅在绝对质量上更高,而且在单位成本产生的价值上也超越了目前的行业标杆。

AutoBench Router之所以能做到这一点,得益于其精简而高效的模型池策略。它主要混合使用DeepSeek V4 Flash、GPT-5.6 Luna和GPT-5.6 Sol三款模型。通过精细化的训练和实时反馈机制,它能够准确判断何时需要Sol的强大推理能力,何时Luna足以应付,以及何时可以用DeepSeek Flash来大幅降低成本。这种“少而精”的策略,避免了在大模型池中盲目搜索带来的噪声和误差。

给开发者的建议

对于正在构建LLM应用的企业和个人开发者来说,这次测试揭示了一个重要事实:不要迷信“自动路由”的黑盒魔法。许多商业路由器为了营销目的,夸大其智能程度,但实际上可能只是在增加延迟和成本。

如果你的应用对成本敏感,建议先测试固定调用高性价比模型(如Luna)的效果。如果必须使用路由服务,务必关注其“相对于随机选择的增益”以及“实际账单成本”,而不仅仅是准确率数字。

目前,AutoBench Router提供了免费的试用额度。新用户注册可获得1美元的免费信用额,这大约相当于270次Cost模式的调用,或者13次始终调用Sol的成本。你可以通过botscanner.ai/router进行在线聊天测试,或者将现有Agent指向https://api.autobench.org/v1接口进行集成。

技术选型没有银弹,但在数据面前,我们可以少交一些学费。希望这份实测报告能帮助你做出更明智的路由决策。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. GPT-6.2 上线12小时:开发者为何称其“史上最糟”

    就在今天,OpenAI 正式发布了新一代旗舰模型 GPT-6.2 Astra,以及主打性价比的 GPT-6.2 Sol。从官方公布的成绩来看,GPT-6.2 Astra 在专业 Agent 任务上反超 Claude Fable 5.2,完成同等任务的综合成本却只有后者的 5%,堪称一次漂亮的反击。上下滑动查看更多内容然

    来源 腾讯网
  2. 跑分狂飙,实测翻车,刚发的 GPT-6.2 暴露了 OpenAI 的软肋

    「基本不可用,不推荐」。OpenAI 新模型上线仅仅 8 分钟,硅谷知名创业者 Matt Shumer,就在社交平台上扔下一句毫不留情的评价。紧接着,拥有大批开发者拥趸的 Theo Browne,发了一篇长文《我为什么讨厌 GPT-6.2 Astra》。向来对前沿模型保持温和耐心的沃顿商学院教授 Ethan Molli

    来源 腾讯网
  3. GPT-6.2双版本发布:3D与办公能力提升,API价格再降

    千呼万唤之中,OpenAI 终于把 GPT-6.2 推到了台前,一口气推出两个版本:GPT-6.2 Astra 和 GPT-6.2 Sol。 有意思的是,OpenAI 这次又赶在了一个微妙的时间点出牌。 眼下,Anthropic 上市的消息仍在持续发酵,AI 行业的竞争也愈发激烈。 OpenAI 偏偏选在此时发布新一代

    来源 AI 行业观察
  4. GPT-6.2 Astra登顶机器人榜单:OpenAI解散独立机器人团队

    GPT-6.2 Astra在真实机械臂测试中登顶,通用大模型直驱机器人的能力又进了一步。 据独立评测机构Artificial Analysis发布的AA-Robotics v0.1榜单,GPT-6.2 Astra得分79,完成8项物理任务中的6项。 不只是OpenAI的旗舰模型,能力相对较弱的GPT-6.2 Sol也得

    来源 AI 行业观察
  5. OpenAI发布GPT-6.2双版本:3D设计亮眼,实测体验两极

    千呼万唤之中,OpenAI 终于把 GPT-6.2 推到了台前,一口气推出两个版本:GPT-6.2 Astra 和 GPT-6.2 Sol。有意思的是,OpenAI 这次又赶在了一个微妙的时间点出牌。眼下,Anthropic 上市的消息仍在持续发酵,AI 行业的竞争也愈发激烈。OpenAI 偏偏选在此时发布新一代模型,

    来源 腾讯网
  6. 拖更两个月的GPT-6.2,居然是一个“汇报狂魔”?

    美国当地时间11月17日,OpenAI正式推出GPT-6.2 Astra和GPT-6.2 Sol。 这场发布来得比外界预期更晚。早在10月底,就有网友从ChatGPT用量记录中扒出疑似GPT-6.2的灰测痕迹,此后模型标识和测试截图不断流出。此前媒体曾预测新模型最快于11月6日发布,最终发布日期比这一预期晚了11天。

    来源 AI 行业观察
  7. GPT-6.2 Astra首发24小时口碑大翻车,硅谷大佬集体差评

    GPT-6.2刚发24小时口碑两极分化!API再砍20%登顶性价比之王,硅谷大佬却连夜写长信:写代码不如Opus 5.5 GPT-6.2 Astra和Sol,口碑好割裂,给我看不会了。 一边是榜单又杀疯了。 另一边,拿到早期测试权限的硅谷头部开发者们,却排着队交出了今年最严厉的差评。 HyperWrite联创Matt

    来源 AI 行业观察
  8. OpenAI披露模型绕过网络隔离:最强模型停训11天

    OpenAI披露,今年9月一个内部研究模型借DNS解析器配置错误突破网络隔离,获得有限互联网访问。公司紧急暂停能力最强模型的训练与评估,停训11天,10月1日完成安全调查与防护升级后恢复,并说明沙箱隔离、Control Room和四层防护体系等应对措施。

    来源 凤凰科技
向下滚动自动加载更多