openrouter并发限制

接入与开发

给用 OpenRouter 中转的开发者讲清并发上限是怎么算的、撞墙后怎么判断是并发还是额度问题,以及重试与排队的处理顺序。

本地跑批量任务或 Agent 多路并发时,OpenRouter 那边突然开始报错或变慢,第一反应往往是 Key 有问题或模型挂了,其实大概率是撞上了并发和速率限制。这篇按「先分清是哪条限制、再决定怎么处理」的顺序,给你一套判断标准和可执行动作,也说明哪些情况不适用。具体的档位数字和模型限制,以站内页面当时显示为准。

本地跑批量任务或者 Agent 多路并发时,OpenRouter 那边突然开始报错、变慢,很多人的第一反应是 Key 挂了或者模型出问题,结果一路排查下去发现方向从一开始就错了。大概率你撞上的是并发和速率相关的限制。

这篇按「先分清是哪条限制、再决定怎么处理」的顺序讲,给你一套判断标准和可执行动作,也说明哪些情况下这套做法并不适用。具体的档位门槛和模型侧限制,以站内页面当时显示的数字为准,正文里不写死。

先分清你撞的是哪条限制

并发数、单位时间请求数、Token 速率是三条不同的线。它们报错的表现不一样,恢复方式也不一样,混在一起看的结果就是一直在修错方向。比如并发打满通常是新请求直接排队或被拒,而 Token 速率打满则是慢但不断,症状差别很明显。

并发数
同一时刻正在处理的请求条数,超了就是新的进不来,表现为排队或直接拒绝
请求速率
单位时间内的请求条数上限,短时间猛发容易被拦,缓一缓就恢复
Token 速率
按输入输出 Token 算的流量上限,长上下文请求特别容易先把这条线撑满

这些门槛往往和账号额度档位挂钩,同一个 Key 在不同阶段表现可能完全不同。具体口径到

另外要注意,免费额度和付费额度的限速规则经常是分开算的。拿免费位去跑多路并发,要先放下预期,别用付费档的节奏去套,否则你会误以为接口不稳定。

撞墙了先做三步判断,别急着加重试

很多人一看到报错就先把重试次数调大,这是最容易把问题放大的做法。正确顺序是先判断,判断清楚了再动手。判断本身不复杂,按下面三步走一遍,基本能定位到是哪一类问题。

  1. 看报错文本和状态码先分清是明确的限流提示、模型侧临时不可用、还是 Key 鉴权问题。限流要降速,模型不可用要换模型或等,鉴权问题去查 Key,三种处理方式完全不通用。
  2. 把请求量记账统计并发数、每分钟请求数、单请求平均 Token。Token 侧的量可以用站内 /tools/token-price-calculator 和 /tools/model-cost-calculator 顺手估出来,别凭感觉判断自己「发得不多」。
  3. 量一遍延迟基线用 /tools/speed-test 测当前延迟,判断是排队变慢还是真的失败。很多「以为挂了」的情况其实是延迟被抬高,请求并没有丢。

处理顺序:降并发 → 排队 → 退避重试

处理顺序是有讲究的,顺序搞反会让效果打折扣。下表是这三步各自解决什么、什么时候用,照着排就行。

动作解决什么什么时候用注意点
压并发同时占用的处理名额太多一开始就做,先跑通再往上加改成固定大小 worker 池,不要动态放飞
排队节流请求节奏忽快忽慢超出速率并发降下来还偶发被拦失败请求走单独通道,别和正常请求抢配额
退避重试偶发失败和瞬时抖动前两步做完仍有零星失败设重试上限和总时长,写操作先确认幂等
  • 第一步永远是压并发:把并行改成固定大小的 worker 池,先小批量跑通再往上加,比一上来调重试参数有效得多
  • 第二步是排队加节流:任务进队列按节奏出队,失败的重投走单独通道,避免失败请求和正常请求抢同一份配额
  • 第三步才是指数退避加重试,且必须设重试上限和总时长,防止失败放大
  • 对幂等性没做过的写操作,重试前先确认重复执行不出问题,必要时改成人工补偿

这套顺序背后的逻辑很简单:并发是你自己可控的,先收回来;节奏是排队能控的,再理顺;重试是最后兜底的,只处理剩下的零星失败。逆着来,你会发现参数越调越乱。

什么情况下这套做法不适用

上面讲的都是限制来自上游通道的情况。但如果限制其实出在你自己的中转层或者客户端配置上,去压 OpenRouter 侧的并发是解决不了的,得回头查中转站本身的状况。到 /sites/all 和 /rankings 看当时的检测结论,比自己猜更快。

  • 限制来自你自己的中转层或客户端:先查中转站检测结论,压上游并发没用
  • 对延迟极敏感、必须稳定高并发的线上业务:退避重试只能缓解不能根治,应该考虑换通道或多源分流
  • 短时突发型任务比如一次性补数据:更适合分批跑,而不是把并发调到最大硬扛
  • 免费额度档跑批量:限速规则和付费档不同,硬扛只会浪费时间

判断一条经验适不适用,关键看限制的来源在哪一层。来源清楚之后再选动作,比套模板靠谱。

下一步先去站内把当时的限速口径和工具数据核对一遍,再回来调你的 worker 池大小,会比拍脑袋改重试参数稳得多。

常见问题

OpenRouter 的并发限制是固定的吗?

不是。限制通常和账号额度档位、所用模型、以及免费位与付费位的区分有关,还会随时间调整。所以别记死数字,去站内 /official-api 与对应模型页看当时的口径,用自己账号实测一遍更靠谱。

我收到限流报错,重试几次就好了,为什么还要改代码?

能重试成功说明是短时限流,但重试会把失败请求重新塞回同一份配额,并发一高就容易雪崩。正确做法是先压并发、加排队,再把重试当兜底,并且给重试设次数和总时长上限。

只有一两个人用,也会撞并发限制吗?

会。限制看的是单位时间的请求和 Token 量,不看在线人数。一个跑循环的脚本或 Agent 一次发几十个请求,量级和一屋子人差不多,这类场景更要限制每轮并发数。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。