你拿到 Key 准备跑批量任务,结果报并发超限;或者文档里写着并发限制很低,你不敢开线程,只能一条条慢慢等。这篇把并发限制到底是什么、卡在哪一层讲明白,再给出一套在低配额下也能把活干完的排队与重试方案,包含怎么测出真实上限、怎么设计队列、重试该退避到什么程度。
你拿到一个 Key,准备跑批量任务,结果第一条就报并发超限;或者文档里明明白白写着并发限制很低,你不敢开线程,只能一条条慢慢等,等到怀疑人生。这篇把并发限制到底是什么、卡在哪一层讲明白,再给出一套在低配额下也能把活干完的排队与重试方案,包含怎么测出真实上限、怎么设计队列、重试该退避到什么程度。
核心思路只有一句话:把并发数当成一张有限的许可证,谁拿到谁干活,干完还回来。听起来简单,但绝大多数翻车都发生在两个地方——一是把并发当成速率来理解,二是失败后原地重试把本就紧张的配额挤得更死。下面按顺序拆开讲。
并发限制到底限制的是什么
并发限制限制的是「同一时刻正在处理中的请求数」,不是「一分钟能发多少个请求」。这两个口径经常被混着用,一个账号可能每分钟能发很多次,但同时在跑的只能有很少几个。具体某家的配额口径会调整,别背数字,直接到 /official-api 各家页面核对当时的说明,以你开通那一刻的文档为准。
另一件容易被忽略的事是:限制可能出现在不同层。网关层、账号级、模型级、渠道级,任何一层满了都会报错,而报错信息往往长得非常像。你看到「请求过于频繁」,不代表就是账号级限制,也可能只是某个具体模型当前被占满。判断办法是换个模型、换个 Key 各试一次,看错误是否跟随变化。
- 一部分请求立刻失败、一部分正常返回:典型的并发打满,属于可以靠排队缓解的情况
- 所有请求都变慢但都能返回:说明没被拒,只是处理资源紧张,重点在降速而不是降并发
- 错误集中在某一个模型上:多半是模型级或渠道级限制,换模型或换渠道比改代码更有效
- 错误跟 Key 绑定、换模型也一样:那就是账号级限制,只能从整体并发上做文章
先量出你这条 Key 的真实上限
文档写的是理论上限,真实能跑多少取决于你的网络、客户端实现和当时的服务状况。花二十分钟实测一次,比反复猜测省事得多。方法用阶梯法:从并发 1 开始,每次加 1,每一档跑固定数量的任务,记录成功率、首字延迟和整体耗时,找出开始出现失败或明显变慢的那一档。
- 关掉客户端自带的重试大多数 SDK 默认会重试,带着重试去测,你量到的是重试之后的表现,会把真实上限高估。先把重试次数设为 0 再开始。
- 固定任务量,只改并发每一档跑同样条数、同样内容的请求,唯一变量是并发数,否则数据没法横向比。
- 记录三个数,不只看成功率成功率、首字延迟、整体耗时都要记。慢到触发超时也算失败,只盯成功率会漏掉这种情况。
- 取临界值往下退一档出现失败的那一档就是临界点,实际生产用临界值往下退一档,给自己留余量。
工具层面,如果你需要直接量接口响应,可以参考站内的 /tools/speed-test,它适合做单次连通性和延迟的粗测;并发的批量压测还是自己写脚本更可控,因为要精确控制同时发出去的数量。测出来的数字只对你当前这条链路有效,换网络、换 Key、换时段都可能变,别把它当成永久结论。
低配额下的排队怎么设计
| 设计选择 | 推荐做法 | 不推荐的写法 |
|---|---|---|
| 并发控制 | 固定大小的工作池,许可证数量等于实测上限 | 每条任务开一个线程,靠 SDK 自己管 |
| 失败处理 | 失败任务放回队尾,重新排队 | 原地 while 循环立刻重试 |
| 任务状态 | 进队、消费、结果落盘三段分开 | 一条流水线里什么都干 |
| 卡死保护 | 每条任务带超时,超时就踢出并记日志 | 没有超时,一直等下去 |
队列设计里最容易被忽略的是「卡死保护」。一条请求网络异常但没断开,可能挂在那里很久,如果它在占着一张许可证,后面所有任务都得陪它等。给每条任务设一个超时,超时后主动放弃并释放许可证,把这条记进失败清单。这是低配额场景下最省钱的一个改动。
- 优先级:把重要任务放队头,别让一批边角料任务卡住主线
- 幂等性:重试前确认这条任务重复执行不会产生副作用,否则要在去重上做文章
- 可见性:队列长度和当前在跑数量要能随时看到,出问题时才有判断依据
- 背压:队列无限增长说明生产速度远超消费能力,该在入口限流而不是继续堆
分批与节奏:把大任务拆小
就算并发压到很低,一次性把上万条任务全推进去也不是好主意。按条数或按时间切片,一批跑完再跑下一批,批与批之间留一点间隔,整体成功率通常比全量并发高。批大小没有通用最优值,要按单个任务的耗时来调:长任务用小批,短任务可以稍微放大。
节奏也不要写死。每批跑完记录耗时和失败率,下一批的批大小和间隔据此调整。失败率上来了就缩小批、拉长间隔;一直很稳就可以试着放大一点。这个过程可以写成简单的自适应逻辑,不需要很复杂,只要不让参数永远停在初始值就行。分批还有一个附带好处:任务中途断了,你清楚跑到哪一批,续跑比从头再来的心理成本低得多。
重试:什么时候重试,退避到多少
重试的第一原则是只对可恢复错误重试。网络抖动、服务端临时过载、超时,这些值得重试;参数写错、鉴权失败、余额不足,重试一百次结果也一样,只会白白消耗配额和你的耐心。做法上先按错误类型分流,不可恢复的直接进失败清单并告警,别混进重试队列。
退避策略用指数加抖动。指数是指每次重试等待时间翻倍,抖动是指在等待时间上加一个随机量,避免所有失败任务在同一时刻一起回来,把刚刚缓过来的服务再撞一次。抖动这一步经常被省掉,但恰恰是低配额场景下最有用的一步,因为你的任务本来就是被挤失败的,整齐地一起回来基本等于再失败一轮。
| 错误类型 | 是否重试 | 处理方式 |
|---|---|---|
| 网络超时、连接重置 | 是 | 指数退避加抖动,计入重试次数 |
| 服务端返回过载或限流 | 是 | 退避时间比普通超时更长一些 |
| 参数错误、格式不合法 | 否 | 直接进失败清单,人工确认后修正重跑 |
| 鉴权失败、额度不足 | 否 | 停止整批任务并告警,继续跑只会浪费配额 |
重试必须设上限,包括最大次数和总时长两个维度。只设次数不设时长,遇到退避时间已经拉得很长的任务,可能挂几个小时占着资源;只设时长不设次数,慢速抖动下可能一直在重试。超限的任务进死信队列,保留原始请求和失败原因,方便事后批量分析。
一套可抄的骨架:信号量加队列加退避
把前面几节拼起来,结构就是三件事各管一段:信号量控制并发,队列缓存待办,带抖动的退避处理重试。信号量的初始值来自你实测的上限,并且要留一档余量。每完成一条任务就释放一个许可证,这一点必须放在 finally 里,否则一次异常就会永久少一张许可证。
# 伪代码结构示意,语言按你自己项目替换
sem = Semaphore(N) # N 取实测上限减一
queue = Queue() # 待办任务
while task := queue.pop():
sem.acquire()
try:
run(task) # 带超时
except Recoverable as e:
queue.push_with_backoff(task, jitter(e))
finally:
sem.release() # 务必放在 finally日志里至少记三样东西:每条任务的重试次数、最终失败原因、以及整批的耗时分布。事后判断问题时,这三样能帮你分清是配额不够、服务端不稳,还是自己代码里有 bug。如果失败高度集中在某几类错误上,先改代码;如果错误类型很分散、分布均匀,多半是配额确实太紧,该考虑从整体上降低单批规模。
什么情况下这套做法不适用
这套方案针对的是「接口有并发上限,靠排队和退避把活干完」的场景。如果你手上的接口没有并发限制,只有总量配额,那重点根本不在排队,而在预算控制——跑到一半额度用完,队列设计得再好也没用,应该优先做用量预估和剩余额度监控。
- 任务有强顺序依赖:后一步必须等前一步结果,这时候要按依赖关系编排,而不是把并发硬压成 1
- 接口只有总量配额没有并发限制:重点转向预算分配和额度监控,排队带来的收益有限
- 已经买了高配额或自建了推理服务:瓶颈从配额变成机器资源,排查方向要换成负载、显存、内存这些指标
- 任务对延迟极其敏感:排队会让响应时间变长,这时候更适合扩配额,而不是在低配额下做精细调度
判断标准其实很简单:先确认卡住你的是「同时能跑几个」还是「一共能跑多少」。前者的解法是排队和重试,后者的解法是预算和分配。两个都紧张的话,排队是第一步,因为不排队连额度都会被无效请求烧掉。
下一步想确认各家接口的配额口径和当前的接入条件,可以到站内对照页面逐家看一遍,比对后选出和你任务节奏最合拍的那一家。→常见问题
并发限制为 1 是不是就只能一条一条跑?
接口层确实只能同时有一个请求在跑,但这不影响你把任务拆成队列、并行做本地预处理和结果落盘。真正做到单线程串行的只是发请求那一段,其余环节照样能并行,整体吞吐不至于完全没救。
为什么我并发开得很低还是报限流?
可能是别的进程或同事在用同一个 Key,也可能是重试叠加上去把瞬间并发顶上去了。先确认这条 Key 当前还有谁在调,再把客户端自带的重试关掉,逐层量一遍真实的在途请求数。
重试次数设多少合适?
没有通用值,取决于任务能不能失败。可以按总时长上限来倒推:先定这条任务最多等多久,再用单次耗时估算能重试几次,而不是相反。超时的部分进死信队列人工或定时处理。
排队会让任务变慢,值得吗?
在配额受限的前提下,不排队的结果是大量请求直接失败再重试,总耗时往往更长。排队是把不可控的失败换成可控的等待,只要任务不是强实时,通常更划算。
怎么知道是并发超了还是别的问题?
看失败的时间和分布:并发超限通常在任务集中开跑时成片出现,随队列消化而缓解;鉴权、参数类的错误则与并发量无关。前者要调节奏,后者要改代码。