写脚本批量调接口,跑到一半开始零星失败或者一直转圈,你猜是限流又说不出卡在哪一层。这篇把 QPS 和并发限制分开讲:一个管单位时间的请求数,一个管同一时刻在跑的请求数,触发后的表现也不一样。看完你能对着自己代码里的循环和线程数,判断该降哪一头。
写脚本批量调接口,跑到一半开始零星失败,或者一直转圈不返回,你第一反应是「被限流了」,但具体卡在哪一层说不清。这篇把 QPS 和并发限制拆开讲:一个管单位时间里放进来多少请求,一个管同一时刻有多少请求还在跑。两件事听起来像,触发后的现象和你要拧的旋钮完全不同。
看完你能对着自己代码里的循环节奏和线程数,判断该降哪一头,而不是盲目加 sleep 或者盲目加机器。顺序上先分清指标,再认现象,再判断卡在哪一层,最后按优先级调整。
两个表在量不同的东西
QPS 是按时间窗口算的每秒请求数,超过窗口额度后,窗口内的后续请求会被直接拒掉。并发数是同一时刻还没返回的请求数量,它跟你单次请求的耗时强相关——请求越慢,同样的 QPS 下堆积的在飞请求越多。
- QPS(每秒请求数)
- 单位时间窗口内允许发起的请求数量,按秒或按分钟滚动计算
- 并发数
- 某一时刻已经发出但还没收到响应的请求个数,等于发起速率乘以平均耗时
- 在飞请求
- 还没返回、占着连接和处理资源的请求,掉进这个桶的越多,排队越久
有个换算关系值得记住:一次调用平均耗时越长,同样的 QPS 撑起的并发越高。平均耗时差一个量级,占用的并发额度就差一个量级。所以调慢接口、调大超时,可能先把并发额度撑爆,而不是 QPS 先到顶。
两家平台可能只卡其中一项,也可能两项同时卡,具体看接口文档里的限速说明。具体上限数值随套餐、时段和账号等级变,别记死,到 /ai-nav/category/ai-model-platform 对照各家计费与限制口径就行。
被卡住时是什么表现
QPS 超限往往是快速失败:请求几乎立刻返回错误,状态码常见 429,文本里可能有速率上限、请求过于频繁这类字样。这种失败来得快,你看到的是错误率突然抬升,而不是延迟慢慢爬。
并发超限更常见的表现是排队或超时:请求发出去了但迟迟不返回,客户端先超时断开,服务端那头可能还在处理。这种时候错误率不一定高,但延迟明显变长,而且长尾特别长。
| 现象 | 更像卡在哪 | 下一步先看什么 |
|---|---|---|
| 请求立刻报错、错误率突增 | QPS 超限 | 单位时间发起数是不是踩线了 |
| 请求变慢、超时增多、错误率不高 | 并发超限或网关排队 | 在飞请求数和延迟基线 |
| 报错文本提到余额或配额 | 不是限速,是账户侧 | 去账户与计费页面核对 |
| 同一批任务部分成功部分失败 | 混合触发 | 分开记发起数和在飞数 |
还有一种伪装成限速的情况:网关排队,你看到的延迟升高但错误率不高,这时先量延迟基线,到 /tools/speed-test 打一遍再下结论。如果错误文本是「接口调用被限制」,先分清是限流、余额、还是内容策略,别一律当成并发问题。状态码本身的含义归 api-errors 讲,这里只管文本和现象。
怎么判断自己卡在哪一头
- 记三个数记录单位时间发起数、同时在飞的请求数(在飞数约等于发起速率乘平均耗时)、失败时的错误文本原样。原样很重要,改写过的文本没法对照。
- 按秒摊开发起数把发起数按秒摊开,跟文档写的额度比。低于额度却仍然失败,就往并发和余额方向查;明显超了,先加间隔再谈别的。
- 分开两个旋钮压测或批量任务里,并发数由线程数、协程数决定,QPS 由你每秒放行多少决定。这两个旋钮要分开调,别一起拧,否则出问题说不清是哪个改的。
什么情况下这套判断不适用?如果你调的是本地服务或者自己搭的网关,限速规则是你自己定的,那就直接看配置,不用反推现象。另外,单一请求偶发失败可能是网络抖动,别急着归结到限速上。
能落地的调整顺序
- 先降并发再降 QPS:并发降下来耗时通常更稳,QPS 才有意义;反过来先砍 QPS,队列可能还是满的
- 加退避重试:失败后等一小会儿再试,且重试要有次数上限,别在限流里反复撞门
- 给批量任务排队:固定大小的任务池比一次性全推出去更可控,池子大小就是你的并发上限
- 把长耗时任务挪出主链路(异步、离线跑),它占的是并发额度,不是 QPS 额度
- 调整前后都用同一套指标对一遍:成功率、平均延迟、单位时间完成数,别只看「不报错了」
重试策略有个容易踩的坑:所有线程同时等待同样的时间再一起重试,等于制造第二波尖峰。加随机抖动,或者让重试在任务池里排队,效果更稳。具体重试时长和次数没有通用答案,取决于接口的限速窗口和你能接受的端到端延迟。
如果你的调用是走中转站的,限速口径可能跟官方文档不完全一致,具体到 /sites 看各家的说明和检测记录,别只按官方文档的额度设计脚本。
下一步先把上面三个数记一轮,再决定拧哪个旋钮。各家口径和当时的限制数字会变,到站内页面核对比记在脑子里靠谱。→常见问题
QPS 和并发限制,哪个更容易先被撞到?
看你的调用形态。短请求、高频率的轮询式调用先撞 QPS;单次耗时长、爱开一堆线程的批量任务先撞并发。两者都会随耗时变化互相影响,所以最好两个数都记着,而不是只盯一个。
报错里没写 QPS 也没写并发,怎么知道是哪个?
先看失败的时间分布:几乎同时大批失败偏 QPS,零散失败或超时偏并发。再看请求是否真的发到了服务端:连错误都很快返回,基本是网关在拦。把错误文本原样记下来比猜更管用。
加了重试为什么反而更糟?
限流场景下重试会把压力叠回去,尤其是所有请求同时退避又同时重发。要加就加随机抖动,并设总次数上限,同时确认重试的是可幂等的调用,不然还会带来重复计费和重复写入。