qps和并发限制哪个好?先看你被卡在哪一层

入门与上手

讲清 qps 和并发限制分别卡的是什么,给出一套判断顺序,让你在被限流时知道该调哪里、该换什么方案。

调用量一上去,报错就来了。有人让你提 qps,有人说你并发开太高,两个词听着都像「别调那么快」,改起来却完全不是一回事。这篇不比较谁更优,只做一件事:把这两种限制分开,给一套从看文档到改代码的排查顺序,让你下次被卡住时不用猜。

调用量一上来就报错,群里立刻分成两派:一派让你去提 qps,另一派说你并发开太高了。这俩词听着都像「别调那么快」,改起来却完全不是一回事——一个改的是发送节奏,一个改的是同时在途的请求数。改错方向,轻则白等一天审批,重则代码越改越乱还照样报错。

这篇不比较谁更优。qps 和并发限制是两种不同的卡法,哪个「好」取决于你被卡在哪一层。下面给一套从翻文档到改代码的顺序,下次再撞墙,按这个顺序走一遍,基本能判断出该调哪里、该不该换方案。

两个词卡的不是同一件事

qps 管的是「每秒放进来多少个请求」,像闸机按秒放人,这一秒放满了,下一秒重新计数,请求本身处没处理完它不太关心。并发管的是「同一瞬间有多少个请求还没处理完」,像同时占着几个窗口,窗口没空出来,新来的就得排队。两个指标算的东西都不一样。

所以先看你的接口是什么脾气。慢接口一次要跑十几秒,一秒发两个就能把窗口占满,撞的是并发;快接口半秒回一个,一秒钟猛发几十个,撞的是 qps。同一个项目换个接口,先撞的限制可能就换了,别拿上一个接口的经验套下一个。

你看到的症状更可能卡在哪先改什么
一秒钟内连发几个就报错,慢下来就好qps把发送节奏摊匀,加退避重试
请求发得不算密,但报错集中出现在高峰期并发限住在途请求数,给慢请求单独设超时
单个超长请求一进来,后面全在等并发(自己堵自己)拆任务、加超时,别让一个请求占着连接不放
隔一段时间报一次,报错码指向额度或鉴权都不是先去核对报错码,别在这两个词里绕

还有个常见误判:报错信息写着「too many requests」,就默认定是 qps。实际上不少服务把并发超限也塞进同一个报错模板里,光看文案分不出来。得结合自己的发送方式去判断,或者干脆两种都试着限一下,看哪个先缓解。

翻文档时只看三行就够

别在群里争论哪个更宽松,文档里写得清清楚楚。翻限制说明的时候,盯住三个地方就行,其余的先跳过。

  • 单位:写的是每秒请求数、每分钟请求数,还是同时在途请求数。单位不同,算法完全不同,把每分钟的当成每秒的去算,会差出两个数量级。
  • 作用域:限制是绑在账号上、绑在单个 Key 上,还是绑在单个模型上。绑在账号上的,你多开几个 Key 并不会变宽松,只是把同一份额度分着用。
  • 生效条件:有没有说突发流量怎么算、重试请求算不算进去。有些服务对瞬间突刺有额外处理,文档里不写,你就得自己测。

看完文档,去站内的模型资料库和厂商页面把当时的规格对一遍。具体数字别照抄别人的截图,口径、档位、适用的接口都可能不一样,以你当前实际在打的那个接口为准。

被卡住时的排查顺序

  1. 先分清楚是「太快」还是「太多」把同样的请求量打散到更长的时间窗里再跑一遍。如果还报错,多半是并发;如果一秒钟内连发几个就挂、摊开就没事,那基本是 qps。
  2. 再看是不是慢请求拖住了整个池子查一遍在途请求的耗时分布,看有没有个别超长请求占着连接不放手。这时候表现看着像限流,其实是自己堵自己,去提额也没用。
  3. 最后才动手改qps 的问题靠匀速放行加退避重试,别硬重试,退避要带随机;并发的问题靠限住同时在途数量,再加一个慢请求的独立超时。两件事分开做,别一次改两处,否则出了问题分不清是哪处生效。
  4. 验证一轮再收工改完用同样的压测方式再跑一遍,确认报错消失、延迟没有明显变差。只看到报错没了不算数,可能只是把请求都堆到队列里慢慢消化了。

先别急着申请提额

提额解决的是天花板问题,解决不了你自己把窗口占满的问题。池子里全是慢请求,额度翻倍也只是多排一会儿队,用户体验并不会变好。而且提额通常要走流程,等待期间你完全可以把代码先理顺。

动手之前先量一遍延迟基线,到 /tools/speed-test 测出正常情况下这个接口的响应时间。有了基线,你才能判断到底是接口本身慢,还是你发得太密。没有基线的优化基本靠猜。

然后把任务分池。实时交互走一个小并发池,批量任务走另一个,跑批再怎么凶也不会把前台拖下水。这个改动比申请提额快,效果也更稳。哪些中转站对并发和 qps 的说明写得清楚,可以到 /sites 里对着看一圈,心里有个底。

下一步先花十分钟把自己的发送方式量一遍,再去核对接口文档里限制的单位和作用域;站内 /tools/speed-test 能帮你拿到延迟基线,判断是接口慢还是发得太密,比在群里猜快得多。

常见问题

qps 和并发限制,选哪个更划算?

这问题问反了。两个都不是你能选的,是接口方定的规则。你能选的是自己怎么发请求:把突发摊平、把慢请求隔开、把重试加上退避。先把这三件事做掉,再谈要不要提额。

为什么我把并发调低了,还是报限流?

大概率撞的是另一层限制,比如每分钟请求数、单模型配额,或者账号级的总量。并发只是其中一层,调低它不影响其他层。翻文档时把每一层的单位和作用域都记下来,对照着看。

批量任务该按 qps 还是按并发来设计?

先看接口文档写的是哪一种,按它来设计。两种情况都建议加一个队列做匀速放行,再配一个最大在途数兜底。跑批最怕的是一次性把池子占满,自己把自己卡死。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。