请求一多就报错、批量任务跑一半全红、团队几个人一起用就有人被拒——这类问题九成不是代码写错了,而是并发数、排队方式和额度口径没对齐。这篇给一套判断顺序:先分清是被限速、额度用完还是渠道降级,再决定压并发、加退避重试、还是换计费口径,最后附一份可以照着做的排查清单。
请求一多就报错、批量任务跑一半全红、团队几个人一起用就有人被拒,这类问题九成不是代码写错了,而是并发数、排队方式和额度口径没对齐。先把原因分清楚再动手改,比一上来就重写架构省事得多。
下面给一套判断顺序:先分清是被限速、额度用完还是渠道降级,再决定压并发、加退避重试,还是干脆换计费口径或渠道。最后附一份照着做就行的排查顺序,不用背概念。
先分清是限速、额度还是降级
这三种现象的症状不一样,混在一起看就会误判。限速通常是短时间连续报错、等一小会儿又通了;额度耗尽是持续不通,换个时间段照样不行;降级则是能通,但明显变慢或结果变差。先归类,再谈解法。
| 现象 | 大概率原因 | 先做哪一步 |
|---|---|---|
| 连续几次失败后过一会儿恢复 | 短时并发被限 | 降并发,加重试间隔 |
| 全天候不通,换时段也不行 | 额度或配额用尽 | 去站内核对当前用量与套餐口径 |
| 能返回但明显变慢、质量下滑 | 渠道降级或路由切换 | 对照站内状态页判断是不是单站波动 |
| 换一把 Key 就好了 | 账号维度被卡 | 排查该账号的并发配置与共享情况 |
| 换渠道分组才恢复 | 渠道维度受限 | 考虑多源路由或换分组 |
- 别只盯着那串英文错误代码,看响应里有没有重试提示和错误类型,信息量更大
- 同一份代码换一把 Key 或换一个渠道分组再跑一次,能立刻区分是账号维度还是渠道维度被卡
- 拿不准时先量基线:单次请求延迟和稳定跑通的最大并发,这两个数不知道就无从下手
- 到站内的状态与排行页对照一眼,判断是单站问题还是整体波动,别把上游抖动当成自己代码的锅
把并发压下来:三条最实用的改法
压并发是最快见效的一招,而且不用改业务逻辑。核心思路是让程序自己控制同时在飞的请求数,而不是让任务列表决定。任务一多就全推上去,等于把压力全甩给上游。
- 固定并发池把并发数写成常量,别跟着任务条数涨。先压到能稳定跑通的水平,确认不报错后每次加一点点,加到刚开始出错就退回上一档。
- 分批加节流任务切批处理,批与批之间留固定间隔。比一次性全推更容易通过,重试次数也少,整体耗时未必更慢。
- 连接复用复用客户端实例和长连接,别每个请求都新建连接。握手开销叠加起来,等于自己给自己加倍压力。
不建议的做法是把并发调大、靠重试硬扛。重试请求本身也要占额度和并发,越扛越堵。想看清楚这么做的成本,可以到站内的成本测算工具里按当时的数字试算一遍。
排队与退避:让失败的部分自己恢复
限速不可避免时,能不能自动恢复比能不能冲过去更重要。关键两点:重试要有节奏,排队要有判重。这两件事做对,大部分小限流根本不用人工介入。
- 退避
- 失败后等一段时间再试,间隔逐次拉长,而不是立刻重发
- 重试上限
- 设一个最大次数,超过就落盘等人工或下一轮补跑,避免死循环
- 幂等
- 同一任务重投两次也不能产出两份结果,写库前先按任务 ID 判重
- 待重投清单
- 失败任务写下来,主流程跑完后再单独补一轮,比中途卡死整批划算
- 重试间隔逐渐拉长,别用固定间隔无脑重发,那最容易把小限流拖成持续被拒
- 排队前先做去重,同一份输入别排进去两次
- 把失败任务落盘,跑完主流程再补,不要因为一个失败卡住整批
- 什么情况下不适用:对延迟敏感的实时对话场景不适合长排队,这种要改成降级到备用模型,或者直接提示用户稍后再试
换轨道:从口径和渠道上绕开限制
有时候压并发和重试都救不了,因为限制的维度跟你以为的不一样。先把口径核对清楚,再考虑换渠道,这一节讲的就是这条轨道。
| 限流维度 | 表现 | 对应的解法方向 |
|---|---|---|
| 每分钟请求数 | 短时间突发就报错 | 错峰、分批、加节流 |
| 并发连接数 | 同时在线请求多就失败 | 压并发池、复连接 |
| token 速率 | 长文本任务更容易被拒 | 拆小请求、控制单次长度 |
| 账号配额 | 换 Key 有效 | 多账号或多分组分流 |
同一家平台常常有多个分组或档位,限流阈值不一样。挑之前到站内的模型平台分类页对照计费方式和限制口径,别只看单价。多源路由也好用:把同类任务分给两家上游,一家被限就切另一家,但要先把输出格式统一,否则后面处理会很难受。
照这个顺序排查一遍
下面四步按顺序走,别跳步。每次只改一处,改完记录结果,这样才知道到底是哪一项起了作用。整个过程最重要的是把数字记下来,凭感觉判断容易反复。
- 记现象记下报错时间、当时的并发数、持续多久、换一把 Key 是否还报。这四条能覆盖大部分判断。
- 量基线测出单请求延迟,以及能稳定跑通的最大并发数。用站内的测速工具跑,结果存下来当对照。
- 改一处只调并发,或只调重试策略,别一次改三样。改完在同样条件下再跑一轮。
- 压回去从小并发往上加,记下第一个出错的并发数,这就是你当前的安全水位,日常就按它打折配置。
先分清限速、额度还是降级,再决定压并发、加退避还是换渠道;顺序错了,改十遍也白改。下一步把自己现在的并发水位和用量口径对一遍,看看是账号维度还是渠道维度被卡,再到站内按当时的数字核对计费与限制。→
常见问题
把并发调低是不是就等于变慢了?
不一定。多数限流是被瞬时峰值触发的,压平峰值后总吞吐常常反而更高,因为少了大量失败和重试。真正该看的是单位时间内成功完成的任务数,而不是同时发出去了多少请求。先测出稳定水位,再决定要不要继续往上加。
重试几次比较合适?
没有通用数字,取决于任务的时效要求和对端的提示。原则上次数少、间隔长,并且设总耗时上限,超时就转人工或落盘待补。对实时交互尽量不重试,改成提示或切备用源;对离线批处理可以多给几轮。
换了中转站还是被限,是不是我这边的问题?
有可能。先确认是不是自己的并发太高、Key 被多台机器共用,或者任务里有死循环在反复请求。也可以到 /sites 换一家做对照测试,同样的代码和并发在两家表现一致,问题多半在你这侧。