你已经能跑通单次请求,一到批量任务就出事:几百条一起发,有的超时有的报错,重跑一遍又重复计费;或者老老实实一条条排队,跑一晚上还没完。这篇不讲概念史,只讲怎么把批量拆成可控的并发:先认清批量处理和并发分别指什么,再给一套能照抄的落地步骤、参数调节思路和出错后的排查顺序,最后说清哪些场景不该硬上并发。
你已经能跑通单次请求,一到批量任务就出事:几百条一起发,有的超时有的报错,重跑一遍又重复计费;或者老老实实一条条排队,跑一晚上还没完。这篇不讲概念史,只讲怎么把批量拆成可控的并发:先认清批量处理和并发分别指什么,再给一套能照抄的落地步骤、参数调节思路和出错后的排查顺序,最后说清哪些场景不该硬上并发。
读之前先提醒一句:下面出现的所有数量级、上限、耗时都是举例用的占位值,真实数值会随厂商政策和账号档位变化。凡是需要拍数字的地方,都请到站内对应页面核对当期数据,别直接抄本文的示例。
批量处理和并发,分别指什么
把这两个词分开看,很多踩坑就消失了。批量处理解决的是「量」的问题:你手里有一堆同类任务——几百条文案要过一遍、上千条评论要分类、一批文件要转写——你需要把它们整理成队列,决定一次做多少、做到哪了、断了怎么接上。它的核心动作是拆分、排队、记录进度、断点续跑,跟同时发几个请求没关系。
并发解决的是「同时几个」的问题:在同一个时间窗口里,同时有多少个请求在飞。它的核心动作是设置并发上限、控制发送节奏、处理「返回顺序不等于发送顺序」这件事。两者容易混,但可以互相独立:任务再多,并发也可以只有 1;反过来,单条任务也能用并发拆成多个子请求并行取。自测一句——如果你说不清当前同时在飞的请求有几个,那你做的是批量,还没做并发控制。
- 批量处理
- 把一堆同类任务组织成队列,负责拆分、排队、记录进度和断点续跑,解决「量」。
- 并发
- 控制同一时间窗口内同时在飞的请求数量,解决「同时几个」,并处理返回乱序。
- 限速口径
- 账号层面卡你的通常是并发数、每分钟请求数、每分钟 token 数三档,各厂商各档位不同。
- 可重入
- 同一任务重复执行会不会产生重复副作用;不可重入的任务必须先落任务表记录状态。
动手写之前先确认三件事
写代码之前这三件事没确认清楚,后面调参会非常痛苦。第一是额度与限速口径:账号层面的并发上限、每分钟请求数、每分钟 token 数分别卡在哪一档,这些数字会变,去 官方 API 价格(/official-api) 与所用厂商页面看当期说明,别照抄别人教程里的旧值。
第二是任务是否可重入:重复发一次会不会产生重复副作用,比如重复下单、重复写库、重复计费。不可重入的任务必须先落一张任务表记录状态,靠状态机保证同一任务不会被处理两次。第三是单条耗时与失败率:先用十几条样本量一遍,去 接口测速(/tools/speed-test) 看你的延迟基线,再决定并发开到几、超时设多少,拍脑袋设一个很大的并发数基本等于自找限流。
- 查当期限速口径到厂商文档和站内官方 API 页面确认并发、每分钟请求数、每分钟 token 数三档限制,记下来当配置常量。
- 判定可重入性拿一条任务连发两次,看会不会产生重复副作用;会的话先设计任务表与状态字段。
- 量出基线用十几条样本跑一遍,记录平均耗时、失败率和主要错误类型,作为后续调并发的起点。
什么情况下不适用:任务之间有严格顺序依赖,后一条必须用前一条的输出时,别硬做并发,先考虑串行,或者把流程改成分段流水线,每段内部再并发。
一套能照抄的实现骨架
下面这五层可以按顺序实现,每层都能单独上线,不必一次做完。层与层之间的职责边界清楚了,出问题时才好定位是哪一层的毛病。
| 层 | 负责什么 | 落地要点 | 出问题时的表现 |
|---|---|---|---|
| 拆批 | 把总任务切成小批 | 每批固定条数,批内共用批次号 | 对账对不上、重跑范围过大 |
| 限并发 | 控制同时在飞的数量 | 用固定大小并发池,不用一次性全塞 | 限流错误成片出现 |
| 重试退避 | 处理可恢复错误 | 只重试超时、限流、5xx,指数退避加抖动 | 重试风暴、越重试越糟 |
| 落账续跑 | 记录每条任务状态 | 存请求 id、状态、耗时、用量 | 中断后只能整批重来 |
| 收尾校验 | 确认数量对得上 | 成功数加失败数等于总数 | 悄悄漏跑无人发现 |
- 拆批这一层,与其一次发几百条,不如每批固定条数、批内共用批次号,方便对账和定向重跑。
- 限并发这一层,用一个固定大小的并发池,池子大小先设保守值,跑稳了再往上调;不要写成一次性把所有任务塞进并发调用的形式。
- 重试这一层只对可重试错误生效,指数退避加随机抖动并设最大次数;参数类错误重试再多也不会成功,只会浪费额度。
- 落账这一层每条任务都要有请求 id、状态、耗时和用量,中断后按状态筛出未完成的接着跑。
- 收尾校验先比对成功条数加失败条数是否等于总条数,再看失败清单里有没有成片的同一类错误。
# 伪代码示意:固定大小并发池 + 重试 + 落账;数字皆为占位示例,按当期限速改成自己的值
CONCURRENCY=${CONCURRENCY:-8} # 同时在飞的请求数,先保守
BATCH_SIZE=${BATCH_SIZE:-20} # 每个批次包含多少条任务
MAX_RETRY=3 # 最大重试次数
run_batch --concurrency "$CONCURRENCY" --batch-size "$BATCH_SIZE" --max-retry "$MAX_RETRY" --resume调参与出错后的排查顺序
调并发的基本节奏是:能跑通、记录成功率和平均耗时、小幅上调并发、观察错误率是否抬头、抬头就退回上一档。目标是找到「错误率开始明显上升」的那个临界点,再往回收一档,日常就停在这个位置。不要追求把并发推到极限,稳定比峰值吞吐重要。
出错后的排查顺序建议固定下来,避免每次都靠猜。先看是不是限流类错误,术语对不上就去 基础概念词典(/ai-dict/category/basics) 对一下;再看是不是超时设置太短,尤其批内条数多时单批耗时会明显变长;再看是不是某几条脏数据反复失败,把它们单独摘出来;最后才怀疑平台侧波动,去 AI 服务监控(/ai-status) 看当期状态。
- 失败任务单独重跑,不要和成功任务混在一起重发,否则容易重复计费。
- 重跑前先确认失败原因是数据问题还是节奏问题,前者改数据,后者降并发。
- 对延迟敏感的在线接口不要套用离线批量的并发策略,两者取舍方向相反:在线要稳,离线要吞吐。
- 并发参数、超时、重试次数尽量集中放在配置里,方便按当期限速调整而不用改代码。
上线前的最小验收清单
上线前不用搞一套庞大的监控体系,但下面这几项如果没有,出问题时会非常被动。它们的作用是让你在凌晨被叫醒时,能靠已有记录快速判断是数据问题还是节奏问题。
| 验收项 | 通过标准 | 怎么验证 |
|---|---|---|
| 参数集中可配 | 并发、超时、重试、退避四项有明确取值且在配置里 | 搜一遍代码,确认没有散落的硬编码 |
| 中断恢复 | 杀掉进程再启动能正确接着跑 | 手动演练一次,比对任务表状态 |
| 跑完统计 | 总数、成功、失败、重试、总耗时、用量口径齐全 | 跑一次完整批次,导出统计 |
| 失败样例留存 | 随机保留几条失败请求的原始返回 | 抽查失败清单,能直接看到返回体 |
| 成本口径 | 金额按当期单价核算,不写死 | 去站内页面核对当时的数字 |
最后那条成本口径值得单独强调:批量任务的用量很容易被忽略,跑完统计里应该带上总用量,具体金额到 模型成本计算器(/tools/model-cost-calculator) 按当期单价算,不要凭记忆估。同样,如果你在多个中转站之间切换跑批量任务,稳定性差异会直接影响重试次数,可以去 中转站导航(/sites) 对照可信度信息再决定用哪家。
下一步把并发、超时、重试、退避四项参数从代码里抽出来放进配置,录一次完整的跑批恢复和统计流程,再去站内核对当期限速与单价,你就不容易在批量任务上翻车了。→常见问题
批量处理和并发是一回事吗?
不是。批量说的是你有一堆任务要处理,解决的是组织问题:怎么拆、怎么排队、怎么记录进度。并发说的是同一时刻有几个请求在飞,解决的是速度问题。你可以批量但完全串行,也可以只发一条请求但内部并发多个子任务。混着理解,就容易出现「任务拆得很好但一上来把并发开到几十」这类事故。
并发数开多少合适?有没有标准答案?
没有通用数值,取决于你的账号档位、单条请求的耗时、以及平台当期限制,这些会变,去站内官方 API 价格页和你所用厂商的页面看当期口径。实操上从一个保守值起步,跑一批真实数据,记录成功率和平均耗时,逐步上调,找到错误率明显抬头的那一档再退回一格,这个值才是你自己账号的合适值。
跑批量的时候一堆请求失败,先查什么?
按这个顺序:第一,看错误文本是不是限流类(同一秒内成片失败通常就是并发太高);第二,看是不是超时设得太短;第三,把失败任务单独捞出来重跑,判断是某几条数据本身有问题还是整体节奏问题;第四,前三条都排除后,再去站内 AI 服务监控看当期平台状态。别一上来就整批重跑,容易重复计费。