单批一万条
一次提交最多 10,000 条查询组成一批,不需要自己拆包或分批轮询,适合一次性处理成规模的离线任务。
拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
把大批量查询打包提交、24 小时内出结果,费用比标准接口便宜一半。
Message Batches API 是 Anthropic 为 Claude 推出的异步批量推理接口。开发者一次最多提交 10,000 条查询,每条批量任务在 24 小时内处理完成,输入与输出 token 都按标准 API 的 50% 计费。首批支持 Claude 3.5 Sonnet、Claude 3 Opus、Claude 3 Haiku 三款模型,Amazon Bedrock 上的 Claude 也可使用批量推理。它的优势是无需自建排队系统、批量任务不占用标准接口的速率限制;短板是必须接受最长 24 小时的等待,实时对话类场景完全不适用。
Message Batches API 是 Anthropic 面向 Claude 模型提供的一套批量推理接口。它面向需要一次性处理海量文本的开发者与数据团队,把过去要自己搭队列、盯速率限制的活接了过来。
按,开发者可以一次提交最多 10,000 条查询,每条批量任务在 24 小时内完成,通常会更快。价格上是标准 API 调用的 50%,输入和输出 token 都享受这个折扣。推出时处于 public beta,支持 Claude 3.5 Sonnet、Claude 3 Opus 和 Claude 3 Haiku;在 Amazon Bedrock 上使用 Claude 的用户可以用批量推理,Google Cloud Vertex AI 的批量处理当时标注为 coming soon。
用法上分三类:个人开发者可以拿它跑离线数据清洗、翻译、分类这类不急的活;数据团队可以用它分析整个企业文档库;已经在生产环境跑 Claude 的团队,可以把非实时任务挪到批量通道,避免占满标准接口的速率额度。
一次提交最多 10,000 条查询组成一批,不需要自己拆包或分批轮询,适合一次性处理成规模的离线任务。
每条批量任务承诺在 24 小时内处理完成,多数情况下会明显快于这个上限。
输入 token 与输出 token 都按标准 API 价格的 50% 收费,这是它相对同步接口最直接的差异。
批量任务享有更高的速率限制,处理超大批量请求时不会占用标准 API 的速率额度,两套通道互不打扰。
过去要自己写排队和重试逻辑,现在直接提交一批让 Anthropic 处理,省掉一套任务调度基础设施。
Anthropic API 上支持 Claude 3.5 Sonnet、Claude 3 Opus、Claude 3 Haiku;Amazon Bedrock 上的 Claude 可用批量推理。
分类、打标、翻译这类不急的活最适合走批量通道,半价且不用自己维护队列系统。
官网举例说分析整个企业文档库这类涉及上百万文件的任务,靠批量折扣在经济上更可行。
聊天机器人、实时补全这类场景等不了 24 小时,应该继续走标准 API,不要迁到批量通道。
推出时 Vertex AI 上的批量处理还标注为 coming soon,当时无法直接用,需要等官方开放。
官方给出的折扣是 50%,输入 token 和输出 token 都按标准 API 价格的一半计费。同时列举了三档模型的标准价,例如 Claude 3 Haiku 是 $0.125 / MTok 输入、$0.625 / MTok 输出,Claude 3 Opus 是 $7.50 / MTok 输入、$37.50 / MTok 输出。批量调用即在对应标准价基础上打对折。
单批最多 10,000 条查询,每条批量任务在 24 小时内处理完成。实际通常明显快于 24 小时这个上限,但承诺口径是 24 小时,排期时按这个上限留余量更稳妥。
不会。官方说明批量任务享有更高的速率限制,处理大批量请求时不会影响标准 API 的速率限制,两条通道是分开计算的。这也是它相对自己并发调用的一大好处。
在 Anthropic API 上支持 Claude 3.5 Sonnet、Claude 3 Opus 和 Claude 3 Haiku。使用 Amazon Bedrock 上 Claude 的客户可以用批量推理。Google Cloud Vertex AI 上的批量处理在推出时标注为 coming soon,尚未开放。
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| Message Batches API本工具 | 4.2 | 输入输出 token 均为标准 API 的 50% | 单批一万条;24 小时内返回;半价计费;不挤占速率额度 | API |
| RapidAPI | — | 未标价 | RapidAPI 官网,最大的 API 数据的平台,包括网络爬虫,图像处理,数据分析,身份验证 | — |
| Base64 | — | 按需付费,1,000 页/月起。 | 智能文档处理 API | Web / API |
| CometAPI | — | 按量付费无月费,统一官方价 8 折,注册送测试额度。 | CometAPI 是一个一站式的大型模型 API 聚合平台,提供便捷高效的 API 服务 | Web / API |
| PerfAI | — | Free $0;Pro $49/mo per app;Startup $299/ | AI 驱动的 API 性能测试,提供高性能 API,优化用户体验 | Web |
| UnificAlly | — | 按次生成计费,无订阅,pack 起充 $5,余额不过期 | AI API 服务平台,提供创新的 AI 模型和 API 服务,价格优惠 | Web / API |