推理云与托管
Baseten
推理云与托管价格资料官方入口 https://www.baseten.co · API 文档 查看文档
Per-second GPU 计量，与 Replicate 同类竞品中按量计费最透明。
部分可用
目录排名 ##18
⭐ 可考虑
🌍 国际
OpenAI 兼容
收录模型
24个
输入价格
$0.1 ~ $3每百万 tokens
输出价格
$0.26 ~ $15每百万 tokens
免费额度$30 in inference credits on signup (valid 30 days); custom model hosting free tier: 1 deployed model
厂商档案
https://inference.baseten.co/v1
BASETEN_API_KEY
支持
US
⚠️ 部分可用（需稳定代理连接）
推理工具调用结构化输出视觉开源权重缓存计费
文本图片
代表模型
| 模型 | 输入 | 输出 | 上下文 | 能力 |
|---|---|---|---|---|
| $0.6/M | $2.4/M | 1.05M | 推理工具视觉开源 | |
| $0.15/M | $0.5/M | 1.05M | 推理工具视觉开源 | |
| $2.1/M | $6.6/M | 1.05M | 推理工具视觉开源 | |
| $1.32/M | $3.96/M | 1.05M | 推理工具开源 | |
| $0.5/M | $1.2/M | 1.05M | 推理工具视觉开源 |
完整模型清单
| 模型 | 输入 | 输出 | 上下文 | 模态 | 能力 | 发布 |
|---|---|---|---|---|---|---|
| $0.5/M | $1.2/M | 1.05M | 文本+图片 | 推理工具视觉开源 | 2026-07-30 | |
| $1/M | $4.05/M | 1.05M | 文本+图片 | 推理工具视觉开源 | 2026-07-15 | |
| $0.5/M | $1.5/M | 164K | 文本 | 推理工具开源 | 2025-08-25 | |
| $0.13/M | $0.26/M | 1.05M | 文本 | 推理工具开源 | 2026-07-31 | |
| $1.32/M | $3.96/M | 1.05M | 文本 | 推理工具开源 | 2026-08-12 | |
| $0.3/M | $1.2/M | 1.05M | 文本+图片 | 推理工具视觉开源 | 2026-09-10 | |
| $0.6/M | $2.4/M | 1.05M | 文本+图片 | 推理工具视觉开源 | 2026-09-10 | |
| $1.74/M | $3.48/M | 1.05M | 文本 | 推理工具开源 | 2026-04-24 | |
| $0.3/M | $1.2/M | 204K | 文本 | 推理工具开源 | 2026-02-12 | |
| $0.95/M | $4/M | 262K | 文本+图片 | 推理工具视觉开源 | 2026-04-21 | |
| $3/M | $15/M | 1.05M | 文本+图片 | 推理工具视觉开源 | 2026-07-16 | |
| $0.95/M | $4/M | 262K | 文本+图片 | 推理工具视觉开源 | 2026-06-12 | |
| $0.6/M | $3/M | 262K | 文本+图片 | 推理工具视觉开源 | 2026-01-30 | |
| $1.3/M | $4.3/M | 202.8K | 文本 | 推理工具开源 | 2026-04-07 | |
| $1.4/M | $4.4/M | 1.05M | 文本+图片 | 推理工具视觉开源 | 2026-06-13 | |
| $0.6/M | $2.2/M | 200K | 文本 | 推理工具开源 | 2025-12-22 | |
| $2.1/M | $6.6/M | 1.05M | 文本+图片 | 推理工具视觉开源 | 2026-06-13 | |
| $2.1/M | $6.6/M | 1.05M | 文本+图片 | 推理工具视觉开源 | 2026-08-14 | |
| $0.95/M | $3.15/M | 202.8K | 文本 | 推理工具开源 | 2026-02-12 | |
| $0.15/M | $0.5/M | 1.05M | 文本+图片 | 推理工具视觉开源 | 2026-08-26 | |
| $1.4/M | $4.4/M | 1.05M | 文本+图片 | 推理工具视觉开源 | 2026-08-14 | |
Nemotron Super |
$0.3/M | $0.75/M | 202.8K | 文本 | 推理工具开源 | 2026-03-11 |
| $0.6/M | $2.4/M | 202.8K | 文本 | 推理工具开源 | 2026-06-04 | |
| $0.1/M | $0.5/M | 128.1K | 文本 | 推理工具开源 | 2025-08-05 |
深度资料
Token 价格按公开资料整理
| 类型 | 价格 | 备注 |
|---|---|---|
| 输入 (Input) | Per-second GPU billing (H100: $1.89/hr, A100: $0.83/hr, L40S: $0.54/hr) | 每百万 tokens |
| 输出 (Output) | Model-dependent (inference time × GPU rate) | 每百万 tokens |
| 缓存读取 | N/A (no caching layer on hosted inference) | 享折扣 |
免费额度
$30 in inference credits on signup (valid 30 days); custom model hosting free tier: 1 deployed model
支持模型35 个
Llama 3.3 70B
Llama 3.1 405B
Mixtral 8x22B
Qwen 2.5 72B
Qwen 2.5 Coder 32B
DeepSeek V3
DeepSeek R1
Mistral Large 2
Phi-3.5 Medium
FLUX.1 [schnell]
SDXL
Stable Diffusion 3.5 Large
Whisper Large V3
XTTS v2
BGE Large v1.5
GTE-Qwen2 7B
Any custom model (Truss)优势
- Per-second GPU 计量，与 Replicate 同类竞品中按量计费最透明
- 支持自定义模型托管（Truss 框架），可一键部署 Hugging Face 模型
- Cold start < 1 秒（基于自研的预热池 + autoscaling）
- Dedicated Deployments 提供独占 GPU 实例，承诺 SLA
- 支持 PyTorch / TensorRT / vLLM 推理引擎，自动选择最优后端
- MCP server 支持 Claude/Cursor 集成
- 2025 年起对自部署模型免 GPU 闲置费（区别于 RunPod / Lambda Labs）
不足
- 无预训练模型市场（与 Replicate 200+ 模型相比，Baseten 更偏向自部署）
- 国内使用需稳定代理
- Per-second 计费对小请求（< 5s）优势不明显
- Truss 框架学习成本（vs 直接调用 HF Inference API）
- Dedicated Deployment 起步价高于 AWS/GCP 裸机实例
适合场景
自部署开源模型（Llama / Qwen / DeepSeek）到生产 GPU；需要 Dedicated SLA 的中大规模团队；MCP 集成到 Claude / Cursor
补充资料
💰 价格与方案
| 方案 / 模型 | 计费单位 | 输入 | 缓存输入 | 输出 / 费率 |
|---|---|---|---|---|
| Basic | $0/月，按量付费 | — | — | Model APIs + 专属部署 |
| GLM-5.3 | 每百万 tokens | $1.40 | $0.14 | $4.40 |
| DeepSeek V4 Pro 0813 | 每百万 tokens | $1.32 | $0.132 | $3.96 |
| DeepSeek-V4-Flash-0731 | 每百万 tokens | $0.13 | $0.028 | $0.26 |
| Kimi K3 | 每百万 tokens | $3.00 | $0.30 | $15.00 |
| NVIDIA Nemotron 3 Ultra | 每百万 tokens | $0.60 | $0.12 | $2.40 |
| GPT OSS 120B | 每百万 tokens | $0.10 | — | $0.50 |
| A100 80GB（专属） | 每分钟 GPU 时长 | — | — | $0.06667/分钟（约 $4.00/小时） |
| H100 80GB（专属） | 每分钟 GPU 时长 | — | — | $0.10833/分钟（约 $6.50/小时） |
| B200 180GB（专属） | 每分钟 GPU 时长 | — | — | $0.16633/分钟（约 $9.98/小时） |
| Pro / Enterprise | 批量折扣、定制 SLA | — | — | 联系销售报价 |
🔧 API 与开发者体验
- API 兼容性: OpenAI 与 Anthropic 兼容端点，地址 inference.baseten.co/v1
- 编码智能体: 原生支持 Claude Code、Codex CLI、Pi、Droid、OpenCode（通过 BASETEN_API_KEY 或 Baseten Switch）
- MCP 服务器: 官方工作区 MCP（api.baseten.co/mcp）+ 文档 MCP，支持智能体驱动部署
- 提示缓存: 复用前缀自动享 KV 缓存折扣；x-session-affinity 把同一会话固定到单个副本
- 自定义模型: 用 Truss（Baseten 开源标准）打包并以任意框架提供模型服务
- 按档位限流: Basic 15 RPM / 100K TPM → Basic 已验证 120/500K → Pro 120/1M → Enterprise 自定义
- 试用与计费: 新账号赠送免费额度；支持设置月度工作区预算并邮件提醒，可选强制拦截
⚡ Model APIs 与 Baseten 推理栈
Baseten 起步于自部署平台，如今其 Model APIs 已提供经过预优化的前沿开源权重模型目录——GLM-5.3、DeepSeek V4 Pro、Kimi K3、NVIDIA Nemotron 3 Ultra、GPT OSS 120B 与 Inkling——全部运行在 Baseten 推理栈上，并提供 OpenAI 与 Anthropic 兼容端点。计费按每百万 tokens 计算，分输入、缓存输入、输出三列：复用长系统提示词的工作负载，在 GLM-5.3 上每百万 tokens 只需 $0.14 而非 $1.40。缓存自动生效，session affinity 会把同一会话固定到单个副本以保持前缀热缓存。视觉、音频与扩展推理能力通过一份公开的功能支持矩阵呈现，而非藏在未文档化的开关里。当团队超出 token 计费模式时，可把同一模型迁到专属部署，按 GPU 时长每分钟计费，从 T4 一直到 B200。
🌐 中国大陆访问与延迟
Baseten 在中国大陆没有接入点。推理端点解析到美国区域，因此国内用户通常会看到额外 200-400 毫秒的往返延迟，需要经稳定代理或香港/新加坡中转访问。平台本身未被封锁，且由于提供 OpenAI 与 Anthropic 兼容接口，网络通路解决后现有的国内客户端代码无需改动即可使用。对延迟敏感的生产流量，实际做法是把 Baseten 的开源权重 Model APIs 作为国内厂商（如 GLM、Qwen）之后的质量兜底，或采用中国周边中转配合 Baseten Switch，让编码智能体只维护一套凭证。企业客户可部署到自有云或 VPC，这是把数据驻留固定在美国以外区域的唯一途径——Baseten 在该档位提供自定义全球区域。
推理云与托管其他厂商
6 家同分类下按目录顺序排列，可直接对比模型数量、价格区间与国内可用性。
Cerebras
需代理Cerebras · 目录排名 #4 · OpenAI 兼容
CS-4 晶圆芯片单 batch 推理速度优于通用 GPU 30 倍。
- 模型
- 2 个
- 输入
- $0.35 ~ $0.99
- 输出
- $0.75 ~ $1.49
免费额度注册即送 $5 试用额度，可访问全部 Cerebras 模型；速率限制较低
Hugging Face
部分可用Hugging Face · 目录排名 #5 · OpenAI 兼容
全球最大 AI 模型与数据集社区，200,000+ 模型 / 1,000,000+ 数据集 / 500,000+ Spaces（截至 2026-09-09）。
- 模型
- 81 个
- 输入
- $0.01 ~ $3
- 输出
- $0.06 ~ $15
免费额度免费用户每月 $0.10 推理额度，可读 200,000+ 模型；Spaces / Datasets 免费托管；Inferen…
Cloudflare Workers AI
需代理Cloudflare Workers AI · 目录排名 #5 · OpenAI 兼容
86 个模型目录：LLM / Embedding / 图像 / 音频全覆盖。
- 模型
- 27 个
- 输入
- $0.017 ~ $1.4
- 输出
- $0.03 ~ $4.88
免费额度每天 10,000 Neurons 免费（Workers Free 计划）
Fireworks AI
需代理Fireworks AI · 目录排名 #11 · OpenAI 兼容
Firefunction-v2 是专为 Function Calling 优化的模型。
- 模型
- 22 个
- 输入
- $0.05 ~ $4.5
- 输出
- $0.2 ~ $22.5
免费额度新用户 $0.50 免费额度
Groq
需代理Groq · 目录排名 #13 · OpenAI 兼容
LPU 推理引擎：Llama 3.3 70B 达 1,250 tok/s。
- 模型
- 16 个
- 输入
- $0.03 ~ $0.8
- 输出
- $0.03 ~ $4
免费额度免费速率限制（足够个人开发和小型测试使用）
CoreWeave（W&B Inference）
需代理CoreWeave · 目录排名 #14 · OpenAI 兼容
Nasdaq 上市公司（CRWV），英伟达持股约 11%，「neocloud」头部玩家。
- 模型
- 20 个
- 输入
- $0.03 ~ $1.31
- 输出
- $0.13 ~ $3.96
免费额度无永久免费层。Serverless Inference 按 token 计费；GPU 实例按小时计费（On-Demand）或有…
阅读提示价格、免费额度和网络可用性均为公开资料整理的结果，可能随官方政策与服务区域调整；实际价格和服务条款请以各厂商官方页面为准。
厂商资料取自多家公开模型目录并交叉整理；价格、免费额度与国内可用性按各家的公开口径展示，资料更新于 2026-09-14 02:32:12。
