自托管模型怎么选:企业真正要拿捏的是哪几层控制权
2026.10,Revolut 最近讲了一个很容易让企业 AI 团队心动的故事。 约 2,000 名工程师,约 56 块 B200 GPU,以 GLM 为默认编码模型;公开口径里,混合推理....
2026.10,约 2,000 名工程师、约 56 块 B200 GPU,这些数字摆在一起,说的是开放模型加自托管这套打法。
它正在替企业省下 90% 的 AI 成本。
不过 Agent 的使用边界也该说清楚。它真正提示我们的是另一件事:
模型越来越便宜,企业要重新定的不是从哪里买 Token,而是自己究竟该拥有哪一层智能。
1. 企业以为在讨论模型,其实在讨论六种控制权
很多不同的东西,我们常常混在一起谈。企业想要的可能是更低的推理成本,也可能是更强的数据控制、更少的供应商依赖、更稳定的响应时间,或者只是希望员工不必因为 Token 预算而缩手缩脚。这些目标对应的并不是同一种“自托管”。
所以,闭源 API、托管开放模型,各自交换的是成本弹性、能力上限、控制权、运维负担和退出选择权。
很多人会掉进两个误区。其一,权重许可证、代码许可证、商业再分发条款以及供应链来源,这几样可能互不相同;模型能下载下来,不等于在所有场景下都能不受限制地拿它做生意。
第二,本地运行不等于完全安全。模型即使放在企业机房,Agent 仍可能调用网页、邮件、MCP、第三方知识库和外部 API;数据是否出境,取决于完整数据流,而不是服务器是否摆在楼里。
但话说回来,用商业 API 也未必就意味着数据会被无限期留存、合规要求一定满足不了。区域驻留、零数据留存、专属协议这些,通常得按接口、按地区、按合同一项项去核实,光靠“本地还是云端”来一刀切并不可靠。
所以企业真正面对的,不是“买智能还是拥有智能”,而是:哪些控制权必须拿在自己手里,哪些可以继续外包。
2. 每百万 Token 的价格,是最容易误导人的数字
企业一旦开始讨论模型采购,最常见的比较方式是:谁每百万 Token 更便宜?
这个数字当然重要,但它最多只能回答预算表上的一个问题——这个模型最终有没有把任务做好,它答不了。
更完整的成本,至少有五层。
真正贴近业务价值的那句话,落在这个公式上:很多看上去便宜的方案,被这个公式一算就翻了个面。
每个成功任务总成本
=
模型推理 + 重试 + 验证 + 工具 + 人工介入
+ 容量分摊 + 可归因事故成本
──────────────────────────────
合格且通过验证的任务数比如一个弱模型每次只要 2 美分,合格率却只有 75%,再算上验证、升级到强模型、人工修正,未必比一次 20 美分的前沿模型划算。反过来,任务高度标准化、结果能自动验证、失败能快速回退,低价开放模型的长处就会被放大。
说到底,最该盯的单位是:每一个真正通过验收的任务花了多少钱。Agent 时代成本结构最根本的变化也在这里。过去企业买软件,按人头、按席位、按部门预算走;现在一个员工可能同时跑多个 Agent,一个 Agent 可能反复重放上下文、调用工具、启动子任务、失败后重试,再把结果交给另一个模型复核。
Menlo 的 2026 年企业 AI 报告估算,在 OpenRouter 这个偏开发者与创业者的平台上,Agent 已贡献约 80% 的 Token 使用量。这个比例代表不了全部企业,但指向同一个趋势:AI 支出越来越像“按工作量消耗的生产变量”,而不是“按员工购买的软件席位”。
3. Revolut 的 90%,不等于“买 GPU”的 90%
重新看
它做的是另外三件更难的事。头一件,是不让所有任务都去找同一个模型:开放模型扛默认编码负载,前沿模型留给例外任务,文本编码模型不擅长视觉,就把视觉任务转给别的模型。
第二件,是不把 GPU 当静态资产。同样数量的 GPU,推理服务调优之后请求吞吐上去了、首 Token 延迟下来了。先把现有 GPU 调好,再谈加卡。上下文窗口、。
第三件,它压下来的未必只是单位 Token 成本。Token 不再昂贵之后,工程师开始把 AI 用到过去“不值得用”的环节——不只写代码,还参与搜索、沟通、知识整理、工单处理、检查和验证。这样一来,成本下降未必让企业少花钱,倒可能让企业做更多原来不做的工作。
这也是“账单下降”和“Token 总量上升”能同时出现的原因。真正该看的是已验收任务数量、交付周期、缺陷率、人工介入有没有发生结构变化。
因此,
负载足够稳定、使用规模足够大、工程团队足够强,开放模型又能满足质量要求时,专属开放模型推理可能是一项很有价值的运营选择。但它并没有证明:所有企业自己养 GPU 都能拿到同样的结果。
4. 很多企业,先该优化工作流,而不是迁移模型
Cloudflare 的做法恰好提供了一个反向参照。
他们先盘了一遍整个 Agent 工作流:同样的前缀是不是被反复发出去、工具描述有没有写得太长、无效的工具调用能不能直接删、审查环节有没有多余的回合、不同任务是不是该配不同强度的模型。
盘完之后,代码审查的平均成本从 2.43 美元上下落到 0.77 美元,中位完成时间则由 4 分 09 秒缩短到 1 分 32 秒。
道理说穿了很简单:换模型之前,先看看工作流里有没有 Token 在白白烧掉。
一段没用的系统提示、一次重复的工具调用、一个始终收不了尾的 Agent 回合,还有一套不看任务难度、一律用同一档模型的默认策略,都会一点点把预算吃掉。
不少企业把大量时间花在“自建还是走 API”这道选择题上,反倒没先回答几个更基本的问题。
哪些任务真得用最强的模型?
哪些上下文在被重复发送? 哪些任务能批处理? 哪些任务能缓存? 哪些模型出的错会被自动验证器拦下来? 哪些任务必须交给人复核? 哪些 Agent 该设预算和停止条件? 这些问题的答案,通常比“模型出自哪家厂商”更早决定成本高低。
美团在搜索推荐的小模型推理场景里,也印证了同一条规律。
它并没有简单地去给通用大模型提速,而是任务足够确定、输出足够短、负载形态足够清楚,才谈得上围绕
真正能搬走的,不是“某个系统快了十倍”这个数字。
而是这套方法:先把负载的结构摸清楚,再去挑模型、推理服务和硬件结构。
5. 开放模型在涨,前沿闭源模型也在涨
眼下围绕开放模型和闭源模型的争论,经常被描述成一场替代之战。
实际情况更像是分层。
Menlo 的估算显示,开放模型在其观察范围内的 Token 使用份额升到 19%,可支出份额只占 4%;另一边,前沿闭源模型拿走了约 42% 的 Token 使用和 63% 的支出。
这两组数字看着矛盾,指向的其实是同一件事。
那些价格低、可替代、可验证的任务,正大批转向开放模型。
遇到高难度编码、复杂推理、长程 Agent、研究型任务以及容错空间很小的决策,企业还是愿意为前沿能力多掏一笔明显的钱。
开放权重这不等于所有模型能力都被做成了标准商品。
它先做到的,是让一部分任务上的智能供给有了替代选项。
对企业来说,这件事的分量不轻。
放在过去,企业面前往往只有两条路:要么用最强但很贵的 API,要么干脆先不做 AI。
如今它可以几样同时拿到手:
最困难、最烧钱的任务,交给前沿闭源模型; 高频、标准化、对成本敏感的负载,由托管开放模型接住; 专属推理实例 那些确实对数据、性能或供应链控制有要求的场景,用自营 GPU 来支撑; 再靠路由与回退机制,按任务、成本、延迟和风险动态切换。
这不是某一个模型赢了。
企业由此开始拥有“
6. 自托管最需要的,不是大企业身份,而是六个条件
要不要自托管,看行业、看公司规模、看老板对 GPU 的偏好,都判断不出来。
它更像一道需要同时满足多个条件的题。
第一,负载足够大。
关键不是员工人数多,而是真实的有效调用量大;也不是偶尔冒出一个峰值,而是能在长时间里把容量持续用起来。
第二,负载足够可预测。
业务峰谷如果差得厉害,企业为覆盖高峰买下的 GPU,多数时间可能就闲着。
第三,质量足够可比。
得用同一套真实业务评估,证明候选开放模型在目标任务上达到了可接受的质量。通用 Benchmark 不能作为唯一依据,几条演示样例也不算数。
第四,服务水平可兑现。
模型“放得下”不等于服务得好。真正要压的是
第五条,团队得能长期扛住维护。
自托管从来不是部署完就一劳永逸。模型要迭代,框架会换,量化方案会更新,工具协议可能对不上,安全边界得重新审,故障也躲不掉。
第六条,退出成本要能兜住。
一年之后,万一 API 更便宜了、开源模型更能打了、硬件速度更快了,或者自家业务用量掉下来了,企业还能不能顺顺当当切回托管服务?
这一条常常没人提。
OpenRouter 有一份成本对比说得明白:只有负载够高,GPU 才可能比 API 划算;碰到某些大型
自托管跟信仰不沾边。
它只是在某个时间段、某类负载、某组价格条件下,算出来的局部最优。
7. 企业未来真正该拥有的,是智能控制层
模型会换。
GPU 是会折旧的。
API 也会降价。
眼下最强的模型,到明年说不定只是路由表里的一个候选。
能沉淀下来的,是企业组织智能的那套本事——至少得有自己的 Harness。
这套结构里头,起码包含这么一层:
业务目标、数据边界、权限与风险约束
↓
任务分类、难度判断、数据敏感性分层
↓
模型注册表、路由策略、预算与配额
↓
闭源 API / 托管开放模型 / 专属实例 / 企业 GPU
↓
工具调用、检索、长程 Agent、受控执行环境
↓
验证器、人工审批、日志、事故回放
↓
任务结果、质量评估、成本台账、失败样本与模型迭代听着确实不如“我们手里有多少张 B200”来得带劲。
可它离企业真正的 AI 资产更近。
一家企业光有 GPU 和一份模型权重,却说不清哪个任务该派给它、结果怎么验、权限怎么管、返工怎么计量、什么时候退回更强的模型,那它攥着的不过是一堆贵设备。
反过来说,企业要是握有真实任务集、能复算的评估标准、失败样本、模型路由再加上 Agent Harness、权限审计和持续反馈机制,哪怕换了模型供应商,它的能力也不会清零。
“控制智能”说的就是这个。
不是去控制某一个模型,而是管住智能进入业务的通道。
8. 企业不必拥有全部智能,但得握有选择权
对多数企业来说,立马掏钱买卡并非最合理的走法。
先把台账建起来,量一量真实任务花多少钱;先把评估做起来,摸清各模型在业务里的完成率;先把缓存、工具调用和工作流优化好;再拿小流量做路由;专属推理和自托管,留到最后再试。
稳定高量、质量可比、服务可兑现、组织能维护、退出成本可控,这几条得同时成立,GPU 才有可能从“资产负担”转为“生产能力”。
往后企业间的差距,也不会只落在谁调用了最强模型、谁买的 GPU 最多上。真正的分野在于谁更早具备这样一种能力:
模型在换、价格在变、算力和供应商也不停变动,这种情况下仍能判断:哪些任务值得自动化,该调用哪个模型,什么结果必须核验,哪些风险不能交给机器。
智能越来越便宜,企业要攥在手里的,其实不只是 Token。更关键的是把智能转成可持续、可验证、可治理的生产能力的那份控制权。
>/,920.org.cn(AI Research Institute)创始人,港大AIBT研究生,前上市公司 CMO。长期研究 AI 产品、Agent 架构与商业增长,并持续观察技术变迁如何重塑人的工作、判断与生活。
*《AIGC从0到1》系列丛书和东方寓言小说《飞将军》均出自其手;
*对先机嗅觉敏锐,1月26日成为中文互联网第1个看出 OpenClaw(小龙虾)范式价值的人;
关注我,一起AIGC从0到1~