自托管模型怎么选:企业真正要拿捏的是哪几层控制权

资讯 腾讯网 作者:AIGC从0到1 全文 4908 字 · 约 13 分钟读完 分类GLM芯片

2026.10,Revolut 最近讲了一个很容易让企业 AI 团队心动的故事。 约 2,000 名工程师,约 56 块 B200 GPU,以 GLM 为默认编码模型;公开口径里,混合推理....

所属频道 算力与芯片开源生态

2026.10,约 2,000 名工程师、约 56 块 B200 GPU,这些数字摆在一起,说的是开放模型加自托管这套打法。

它正在替企业省下 90% 的 AI 成本。

不过 Agent 的使用边界也该说清楚。它真正提示我们的是另一件事:

模型越来越便宜,企业要重新定的不是从哪里买 Token,而是自己究竟该拥有哪一层智能。


1. 企业以为在讨论模型,其实在讨论六种控制权

很多不同的东西,我们常常混在一起谈。企业想要的可能是更低的推理成本,也可能是更强的数据控制、更少的供应商依赖、更稳定的响应时间,或者只是希望员工不必因为 Token 预算而缩手缩脚。这些目标对应的并不是同一种“自托管”。

企业真正控制的对象
典型方式
模型能力
调用闭源前沿 API、使用
推理服务
第三方 API、专属实例、企业自建推理集群
硬件资源
云厂商共享资源、预留 GPU、租 GPU、自购 GPU
业务数据
区域数据驻留、零数据留存、专属云、本地运行
工作流与决策
任务分类、
组织反馈
失败样本、评估集、审计记录、业务指标与持续迭代

所以,闭源 API、托管开放模型,各自交换的是成本弹性、能力上限、控制权、运维负担和退出选择权。

很多人会掉进两个误区。其一,权重许可证、代码许可证、商业再分发条款以及供应链来源,这几样可能互不相同;模型能下载下来,不等于在所有场景下都能不受限制地拿它做生意。

第二,本地运行不等于完全安全。模型即使放在企业机房,Agent 仍可能调用网页、邮件、MCP、第三方知识库和外部 API;数据是否出境,取决于完整数据流,而不是服务器是否摆在楼里。

但话说回来,用商业 API 也未必就意味着数据会被无限期留存、合规要求一定满足不了。区域驻留、零数据留存、专属协议这些,通常得按接口、按地区、按合同一项项去核实,光靠“本地还是云端”来一刀切并不可靠。

所以企业真正面对的,不是“买智能还是拥有智能”,而是:哪些控制权必须拿在自己手里,哪些可以继续外包。


2. 每百万 Token 的价格,是最容易误导人的数字

企业一旦开始讨论模型采购,最常见的比较方式是:谁每百万 Token 更便宜?

这个数字当然重要,但它最多只能回答预算表上的一个问题——这个模型最终有没有把任务做好,它答不了。

更完整的成本,至少有五层。

成本层
真正该算什么
模型调用成本
输入、输出、缓存、工具调用、推理 Token
推理容量成本
GPU 租金或折旧、网络、电力、冗余、峰值预留
运行系统成本
MLOps、监控、安全、模型升级、故障恢复
成功任务成本
重试、升级、验证、人工审核、返工、等待
组织战略成本
厂商锁定、迁移难度、合规限制、基础设施注意力

真正贴近业务价值的那句话,落在这个公式上:很多看上去便宜的方案,被这个公式一算就翻了个面。

每个成功任务总成本
=
模型推理 + 重试 + 验证 + 工具 + 人工介入
+ 容量分摊 + 可归因事故成本
──────────────────────────────
         合格且通过验证的任务数

比如一个弱模型每次只要 2 美分,合格率却只有 75%,再算上验证、升级到强模型、人工修正,未必比一次 20 美分的前沿模型划算。反过来,任务高度标准化、结果能自动验证、失败能快速回退,低价开放模型的长处就会被放大。

说到底,最该盯的单位是:每一个真正通过验收的任务花了多少钱。Agent 时代成本结构最根本的变化也在这里。过去企业买软件,按人头、按席位、按部门预算走;现在一个员工可能同时跑多个 Agent,一个 Agent 可能反复重放上下文、调用工具、启动子任务、失败后重试,再把结果交给另一个模型复核。

Menlo 的 2026 年企业 AI 报告估算,在 OpenRouter 这个偏开发者与创业者的平台上,Agent 已贡献约 80% 的 Token 使用量。这个比例代表不了全部企业,但指向同一个趋势:AI 支出越来越像“按工作量消耗的生产变量”,而不是“按员工购买的软件席位”。


3. Revolut 的 90%,不等于“买 GPU”的 90%

重新看

它做的是另外三件更难的事。头一件,是不让所有任务都去找同一个模型:开放模型扛默认编码负载,前沿模型留给例外任务,文本编码模型不擅长视觉,就把视觉任务转给别的模型。

第二件,是不把 GPU 当静态资产。同样数量的 GPU,推理服务调优之后请求吞吐上去了、首 Token 延迟下来了。先把现有 GPU 调好,再谈加卡。上下文窗口、。

第三件,它压下来的未必只是单位 Token 成本。Token 不再昂贵之后,工程师开始把 AI 用到过去“不值得用”的环节——不只写代码,还参与搜索、沟通、知识整理、工单处理、检查和验证。这样一来,成本下降未必让企业少花钱,倒可能让企业做更多原来不做的工作。

这也是“账单下降”和“Token 总量上升”能同时出现的原因。真正该看的是已验收任务数量、交付周期、缺陷率、人工介入有没有发生结构变化。

因此,

负载足够稳定、使用规模足够大、工程团队足够强,开放模型又能满足质量要求时,专属开放模型推理可能是一项很有价值的运营选择。但它并没有证明:所有企业自己养 GPU 都能拿到同样的结果。


4. 很多企业,先该优化工作流,而不是迁移模型

Cloudflare 的做法恰好提供了一个反向参照。

他们先盘了一遍整个 Agent 工作流:同样的前缀是不是被反复发出去、工具描述有没有写得太长、无效的工具调用能不能直接删、审查环节有没有多余的回合、不同任务是不是该配不同强度的模型。

盘完之后,代码审查的平均成本从 2.43 美元上下落到 0.77 美元,中位完成时间则由 4 分 09 秒缩短到 1 分 32 秒。

道理说穿了很简单:换模型之前,先看看工作流里有没有 Token 在白白烧掉。

一段没用的系统提示、一次重复的工具调用、一个始终收不了尾的 Agent 回合,还有一套不看任务难度、一律用同一档模型的默认策略,都会一点点把预算吃掉。

不少企业把大量时间花在“自建还是走 API”这道选择题上,反倒没先回答几个更基本的问题。

哪些任务真得用最强的模型?

  • 哪些上下文在被重复发送?
  • 哪些任务能批处理?
  • 哪些任务能缓存?
  • 哪些模型出的错会被自动验证器拦下来?
  • 哪些任务必须交给人复核?
  • 哪些 Agent 该设预算和停止条件?
  • 这些问题的答案,通常比“模型出自哪家厂商”更早决定成本高低。

美团在搜索推荐的小模型推理场景里,也印证了同一条规律。

它并没有简单地去给通用大模型提速,而是任务足够确定、输出足够短、负载形态足够清楚,才谈得上围绕

真正能搬走的,不是“某个系统快了十倍”这个数字。

而是这套方法:先把负载的结构摸清楚,再去挑模型、推理服务和硬件结构。


5. 开放模型在涨,前沿闭源模型也在涨

眼下围绕开放模型和闭源模型的争论,经常被描述成一场替代之战。

实际情况更像是分层。

Menlo 的估算显示,开放模型在其观察范围内的 Token 使用份额升到 19%,可支出份额只占 4%;另一边,前沿闭源模型拿走了约 42% 的 Token 使用和 63% 的支出。

这两组数字看着矛盾,指向的其实是同一件事。

那些价格低、可替代、可验证的任务,正大批转向开放模型。

遇到高难度编码、复杂推理、长程 Agent、研究型任务以及容错空间很小的决策,企业还是愿意为前沿能力多掏一笔明显的钱。

开放权重这不等于所有模型能力都被做成了标准商品。

它先做到的,是让一部分任务上的智能供给有了替代选项。

对企业来说,这件事的分量不轻。

放在过去,企业面前往往只有两条路:要么用最强但很贵的 API,要么干脆先不做 AI。

如今它可以几样同时拿到手:

  • 最困难、最烧钱的任务,交给前沿闭源模型;
  • 高频、标准化、对成本敏感的负载,由托管开放模型接住;
  • 专属推理实例
  • 那些确实对数据、性能或供应链控制有要求的场景,用自营 GPU 来支撑;
  • 再靠路由与回退机制,按任务、成本、延迟和风险动态切换。

这不是某一个模型赢了。

企业由此开始拥有“


6. 自托管最需要的,不是大企业身份,而是六个条件

要不要自托管,看行业、看公司规模、看老板对 GPU 的偏好,都判断不出来。

它更像一道需要同时满足多个条件的题。

第一,负载足够大。

关键不是员工人数多,而是真实的有效调用量大;也不是偶尔冒出一个峰值,而是能在长时间里把容量持续用起来。

第二,负载足够可预测。

业务峰谷如果差得厉害,企业为覆盖高峰买下的 GPU,多数时间可能就闲着。

第三,质量足够可比。

得用同一套真实业务评估,证明候选开放模型在目标任务上达到了可接受的质量。通用 Benchmark 不能作为唯一依据,几条演示样例也不算数。

第四,服务水平可兑现。

模型“放得下”不等于服务得好。真正要压的是

第五条,团队得能长期扛住维护。

自托管从来不是部署完就一劳永逸。模型要迭代,框架会换,量化方案会更新,工具协议可能对不上,安全边界得重新审,故障也躲不掉。

第六条,退出成本要能兜住。

一年之后,万一 API 更便宜了、开源模型更能打了、硬件速度更快了,或者自家业务用量掉下来了,企业还能不能顺顺当当切回托管服务?

这一条常常没人提。

OpenRouter 有一份成本对比说得明白:只有负载够高,GPU 才可能比 API 划算;碰到某些大型

自托管跟信仰不沾边。

它只是在某个时间段、某类负载、某组价格条件下,算出来的局部最优。


7. 企业未来真正该拥有的,是智能控制层

模型会换。

GPU 是会折旧的。

API 也会降价。

眼下最强的模型,到明年说不定只是路由表里的一个候选。

能沉淀下来的,是企业组织智能的那套本事——至少得有自己的 Harness。

这套结构里头,起码包含这么一层:

业务目标、数据边界、权限与风险约束
                ↓
任务分类、难度判断、数据敏感性分层
                ↓
模型注册表、路由策略、预算与配额
                ↓
闭源 API / 托管开放模型 / 专属实例 / 企业 GPU
                ↓
工具调用、检索、长程 Agent、受控执行环境
                ↓
验证器、人工审批、日志、事故回放
                ↓
任务结果、质量评估、成本台账、失败样本与模型迭代

听着确实不如“我们手里有多少张 B200”来得带劲。

可它离企业真正的 AI 资产更近。

一家企业光有 GPU 和一份模型权重,却说不清哪个任务该派给它、结果怎么验、权限怎么管、返工怎么计量、什么时候退回更强的模型,那它攥着的不过是一堆贵设备。

反过来说,企业要是握有真实任务集、能复算的评估标准、失败样本、模型路由再加上 Agent Harness、权限审计和持续反馈机制,哪怕换了模型供应商,它的能力也不会清零。

“控制智能”说的就是这个。

不是去控制某一个模型,而是管住智能进入业务的通道。


8. 企业不必拥有全部智能,但得握有选择权

对多数企业来说,立马掏钱买卡并非最合理的走法。

先把台账建起来,量一量真实任务花多少钱;先把评估做起来,摸清各模型在业务里的完成率;先把缓存、工具调用和工作流优化好;再拿小流量做路由;专属推理和自托管,留到最后再试。

稳定高量、质量可比、服务可兑现、组织能维护、退出成本可控,这几条得同时成立,GPU 才有可能从“资产负担”转为“生产能力”。

往后企业间的差距,也不会只落在谁调用了最强模型、谁买的 GPU 最多上。真正的分野在于谁更早具备这样一种能力:

模型在换、价格在变、算力和供应商也不停变动,这种情况下仍能判断:哪些任务值得自动化,该调用哪个模型,什么结果必须核验,哪些风险不能交给机器。

智能越来越便宜,企业要攥在手里的,其实不只是 Token。更关键的是把智能转成可持续、可验证、可治理的生产能力的那份控制权。


>/,920.org.cn(AI Research Institute)创始人,港大AIBT研究生,前上市公司 CMO。长期研究 AI 产品、Agent 架构与商业增长,并持续观察技术变迁如何重塑人的工作、判断与生活。

*《AIGC从0到1》系列丛书和东方寓言小说《飞将军》均出自其手;

*对先机嗅觉敏锐,1月26日成为中文互联网第1个看出 OpenClaw(小龙虾)范式价值的人;

关注我,一起AIGC从0到1~

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 国产大模型占海外开源支出89%,存储成本成新压力

    (本文作者为 硅碳变量,钛媒体经授权发布)文|硅碳变量,作者|温宁硅谷知名风险投资机构门罗风投(Menlo Ventures)发布的《2026年企业AI现状报告》显示,美国企业用于开源模型的支出中,89%付给了中国模型。前三名中,Kimi占61%,DeepSeek占15%,GLM占11%。市场很愿意接受一套简洁叙事:依

    来源 腾讯网
  2. 黄仁勋辞职,周鸿祎:美国对华芯片政策分歧才是关键

    【TechWeb】11月14日消息,英伟达创始人黄仁勋突然辞职后,360创始人周鸿祎接连发布多条视频表达观点。他认为,英伟达失去的不只是一位CEO,更是一位能提前十年判断技术方向的创始人,若处理不当恐重蹈苹果当年赶走乔布斯的覆辙;与此同时,黄仁勋的离开也折射出美国对华芯片政策背后的深层博弈,但中国AI的发展不会因外部.

    来源 腾讯网
  3. 移芯通信递表港交所:营收连年增长,Cat.1bis芯片售价近腰斩

    近期,上海移芯通信科技股份有限公司(下称“移芯通信”)提交了招股说明书,拟港股IPO上市。笔者注意到,移芯通信是蜂窝通信芯片供应商,主营LTE/5G蜂窝通信芯片,2023至2025年营收复合增速13.72%,按收入口径位列全球蜂窝通信芯片市场第三名,市场份额3.9%。但营收增长背后,公司盈利稳定性较差,三年半仅2024

    来源 腾讯网
  4. 苹果HomeView首批评测:Siri AI短板与隐私担忧待解?

    IT之家 11 月 15 日消息,苹果首款智能家庭中枢 HomeView 已经于 11 月 13 日在海外上市,配备 7 英寸 Liquid Retina 显示屏、A18 芯片、人脸识别功能,但外界期待已久的 Siri AI 仍处于测试阶段,如今出炉的首批媒体评测、用户体验说明,苹果还有大量工作没有完成。 NBC 首席

    来源 AI 行业观察
  5. 黄仁勋谋划回归英伟达:国会质询与Anthropic IPO本周登场

    英伟达董事会夹在两股方向相反的力量之间,独立调查仍在进行,而这场角力的走向,将直接定义这家市值数万亿美元芯片巨头的未来权力结构。另外,Anthropic代表的一种更隐蔽、更系统性的产业政策游说对此次黄仁勋下台事件的影响也被媒体曝光。另外,美国参议员Chris Coons在针对黄仁勋的指控出炉后迅速公开发难,而他今年七月

    来源 TechWeb
  6. 黄仁勋谋划回归英伟达:16万人联署,国会质询与万亿IPO同周登场

    英伟达董事会夹在两股方向相反的力量之间,独立调查仍在进行,而这场角力的走向,将直接定义这家市值数万亿美元芯片巨头的未来权力结构。另外,Anthropic代表的一种更隐蔽、更系统性的产业政策游说对此次黄仁勋下台事件的影响也被媒体曝光。另外,美国参议员Chris Coons在针对黄仁勋的指控出炉后迅速公开发难,而他今年七月

    来源 TechWeb
  7. Marvell斥资1150亿美元收购Lumentum,科技史最大并购案诞生

    近日,美国芯片公司Marvell(中文名称:美满科技)宣布,已与光通信器件制造商Lumentum(中文名称:朗美通)签署最终协议,以全股票方式收购后者,交易隐含企业价值约1150亿美元,折合人民币7671亿元。这无疑是一笔足以引爆全球科技行业的并购交易。首先从金额来看,1150亿美元已经超过当年微软收购动视暴雪时的69

    来源 腾讯网
  8. 华为麒麟 9050 系列芯片新一代巴龙 AI Modem 情报公开:首创融合通信架构、业界首发四卡三待

    IT之家 11 月 15 日消息,华为官方今日继续揭秘首款「逻辑折叠」技术 τ 芯片 —— 麒麟 9050 系列更多配置信息,今日最新公开了新一代巴龙 AI Modem 的情报。据介绍,新一代巴龙 AI Modem 首创融合通信架构,含 Modem AI 通信架构、多系统协同架构和星地一体融合架构,支持智能选网、地铁模

    来源 腾讯网
  9. 模拟芯片六巨头季报:AI数据中心抢走封测产能,交期最长拉到32周

    过去一个月时间里,德州仪器、恩智浦、意法半导体、瑞萨电子、Microchip和英飞凌相继披露了最新季报。作为全球模拟芯片、MCU及功率半导体的绝对主力,这六家巨头的业绩集体回暖:Microchip营收同比激增42.2%,TI大增28%,恩智浦与意法半导体均实现近两成增长,英飞凌更是创下单季营收新高。 业绩端的复苏已无需

    来源 AI 行业观察
  10. 三星奥斯汀厂投19亿美元扩产:为SpaceX星链造STM32V8芯片

    为此,三星将投资19亿美元扩建奥斯汀工厂的生产设施,目标在2030年前投入运营。报道引述芯片行业消息人士及美国商务部15日消息称,此次扩产旨在将部分目前于法国生产的STM32V8产能转移至美国本土。三星方面对单一客户合同表示不予官方确认。SpaceX已在星链低地球轨道卫星之间的微型激光链路系统中采用该芯片,用于卫星间的

    来源 TechWeb
  11. 科创芯片ETF嘉实(588200):前十大权重占61.25%,资金为何关注?

    截至2026年11月16日 10:09,上证科创板芯片指数下跌4.41%。成分股方面,杰华特领跌,普冉股份、仕佳光子、东芯股份、芯原股份等跟跌。消息面,三星电子将扩建位于得克萨斯州奥斯汀的芯片工厂,为马斯克旗下太空企业SpaceX生产星链卫星搭载的STM32V8微控制器(MCU)。三星已经在得州布局晶圆代工基地,如今在

    来源 腾讯网
  12. Rapidus 社长小池淳义重申企业计划:2027 年末 ~2028 年初启动 2nm 量产

    IT之家 11 月 16 日消息,据《朝日新闻》当地时间 13 日报道,日本先进半导体制造企业 Rapidus 社长小池淳义同日在东京表示,该企业计划在 2027 年末 ~ 2028 年初启动 2nm 尖端逻辑制程的量产。 Rapidus 此前确定了 2027 财年下半期(2027 日历年 10月 ~ 2028 日历年

    来源 AI 行业观察
  13. 黄仁勋辞职、英伟达安全主管8月离职:AI芯片出口管制下的治理盲区

    2026年11月,英伟达安全主管于8月悄然离职的消息浮出水面,而CEO黄仁勋因个人关系问题宣布辞职,其中涉及他与一家被怀疑向中国输送芯片的公司高管的关系。一位前情报官员指出,这类通过日常对话泄露的信息,恰恰是多数企业安全团队最缺乏能力捕捉的盲区。事件暴露出AI芯片巨头在出口管制与内部治理上的双重挑战。

    来源 AI 科技快讯
  14. 黄仁勋辞职后盟友筹建“作战室”,力推创始人回归英伟达

    深陷丑闻数日后闪电辞职,黄仁勋却可能很快重返英伟达。据Ars Technica报道,其核心圈子正组建非正式“作战室”,试图推动这位创始人重新掌舵。这场围绕个人与公司的博弈,折射出AI芯片巨头在公司治理与创始人光环之间的深层张力:英伟达卖的不只是芯片,还有一张由黄仁勋本人书写了十余年的路线图。

    来源 AI 科技快讯
  15. 黄仁勋辞任英伟达CEO:临时CEO克雷斯接棒,新云借款方风险最大

    一名AI基础设施投资者表示,黄仁勋从英伟达辞职,对AI行业中负债最重的借款方冲击最大。黄仁勋于上周四辞职。图片来源:Heather Diehl/Getty Images上周四,英伟达宣布,黄仁勋已辞去公司总裁、首席执行官和董事职务,立即生效。此前,他承认与一名女性有婚外情,英伟达董事会随即展开调查。目前,首席财务官科莱

    来源 腾讯网
  16. 英伟达遭遇多线挑战:AMD、谷歌、亚马逊追赶,大客户自研芯片提速

    英伟达在AI芯片市场的统治地位正面临前所未有的挑战。即便没有黄仁勋近期的风波,AMD、谷歌、亚马逊等竞争对手的追赶步伐也已明显加快,而大客户纷纷自研芯片更让这家芯片巨头腹背受敌。分析人士指出,这场混乱可能成为挑战者撬动英伟达护城河的绝佳窗口。本文剖析英伟达真正的结构性风险,以及这场AI算力霸主之争的下一步走向

    来源 AI 科技快讯
  17. 北科天弓天芯获数千万元种子轮融资,二维半导体瞄准1nm以下制程

    作者 | 邱晓芬 编辑 | 袁斯来 硬氪获悉,二维半导体公司北科天弓天芯(北京)科技有限公司(以下简称「天弓天芯」)近日完成数千万元种子轮融资,由中科创星、英诺基金出资。本轮资金将主要用于团队建设、晶圆生产能力建设及技术成果转化。 「天弓天芯」成立于2026年5月,是北京科技大学张跃院士团队的科技成果转化项目,专注于打

    来源 AI 行业观察
  18. 钢研纳克回应第三代半导体粉体检测:Plasma 3000 已有成熟方案

    有投资者向钢研纳克(300797.SZ)提问,公司 Plasma 系列 ICP 已经建立高纯氮化硅粉体杂质检测方法。请问针对碳化硅、氮化镓等第三代半导体粉体,公司是否已经配套成熟检测方案?这类新材料仪器与检测业务目前商业化进展如何?11月16日,公司回答表示,Plasma 3000是公司仪器板块自研的双向观测全谱电感耦

    来源 腾讯网
  19. 台积电按客户信用额度分配产能,AI循环融资疑虑升温

    IT之家 11 月 16 日消息,据中国台湾地区媒体《工商时报》今天报道,AI 时代循环融资疑虑升温,台积电将客户财务资料与数据中心建设需求纳入需求评估,特殊应用集成电路(ASIC)从业者也加紧筹资。 据从业者透露,台积电根据各公司资产负债表拟定信用额度,同时考量历史损失率、竞争力及营运展望;当下单金额超出额度,就需要

    来源 AI 行业观察
  20. 麒麟9050系列:巴龙AI Modem首创融合通信架构,火车游戏卡顿降48%

    IT之家 11 月 15 日消息,华为官方今日继续揭秘首款「逻辑折叠」技术 τ 芯片 —— 麒麟 9050 系列更多配置信息,今日最新公开了新一代巴龙 AI Modem 的情报。 据介绍,新一代巴龙 AI Modem 首创融合通信架构,含 Modem AI 通信架构、多系统协同架构和星地一体融合架构,支持智能选网、地铁

    来源 AI 行业观察
向下滚动自动加载更多