门罗风投报告:美企开源模型支出89%流向中国模型
收入按词元核算,成本却跟着GB走。
门罗风投(Menlo Ventures)是一家在硅谷颇有知名度的风险投资机构。它发布的《2026年企业AI现状报告》显示,美国企业在开源模型上的开销里,有89%进了中国模型厂商的口袋。具体到前三名,Kimi拿下61%,DeepSeek拿到15%,GLM为11%。
一套简单的说法很容易被市场接受:国产大模型凭性能和价格,把海外开发者的预算揽了过来。
可同一份报告还摆了另一组数字。开源模型在Token用量上已经占到近五分之一(19%),然而在企业模型总支出中的比重只有4%,企业AI预算的大头仍旧落在闭源大模型那边。
也就是说,89%这份份额浓度不低,绝对体量却有限。
体量还不是最要紧的问题,真正的变动藏在成本结构里。卖词元看着是卖算力,实际交付的却是状态。状态不落在算力上,它待在内存和存储里,而这两类元器件正是这轮涨价压力最集中的地方。
矛盾就出来了:钱按词元收,成本却随GB涨。
01.流量在跑,资产在静置
各大聚合平台不断刷新Token调用榜单,市场上盯着这些数字,讨论国产大模型在海外开源市场的份额之争。多数分析还是把叙事拴在模型能力和报价优势上,默认这归根到底是一桩“算力换Token”的买卖。
放在传统的对话场景里,这么理解还说得通。但眼下撑起海外新增流量的Agent任务,负载的底层逻辑已经在分化。
传统对话推理对应的资源模型很直观,当下绝大多数API定价体系也建立在这个基础之上。
这套理想框架是这样跑的:用户提问,推理集群算完把内容返回来;一轮对话结束、会话关闭,这次请求占用的缓存跟着释放,硬件回到空闲。
服务商据此可以按Token总量估成本。集群利用率还有余量的时候,吞吐越高越有机会把单位开销摊薄,低价跑量、以规模换利润的逻辑因此站得住,Token数量和资源消耗也被默认走在相近的增长节奏上。
可在海外聚合渠道里,拉动增量的流量主力正从零散的人机对话转向带自动化链路的Agent任务。
这类负载的资源节奏和普通问答明显不同。任务启动阶段,有些场景要灌进几十万Token级别的前置文档和批量业务数据;接着是数十轮链式工具调用,不停检索、读取外部信息;整个会话可能挂起好几个小时甚至更久,同一份前置上下文被反复复用。
更要紧的是,只要没人主动关掉会话,这部分上下文缓存就一直占着资源。模型还在不断生成新Token,可追加缓存并不会自动把这块占用还给资源池。
长会话Agent流量的占比往上走,约束点也跟着换:比的就不只是推理速度了,系统能同时撑住多少常驻会话,会变成新的紧约束。
厂商对外宣传的百万级上下文窗口,多数时候是卖给客户的产品卖点;落到机房的资源账上,它意味着会话一旦把窗口用起来,每一路活跃并发都可能要预留数十GB的HBM空间,用来托住持续在线的会话状态。
市面上的KV量化、MLA以及各类缓存压缩技术,目的都是压低单会话的显存开销、抬高集群能承载的并发规模。
但这些手段说到底只是优化单位成本,那条底层约束很难绕开:会话只要处在可随时响应的活跃状态,核心状态数据就得驻留在高速存储里。
这轮词元流量的扩张,核心增量并不完全来自新生成的输出文本。
万亿级调用量容易给人造成错觉,好像增长全靠源源不断的新内容生成。其实有相当一部分流量增长,对应的是集群里持续堆叠、长期锁定、又很难低成本跨任务调度回收的动态状态资产。
平台统计面板通常只记进出的Token数量。可放到服务商的经营账本里,真正持续沉淀下来的成本,是那些长期被占用、很难低成本二次分配给其他业务的显存和高速内存。
矛盾也在这里显出来:行业主流的计价框架还是从瞬时算力时代脱胎来的,收入按输入、输出词元计量。对应的资本开支和高速显存占用成本,却随并发会话的驻留时长不停累积。
有的Agent会挂起运行一整天,单位时间产出的词元很少,营收有限,显存却一直被占着。它把榜单上的调用规模抬了上去,收入跟不上资源的持续消耗,原本趋于同步的两条增长曲线就这样拉开了缺口。
成本与计费这样错着位,Token出海这条赛道的竞争底色或许正被一点点改写。
过去打法很直接:把单Token的算力开销压下去,靠低价换量,再用规模把硬件投入摊薄。可当负载结构往Agent那头偏,只盯着吞吐和报价这一个维度,就可能掉进流量往上走、利润往下收的坑里。调用数往上蹿,看着像业务在变好,问题是不少服务商没留意,越攒越多的会话状态资产正在一点点啃毛利。
份额榜单再热闹,也是摆在明面上的;状态资产管得好不好,或许正划出另一条看不见的分界线。
02.词元出海,看不见的显存负债
存储成本一涨,市场习惯把它讲成存储芯片涨价的故事。可要是放进推理集群运营和资本开支的框架里看,元器件现货价格只是众多变量里的一个。真正长期压着利润、硬邦邦挪不动的,往往是一整套规则链条:绑定供货、资产折旧、跨境流量、客户合规,几样缠在一起。
上游存储芯片正处在结构性紧平衡周期,服务器DRAM、面向AI集群的企业级NAND以及HBM的长期协议报价一路往上,原厂整体库存还压在偏低区间。想拿到稳定供货,自建推理集群的服务商已经很难靠现货随买随用撑住持续扩容,通常得提前签下季度乃至半年度量级的保底采购长单。
投入的性质也跟着变了:硬件采购不再是能跟着业务节奏灵活调整的可变投入,而成了带刚性履约约束的资本开支。合约一签定,哪怕后面海外流量填不满集群容量,合约款项、资产折旧照样要按期兑现、按期计提,营收再怎么波动也难对冲这部分刚性支出。
还有一块成本很容易被盖住,来自海外企业客户的合规留存要求。不少海外企业买推理服务时,会要求完整审计日志、调用链路乃至会话原始内容都能长期追溯、长期可审计。这部分持久化存储跟推理时临时生成的KV缓存不是一回事,会长期稳稳占着存储容量。
而多数标准化词元采购合同并不会把这项存储服务费单列出来,相关开销被摊进统一的Token报价里,外部很难单独拆出来看清。
就算靠KV缓存压缩、量化方案和模型版本迭代来做优化,集群硬件的物理服役周期还在,可适配当前Agent负载的有效业务生命周期正被不断压缩。服务商只好下调资产的预期回报周期,单位词元摊到的折旧随之走高。几重约束叠在一起,存储早就不只是服务器的配套成本,在这类负载下它正往算力的权重上靠,还时常成为集群扩容的瓶颈。
存储啃利润,并不是笼统一句成本上涨,它是沿着好几条独立路径持续压低集群的资产回报。这类信号不会拆开摆在对外报价单上,大多只能在服务商后台的运维和经营报表里看到。
头一条是前缀缓存的命中率陷阱。前缀缓存的思路是拿存储换算力复用:把高频重复的上下文前缀缓存起来,一旦命中就跳过重复计算,把单Token的算力开销压下去。可缓存本身就带着写入开销、淘汰调度逻辑和生命周期约束。
流量一旦高度碎片化、租户分散、请求随机性抬升,缓存命中率就可能很快跌破盈亏平衡点。为缓存留出的大片显存一直占着资本,却很难兑现预期的算力节约,整套集群的资产回报率就被拉低了。
第二条是峰值保底留下的闲置折旧。为了接住突发流量、避免会话被强制清理、防止服务稳定性下滑,运营侧通常得留足存储与显存冗余。这些冗余是冲着尖峰留的,平常大多闲着。冗余抬高带来的是更稳的服务,代价是资产周转效率往下掉。跨境潮汐流量之下,这笔折旧成本一直刚性,淡季词元营收回落,它也难跟着降。
最后是长会话带来的静默资源锁死。有些Agent自动化任务是这样:单会话词元产出速率不高,会话生命周期却极长,一段显存空间被它一直占着。这类负载不会很快把平台吞吐榜单上的调用规模拉起来,却会慢慢挤占显存资源,持续吃掉集群的扩容余量,有可能逼着服务商提前启动新一轮硬件采购。
过去看国产大模型出海,市场习惯拿词元单价和模型能力来评判竞争格局。但在Agent主导的新流量结构下,比拼的重心正从单纯的算力转向更精细的资产效率管理。
行业目光还停留在词元调用榜单上时,存储资产周转、缓存盈亏线与折旧节奏,其实正一点点变成左右出海业务盈亏的隐性标尺。
03.存储通胀重塑大模型出海生意?
存储成本往上走,压力在分销链路里划出了一道明确分界:手里握着承载长驻会话硬件资产的玩家,要承担最难以向外转嫁的刚性压力。
这当中,部分服务商掌握调度策略和缓存规则,对下游报价握有主动权,但对应的风险敞口也最高。
不少自建集群的供给方要靠季度或半年度保底长协才能拿到稳定供货,大概率得独自扛下芯片报价上行、跨时区流量错配造成的资产闲置,以及硬件快速迭代带来的减值压力。
存储处于紧平衡、集群还在持续扩容的阶段,流量增长带来的新增营收,很容易被不断追加的资本开支快速吞掉。
另一种主流做法,是跟海外云厂商达成分成托管合作。从产业账本的角度看,这常被理解成资产负债的通俗出表:模型方输出模型授权,内存、持久化存储、跨时区运维以及合规日志留存对应的硬件投入与资产风险,主要由云厂商承接。
不过这不等于会计准则意义上的资产剥离,也不是股权投资。合约里一旦设了保底用量或成本联动条款,部分成本压力仍有可能反向传导回来。
另一种做法是只把模型权重交出去,分发环节全靠聚合平台来做。这类供给方大多手里没有推理硬件,存储与算力资产带来的直接风险敞口因此最小;不过它们的议价能力往往也是最弱的。
路由分配、流量限额、缓存策略的调整权限都在平台手里,供给方大多只能被动承接分过来的流量。即便能通过版本和参数配置微调负载特征,也很难自主干预底层集群的资产效率。
没有哪条路径绝对完美,这些选择大多是在流量增长潜力与存储资产敞口之间做权衡,同时还得兼顾合规、客户归属与定价主动权等其他约束。
存储价格上行的周期里,资产出表对不少玩家来说会更有吸引力;等到上游产能释放、长协报价回落,自建集群的盈利窗口才会重新打开。
行业里不断冒出的KV量化、稀疏注意力、CXL内存池、分层缓存方案,很容易让人产生一种错觉:靠技术优化就能抹平存储成本约束。
可落到运营账本上,各类工程方案都有清晰的上限。它们能拉高资产利用率,却没法根除状态侧的存储刚需。
KV压缩能压低单会话显存占用,代价往往是额外的算力开销;稀疏注意力可以削减计算量,但免不掉会话状态的驻留需求;CXL内存池有助于分流显存压力,可服务器硬件改造本身又会带来新一轮资本投入。
更关键的是,优化收益高度绑定流量结构:上下文复用度高的Agent任务能充分吃到缓存红利,碎片化和一次性的请求,优化回报则会快速衰减。
技术手段能抬升资产效率的上限,却很难绕开会话状态必须依托硬件存储这一底层约束。
放长来看,存算分离架构有机会把计算与状态存储深度解耦,让会话状态跨节点灵活迁移,重新塑造集群的资产配置逻辑。
但整套基础设施的重构链条漫长,短期内很难扭转当下的成本格局。
比起只体现规模的调用量榜单,另一组指标更能照出这笔生意的真实成色:长上下文请求占比、缓存命中率、单会话平均存活时长、海外节点存储闲置率、存储长协季度报价。
一个朴素的检验标尺是:调用量持续抬升的过程中,单位Token毛利能不能维持甚至改善。
如果营收持续上行,毛利却长期横盘甚至走低,往往说明增量收益正在被存储折旧持续侵蚀。
词元出海这门生意,正在悄悄换一种活法:早些时候它更常被看成算力租赁,规模上去之后边际成本有希望一路摊薄。但长会话Agent逐渐成了流量主力,业务的性子也就往在线状态托管那边偏了。
显存和存储如今成了真正沉淀下来的核心资产,边际成本想一路往下走已经很难,资产周转率的高低,直接卡住利润的底盘。
流量可以跟着聚合平台的路由随时搬走,可硬件资本开支一旦投下去,折旧的节奏并不会随客流同步变化。拿流动性极强的短期订单,去配长期计提折旧的重资产,收益和成本在周期上天然就对不齐。
市场比的往往是词元调用总量和份额排名,但换成供给侧的账本来看,更该追问的是:每多一条常驻会话,要锁住多少GB的存储?这份资产在折旧周期里能不能收回足够的现金流?份额是需求端投出的选票,存储资产的账本才是决定大模型出海生意能不能长期跑通的核心约束。
词元一步步变成标准化的大宗商品之后,最后拉开盈利差距的,或许已经不再是用来生成文本的算力,而是承载上下文记忆的存储资产。