华瑞指数云再融超亿元:用存储给AI推理降本
AI推理的扩产,是否只能依靠增加GPU?华瑞指数云披露的一项客户联合验证,给出了另一种可能:24张GPU加一个WQS存储节点,实现了与48张GPU方案相当的Token产能。这意味着,改善上下文的保存和调用,可以提高GPU的利用效率,让已有算力承担更多业务,为企业提供了新的算力扩产思路。这一提升算力利用效率的技术新方向,
AI推理要扩产,难道只有加GPU这一条路?
华瑞指数云公布的一项客户联合验证给出了另一种答案:24张GPU搭配一个WQS存储节点,跑出了与48张GPU方案相当的效果。
这条提升算力利用效率的新技术路线也引来了资本。华瑞指数云近日宣布完成新一轮超亿元融资,琮碧秋实投资与另一家基金联合领投,某国有产投基金跟投。本轮资金将重点投入AI原生方向。
华瑞指数云的切入点是上下文。它要做的不只是把更多数据存下来,而是让模型已经算完的中间结果保留住、共享出去、能复用,需要时再快速送回GPU。GPU少做重算、少等数据,用户拿到回答的速度会更快,现有GPU也能扛起更多推理任务,单位服务的算力与能耗成本随之下降。
在华瑞指数云联合创始人兼CTO曹羽中看来,推理系统得在满足响应速度的前提下支撑更多业务。他表示:“上下文存得更多、取得更快,最终要体现为更多Token产出和更低的服务成本。”GPU少等数据、多处理任务,才是AI基础设施里的关键位置。
上下文存储正变成AI基础设施的新一层
过去看AI基础设施投入规模,最直观的指标是芯片数量。AI进入推理阶段后,芯片能承接多少任务,除了看数量,还要看上下文处理效率。
推理场景会反复用到历史数据。多轮对话、代码助手、Agent在检索信息、调用工具、执行任务时,上下文不断堆积。应用越往业务流程里走,上下文越多,其中一部分处理过的内容还会被反复取用。
对已经处理过的内容,系统可以把其中可复用的中间计算结果保存下来,存放在缓存里。
问题是,存结果要占地方。GPU显存容量有限、价格不低,还得同时装下模型和活跃推理状态;会话一长、并发请求一多,留给缓存的空间就可能不够,超出单机能承载的范围。
显存不够会带来两种损耗。一是重复计算:缓存被清掉后,后面的请求得把算过的内容再算一遍。二是数据等待:缓存挪到显存外面,取回速度跟不上,GPU又得干等。长上下文、高并发、缓存复用密集的场景里,上下文读写与传输就是决定系统效率的关键瓶颈。光加GPU,并不能自动消掉这两种损耗。
所以存储不能只当推理系统的后台配置,还得支撑实时服务。
产业巨头已经在围绕这一变化调整架构。2026年1月,NVIDIA发布推理上下文存储平台,3月又作了进一步介绍。
言下之意,上下文存储正在成为AI基础设施中一个明确的新层次。
曹羽中抓住了其中的机会。他认为,推理进入各行各业后,存储投入会持续增加,逐步成为需要与算力并重规划的核心投资。“算力决定计算的能力,上下文I/O决定这些能力能否持续、高效地发挥。未来的基础设施建设,需要把两者放到同一个产能账本上。”
华瑞指数云看到的机会,是针对AI推理重新设计上下文存储系统。它推出了自研存储系统WQS,让同样的算力撑起更多业务。
一般来说,通用存储、并行文件系统这些现有存储都能保存缓存。
原因还是在于调用环节。
实时推理尤其如此:每次从已有存储里调缓存要花多少时间、占多少资源,直接影响GPU利用率和服务成本。
拿通用系统来说,它要兼顾多种业务,负载需求多样复杂,于是通过分层、抽象和解耦,把数据管理和读写处理拆成不同层次,方便适配各类应用,换来兼容性与灵活性。但这也意味着额外的开销。
推理场景自身的特点,恰好给重做存储系统提供了条件。
它的上下文有着明确的I/O特征。比如数据写入后不再修改,读写的数据量可以预先确定,还能按内容寻址。
推理框架手里还握着大量可用于读写优化的信息:哪些计算结果能复用,哪些缓存块已经写完,哪些数据即将被消费,哪些内容不再值得保留。这些信息如果只留在推理框架里,底层存储收到的仍是一串普通读写请求;把它们传给存储调度,系统就能按实际使用顺序安排读取、预取和回收,减少无效搬运与等待。
于是,华瑞指数云给推理存储系统WQS定下了原生KV这条路线。底子来自华瑞指数云自己研发的分布式存储引擎。
打个比方,这有点像CPU和GPU的分工:通用架构什么活都能接,专用架构则把资源压在某类固定模式上。WQS走的是后一条路——凭明确的访问模式重新排布数据路径,把效率提上去;至于其他类型的数据和业务,仍旧交给通用存储。
曹羽中说,华瑞指数云讲“为AI上下文重新发明存储”,意思有两层:一是用更低的成本存下更多可复用的计算结果,二是把存储服务计算的方式也改掉。优化推理场景的I/O链路,
光改某一个组件不够,得靠重新设计存储来把GPU利用率抬上去。原因在于,推理框架调度、命中查询、网络传输、存储读写、GPU装载,这几件事是围着同一次上下文调用一起转的。
所以WQS咬住的是全链路设计,加上软硬协同。
这条链上,推理框架管安排计算,也清楚下一步要哪些数据;缓存组件管计算结果的保存、查找和复用;存储引擎管数据放哪、怎么并行读写;网络管传输;
各层若只靠通用接口各干各的,很多调度机会就白白丢了。全链路协同设计则能让数据一边加载一边计算,GPU少等。比如框架提前说清下一步要哪些缓存块,系统趁当前计算还在跑就把读取启动起来。一部分读取时间和计算时间叠在一起,GPU接着用这批数据时,等待就短了一截。缓存能跨节点共享之后,任务也不必非派给存着相关历史状态的那台服务器。
前提是缓存有效性、命中信息和可靠性都有保障。做到这一点,既少算了,集群的调度空间也大了。
这种贯通还在往硬件那头走。
华瑞指数云正跟NVIDIA、AMD、昇腾等算力生态推进协作,也和SSD及新型磁介质厂商一起做协同设计,想把上下文的访问顺序、生命周期和时延需求进一步用到介质优化上。现有原生KV路径、全局共享和
接入这一层,WQS给出可共享的KV存储层,与
“推理框架知道接下来要用什么数据,介质也有自己的并行能力。”曹羽中说,“我们的工作,是让这些信息在整条链路上发挥作用,而不是在每一层都重新猜一次。”这么一来,各环节衔接处的等待少了,整套系统的推理效率也就上去了。性能翻倍,在客户的产能账本上体现
软硬协同和全链路优化到底能换来什么,最后得看同一份算力在满足响应要求的前提下,能不能撑起更多业务。
对Token工厂、模型API服务商和算力平台来说,首Token时延(
华瑞指数云披露的某大型Token工厂验证里,WQS用独立存储节点部署,把可复用
这个结果给扩产多开了一条路:企业可以拿加GPU和加上下文存储的效果比一比,按实际瓶颈分预算。要是少用些GPU就能达到既定服务目标,那除了设备采购,机柜、电力、散热这几项支出也可能省下来。对客户而言,新增存储、网络和运维成本都得算进去,最终收益才算得准,但决策依据已经变了——从“加多少卡”变成“怎样拿到同样或更多的产能”。
对想用好手头设备的企业,WQS还能走纯软件融合部署。某大型企业的联合验证中,WQS以纯软件方式和现有推理节点融合部署,把内存和SSD资源汇起来建共享KV Cache,不用添新硬件,首Token时延降低80%,Token吞吐量提升超过3倍。手里有自建推理系统的客户,可以先看看存量设备还剩多少优化空间,再定怎么扩容。
两个案例,摆出的是上下文存储改善推理产能的两条不同部署路子。
客户不同、项目不同,华瑞指数云会结合模型、上下文长度、并发和缓存命中情况,算一算减少重算与数据搬运能带来多少端到端收益,让客户拿实际业务去检验ROI。
这些项目攒下来,华瑞指数云对不同客户业务上的侧重也摸得清:Token服务商盯的是满足服务要求前提下的单位Token成本;算力平台和智算中心盯的是现有资源能多服务多少;金融这类自建模型的企业,则希望有限预算撑起更多员工和业务。六年底层研发+生产交付,铸造核心壁垒
这些性能表现背后,靠的是底层存储能力。华瑞指数云自研的这套引擎,是支撑前述提升的基础。
2020年华瑞指数云成立时,底层引擎的研发就已经同步启动。
曹羽中认为,从零自研底层引擎的好处,在新需求冒出来的时候格外突出。AI推理对读写提出了新要求,团队能直接改引擎、改数据结构、改I/O路径,不用围着现有产品在外面加适配层。WQS能走原生KV架构,靠的正是这个底子,而不是在通用文件存储上叠一层缓存接口。
这套底层能力此前也在公开评测中亮过相。2023年,基于相关技术……
两项评测分别针对企业级存储和AI存储负载的读写性能,团队后来开发推理专用系统时,把这些结果当作参照。
性能之外,华瑞指数云的另一道壁垒来自长期的生产交付实践。公司介绍,除WQS以外的块存储、文件存储等产品,已部署在200余家客户的核心生产环境中,涉及金融、半导体、量化交易、自动驾驶和先进制造等行业。长年跑在生产一线,促使团队不断打磨故障恢复、数据保护、兼容适配和运维机制。
曹羽中的说法是:“做存储系统能够跑通I/O、跑出结果,可能只是做完了30分。”剩下的部分,得在高并发、硬件故障、网络异常和长期运行中一点点补。并发压力上来、网络出状况时,系统稳不稳;某个节点出故障,服务怎么恢复;框架和模型升级之后,原有部署还能不能正常跑——这些都要靠长时间运行来检验和解决。
AI推理逐渐渗入企业核心业务,这些积累就成了WQS进入客户业务的重要铺垫,也构成了华瑞指数云的核心工程壁垒。从头部验证走向标准化在新一轮AI Infra架构选择中脱颖而出
眼下,越来越多企业的业务环节会用到多轮对话、长上下文和Agent应用。应用铺得越广,推理就要持续服务更分散的企业和用户。
WQS盯住的正是这批想提升推理效率的客户,例如模型API平台、Token工厂、智算中心和企业自建系统。它们的部署规模和硬件组合各不相同,但都要面对上下文增长、都要压住服务成本。对上下文存储来说,机会既在新增集群,也在存量系统的改造升级。
曹羽中判断,这个市场的增长空间不只是多卖几套SSD存储系统,而是参与推理系统的架构选择。上下文怎么留存、怎么共享,算力和存储怎么配,会慢慢进入客户的常规建设规划。
所以,在推理系统的总体设计和端到端性能优化中,WQS会作为一个独立产品存在,一次次联合验证也要变成可复制的部署与交付。
华瑞指数云判断,未来12至18个月是AI推理上下文KV Cache层方案与产品选型的关键窗口,公司想抓住这段时间,让更多项目从验证走到可复制的标准化交付。
公司披露的数据显示,2026年上半年华瑞指数云的合同额同比增长150%。WQS这边,华瑞指数云正与多家头部大模型及Token服务厂商、头部金融企业和自建推理系统的行业客户推进合作,相关项目正在进入生产级。
本轮融资将用于继续研发、部署适配和客户服务体系建设,推动WQS走向规模化交付。
“我们希望把WQS做成……”
AI推理变成各行各业日常使用的服务之后,上下文存储的需求也有望随业务规模一起扩大。华瑞指数云想争的,就是这个新的基础设施位置:用规模交付的AI原生存储,服务越来越大的算力投入,把算力生产效率和推理产能做到极致。