红帽曹衡康:模型常换、Token账单走高,企业AI落地怎么接
“刚选定模型、完成平台搭建,业务流程也已经接入。但没过几天,市场上又出现一个表现更好的模型,CEO 转头就问 CIO:能不能也试试?”红帽全球副总裁兼大中华区总裁曹衡康(Victor Tsao)提到了企业落地 AI 时经常遇到的一个困境。 对企业来说,换模型并不像个人更换一个聊天工具那么简单。模型背后还连接着 GPU
曹衡康(Victor Tsao),红帽全球副总裁兼大中华区总裁,讲了一个企业落地 AI 时常撞上的场面:模型刚选定、平台搭好、业务流程也接进去了,没几天市面上冒出个更强的模型,CEO 扭头便问 CIO——能不能也试试?
可对企业而言,换模型远不是个人换个聊天工具那样轻巧。GPU 适配、推理服务、数据接口、业务流程都拴在模型后面,上一套系统刚跑顺,新模型就到了。企业既舍不得丢掉技术进步,也不情愿把整套环境推倒重来。
Agent 冒出来,又添了一层压力。智能体一旦接进企业内部系统,它能碰哪些数据、能做哪些操作,必须先讲清楚。权限约束不到位,Agent 为了把任务做完,甚至有可能直接把生产数据库删掉。
模型更新越来越密,企业得让技术选择留有余地;Agent 本事越来越大,企业又得把它的行为管住。两股力量推着企业 AI 基础设施往前走,从模型部署、算力供给,转向推理效率、资源管理和运行治理。
红帽这几个月的产品动作也围着这些事转:GPU 调度、Token 生产、Agent 权限管理,还有软件漏洞的发现与修复,瞄准的都是 AI 从试点走向生产环境时那些绕不开的坎。
底座不能频繁重建,总账单需要控制
模型厂商互相较劲,企业 IT 部门的选择题也越来越难做。
业务流程要是深度绑死在某个模型和运行环境上,新技术带来的好处就很难及时吃到。模型换代还会牵动底层硬件、推理框架和应用接口,先前投下去的钱未必能直接复用。
在曹衡康看来,企业 CIO 真正上心的不是哪个模型最强,而是眼下选的平台能不能跟住持续变化的技术环境。红帽过去把这套思路叫作“四个 Any”:任意加速器、任意云、任意模型和任意智能体。
红帽想照着 Linux 和 OpenShift 的老路走,把开源技术做成企业能长期使用的商业化平台。底层硬件和模型尽管变,企业不必每回都把整个运行环境重搭一遍。据红帽介绍,其平台目前支持 20 多个开源模型、合计 700 多个版本。加速器方面,除 NVIDIA、Intel 和 AMD 外,国产 GPU 厂商沐曦也已在列,其他国产算力产品的适配还在推进。
企业对算力的管理需求往上走,这种开放性也从硬件层延伸到了推理服务。
红帽大中华区方案架构部总经理王慧慧(Aella Wang)说,红帽早期把相关场景叫 GPU as a Service,用一个统一平台管不同品牌的 GPU,企业按需取用。推理需求涨起来后,客户嘴里更多出现的是 Token 工厂:把 GPU 资源聚到一起,靠模型和推理引擎产出 Token,再作为服务供给不同业务部门。再往上走是 Model as a Service,企业 IT 部门统一提供模型服务,业务部门按自己的需要挑模型,不用各自搭运行环境。
这背后,是企业 AI 成本结构在变。
曹衡康提到,过去一年单位 Token 价格一直在降,可企业的总账单不一定跟着少。思考模型和 Agent 铺开之后,一项任务可能要经过多轮推理、工具调用和结果验证,Token 消耗量随之水涨船高。单价降了,总支出未必同步降。
红帽因此提出,企业不能只当 Token 的消费者,也该考虑做 Token 的生产者。对那些已经砸下大量 GPU 资源的企业,自建推理平台能把算力利用率提上来,减少对外部 API 的长期依赖。
不过,自建 Token 工厂不是天生就便宜。它得有相对稳定的业务负载、拿得出手的 GPU 利用率、专业的运维团队,还得持续做模型优化。算力要是长期闲着,折旧、电力、维护这些开销反倒可能高过直接调用商业 API。企业该比的不是单个 Token 的价格,而是干完一项有效任务的总成本。
红帽在推理基础设施上的布局,正是冲着这件事去的。其深度参与的 vLLM 已是开源模型推理领域的重要项目;同时红帽还在推动分布式推理项目 llm-d,想进一步解决大规模 GPU 集群里的资源调度和推理效率问题。
10 月 20 日,llm-d 发布 1.0 版本。此前它主要盯推理性能和集群调度,这次更新把生产环境需要的多租户资源管理、请求优先级调度、高可用和滚动升级能力补齐了,还加上面向 Agent 工作流的会话感知路由,让多轮请求尽量复用已有的上下文缓存,少做重复计算。
IBM Research 的一项基准测试亮出了它的规模化本事:用 llm-d 部署约 7530 亿参数的模型,在并行 Agent 工作负载下最多撑起 3000 个并发编码 Agent,峰值输出吞吐超过每分钟 660 万 Token。按测试所用云资源的租赁价格估算,单位 Token 成本比同等商业 API 低 5 至 10 倍。
这类优化的价值不只在吞吐量上,也在于让 GPU 资源扛住更多并发任务,把高负载下的推理成本压下来。
红帽在国内市场拉上趋境科技,一起建了推理 AI 创新实验室,也就是 AI 推理技术联合创新实验室。两边怎么分工?红帽提供 vLLM 推理框架和标准化平台,趋境科技则针对不同模型、加速卡以及平台环境做具体优化,KV Cache 处理之类的技术实现也归它管。按双方的计划,成熟后的成果会继续回馈给开源社区。
Agent 真正难的不是开发,而是权限
推理效率管的是 AI 能不能以合理成本跑起来;Agent 进了企业工作流,另一个问题就冒出来了:企业敢不敢让它真的动手执行?
王慧慧认为,眼下智能体开发本身门槛已经不算高,开发人员培训几个小时,或许就能搭出一个完成特定任务的 Agent。真正麻烦的是权限管理和治理。
当 Agent 接手 IT 运维,改服务器配置、关机、跑脚本乃至删库都可能发生。操作一旦出格,受损的就不是一句答错的回答,而是企业真正在跑的业务系统。红帽把这条路叫 Agent AIOps,即让智能体担起企业内部 IT 运维。AI 辅助软件开发也有类似隐忧:生成的代码能进自动化流程,却不等于能绕过审核。代码不管出自人还是 AI,都得过相应检查;AI 写的那部分尤其要走必要的审核环节,才能进入最终合并。
也就是说,企业要管的除了模型本身,还有 Agent 的实际动作:能调哪些工具、能碰哪些数据、哪些操作可自主完成、哪些必须人工点头。Red Hat AI 3.5 又补上了模型安全评估、Agent 开发模板、工具调用防护和可观测性。其中 EvalHub 帮企业对模型和 Agent 做安全评估,NeMo Guardrails 用来约束模型与 Agent 的行为。平台还能按用户统计 Token 消耗,方便追踪各团队的资源使用。
红帽与 CIO 时代联合发布的《2026 中国企业级 AI 实践调研分析年度报告》同样显示应用快、治理慢:近 70%的受访企业正在推进 Agent 应用,正式治理框架的覆盖率却不足 15%。
对企业而言,Agent 权限靠一条提示词是管不住的,身份认证、工具访问控制、操作审计、人工审批等机制得一起上。碰到生产数据库、核心业务系统这类高风险资源,自主执行的边界必须划清,人工控制的口子也要留着。
AI 发现漏洞更快,企业修复跟得上吗?
Agent 治理之外,AI 也在改写软件安全的攻防节奏。它让漏洞发现变快,也可能被攻击者用来把若干看似无关的低危漏洞拼成更复杂的攻击路径。对企业来说,发现只是头一步,真正头疼的是修。大量生产系统依赖 Java、Python 开源组件,漏洞一出,上游社区维护者通常只在最新版本里修。企业的生产环境高度自定义、彼此互连,直接升到新版本可能撞上兼容性问题,只能在安全风险和系统稳定之间做取舍。
红帽与 IBM 联合推进的 Lightwell,盯的正是漏洞发现之后的修复。做法是用 AI 辅助识别漏洞,再由工程师参与验证和修复,把补丁回移到企业实际在用的软件版本上,尽量不必为修漏洞而整体升级。10 月 6 日,IBM 与红帽披露,Lightwell 已在广泛使用的 Java 库中发现并修复 400 多个此前未知的漏洞,Lightwell Clearinghouse 也正式全面可用,企业可提交具体软件依赖,申请优先审查和修复。
补丁还得尽快落到生产环境。王慧慧给了一组时间对比:过去企业完成相关补丁部署可能要 40 多天,走自动化流程可压到 7 至 14 天。
从发现漏洞到部署补丁,Lightwell 想压缩的就是企业安全响应中间这段路。对仍跑着大量旧系统的企业,这也能少一些整体升级带来的业务中断和兼容性风险。
红帽的平台边界也在变化
红帽的基础设施能力正从数据中心往工业现场走。具身智能方面,它联合 Intel、紫金星宇、西湖机器人和施耐德电气推出面向工业自主运营的联合解决方案:西湖机器人出机器人本体,Intel 出计算平台,施耐德电气出工业场景能力,紫金星宇出通信技术,红帽负责底层软件平台。
王慧慧把人形机器人比作一座移动的数据中心。机器人端侧要集成感知、计算、实时动作和肢体控制等多种能力,场景要求一高,更复杂的推理和决策就放到云端或数据中心。在红帽平台支持下,软件不用重新编译就能换位置。通过红帽 OpenShift AI,企业还能统一管理多台机器人、模型和相关计算资源,集中下发算法更新和控制指令。
这其实是红帽原有平台能力向边缘计算场景的延伸。以前管的是数据中心里的服务器、虚拟机和容器,如今可能多出工厂里的机器人。对需要部署和管理大量设备的企业,统一的软件环境和远程运维能力会越来越要紧。
回到企业 AI 落地本身,曹衡康坦言,国内外企业碰到的问题大体一样:投入不小,能证明投资有回报的案例却还不多。中小企业眼下仍集中在邮件处理、文档管理、客服这类相对轻的场景;更复杂的自主决策和自动化运维,即便在领先企业里,也受安全、成本和可控性掣肘。
从 GPU 调度、分布式推理,到 Agent 治理、漏洞修复,再到工业机器人,红帽近几个月的产品布局看着分散,指向的却是同一件事:怎么让不断变化的 AI 技术进到企业现有系统里,并在生产环境中稳住。模型和算力还在快速迭代,企业不可能跟着每次技术变化重建基础设施。对红帽来说,开放平台的价值正从提供技术选择,往帮企业管理 AI 运行的成本、权限和风险上延伸。这些能力能否变成可量化的业务回报,还得看更多真实生产场景。