红帽曹衡康:模型常换、Token账单走高,企业AI落地怎么接

资讯 AI 行业观察 作者:褚杏娟 全文 4493 字 · 约 12 分钟读完 配图 1 张 分类芯片

“刚选定模型、完成平台搭建,业务流程也已经接入。但没过几天,市场上又出现一个表现更好的模型,CEO 转头就问 CIO:能不能也试试?”红帽全球副总裁兼大中华区总裁曹衡康(Victor Tsao)提到了企业落地 AI 时经常遇到的一个困境。 对企业来说,换模型并不像个人更换一个聊天工具那么简单。模型背后还连接着 GPU

所属频道 算力与芯片

曹衡康(Victor Tsao),红帽全球副总裁兼大中华区总裁,讲了一个企业落地 AI 时常撞上的场面:模型刚选定、平台搭好、业务流程也接进去了,没几天市面上冒出个更强的模型,CEO 扭头便问 CIO——能不能也试试?

可对企业而言,换模型远不是个人换个聊天工具那样轻巧。GPU 适配、推理服务、数据接口、业务流程都拴在模型后面,上一套系统刚跑顺,新模型就到了。企业既舍不得丢掉技术进步,也不情愿把整套环境推倒重来。

Agent 冒出来,又添了一层压力。智能体一旦接进企业内部系统,它能碰哪些数据、能做哪些操作,必须先讲清楚。权限约束不到位,Agent 为了把任务做完,甚至有可能直接把生产数据库删掉。

模型更新越来越密,企业得让技术选择留有余地;Agent 本事越来越大,企业又得把它的行为管住。两股力量推着企业 AI 基础设施往前走,从模型部署、算力供给,转向推理效率、资源管理和运行治理。

红帽这几个月的产品动作也围着这些事转:GPU 调度、Token 生产、Agent 权限管理,还有软件漏洞的发现与修复,瞄准的都是 AI 从试点走向生产环境时那些绕不开的坎。

底座不能频繁重建,总账单需要控制

模型厂商互相较劲,企业 IT 部门的选择题也越来越难做。

业务流程要是深度绑死在某个模型和运行环境上,新技术带来的好处就很难及时吃到。模型换代还会牵动底层硬件、推理框架和应用接口,先前投下去的钱未必能直接复用。

在曹衡康看来,企业 CIO 真正上心的不是哪个模型最强,而是眼下选的平台能不能跟住持续变化的技术环境。红帽过去把这套思路叫作“四个 Any”:任意加速器、任意云、任意模型和任意智能体。

红帽想照着 Linux 和 OpenShift 的老路走,把开源技术做成企业能长期使用的商业化平台。底层硬件和模型尽管变,企业不必每回都把整个运行环境重搭一遍。据红帽介绍,其平台目前支持 20 多个开源模型、合计 700 多个版本。加速器方面,除 NVIDIA、Intel 和 AMD 外,国产 GPU 厂商沐曦也已在列,其他国产算力产品的适配还在推进。

企业对算力的管理需求往上走,这种开放性也从硬件层延伸到了推理服务。

红帽大中华区方案架构部总经理王慧慧(Aella Wang)说,红帽早期把相关场景叫 GPU as a Service,用一个统一平台管不同品牌的 GPU,企业按需取用。推理需求涨起来后,客户嘴里更多出现的是 Token 工厂:把 GPU 资源聚到一起,靠模型和推理引擎产出 Token,再作为服务供给不同业务部门。再往上走是 Model as a Service,企业 IT 部门统一提供模型服务,业务部门按自己的需要挑模型,不用各自搭运行环境。

这背后,是企业 AI 成本结构在变。

曹衡康提到,过去一年单位 Token 价格一直在降,可企业的总账单不一定跟着少。思考模型和 Agent 铺开之后,一项任务可能要经过多轮推理、工具调用和结果验证,Token 消耗量随之水涨船高。单价降了,总支出未必同步降。

红帽因此提出,企业不能只当 Token 的消费者,也该考虑做 Token 的生产者。对那些已经砸下大量 GPU 资源的企业,自建推理平台能把算力利用率提上来,减少对外部 API 的长期依赖。

不过,自建 Token 工厂不是天生就便宜。它得有相对稳定的业务负载、拿得出手的 GPU 利用率、专业的运维团队,还得持续做模型优化。算力要是长期闲着,折旧、电力、维护这些开销反倒可能高过直接调用商业 API。企业该比的不是单个 Token 的价格,而是干完一项有效任务的总成本。

红帽在推理基础设施上的布局,正是冲着这件事去的。其深度参与的 vLLM 已是开源模型推理领域的重要项目;同时红帽还在推动分布式推理项目 llm-d,想进一步解决大规模 GPU 集群里的资源调度和推理效率问题。

10 月 20 日,llm-d 发布 1.0 版本。此前它主要盯推理性能和集群调度,这次更新把生产环境需要的多租户资源管理、请求优先级调度、高可用和滚动升级能力补齐了,还加上面向 Agent 工作流的会话感知路由,让多轮请求尽量复用已有的上下文缓存,少做重复计算。

IBM Research 的一项基准测试亮出了它的规模化本事:用 llm-d 部署约 7530 亿参数的模型,在并行 Agent 工作负载下最多撑起 3000 个并发编码 Agent,峰值输出吞吐超过每分钟 660 万 Token。按测试所用云资源的租赁价格估算,单位 Token 成本比同等商业 API 低 5 至 10 倍。

这类优化的价值不只在吞吐量上,也在于让 GPU 资源扛住更多并发任务,把高负载下的推理成本压下来。

红帽在国内市场拉上趋境科技,一起建了推理 AI 创新实验室,也就是 AI 推理技术联合创新实验室。两边怎么分工?红帽提供 vLLM 推理框架和标准化平台,趋境科技则针对不同模型、加速卡以及平台环境做具体优化,KV Cache 处理之类的技术实现也归它管。按双方的计划,成熟后的成果会继续回馈给开源社区。

Agent 真正难的不是开发,而是权限

推理效率管的是 AI 能不能以合理成本跑起来;Agent 进了企业工作流,另一个问题就冒出来了:企业敢不敢让它真的动手执行?

王慧慧认为,眼下智能体开发本身门槛已经不算高,开发人员培训几个小时,或许就能搭出一个完成特定任务的 Agent。真正麻烦的是权限管理和治理。

当 Agent 接手 IT 运维,改服务器配置、关机、跑脚本乃至删库都可能发生。操作一旦出格,受损的就不是一句答错的回答,而是企业真正在跑的业务系统。红帽把这条路叫 Agent AIOps,即让智能体担起企业内部 IT 运维。AI 辅助软件开发也有类似隐忧:生成的代码能进自动化流程,却不等于能绕过审核。代码不管出自人还是 AI,都得过相应检查;AI 写的那部分尤其要走必要的审核环节,才能进入最终合并。

也就是说,企业要管的除了模型本身,还有 Agent 的实际动作:能调哪些工具、能碰哪些数据、哪些操作可自主完成、哪些必须人工点头。Red Hat AI 3.5 又补上了模型安全评估、Agent 开发模板、工具调用防护和可观测性。其中 EvalHub 帮企业对模型和 Agent 做安全评估,NeMo Guardrails 用来约束模型与 Agent 的行为。平台还能按用户统计 Token 消耗,方便追踪各团队的资源使用。

红帽与 CIO 时代联合发布的《2026 中国企业级 AI 实践调研分析年度报告》同样显示应用快、治理慢:近 70%的受访企业正在推进 Agent 应用,正式治理框架的覆盖率却不足 15%。

对企业而言,Agent 权限靠一条提示词是管不住的,身份认证、工具访问控制、操作审计、人工审批等机制得一起上。碰到生产数据库、核心业务系统这类高风险资源,自主执行的边界必须划清,人工控制的口子也要留着。

AI 发现漏洞更快,企业修复跟得上吗?

Agent 治理之外,AI 也在改写软件安全的攻防节奏。它让漏洞发现变快,也可能被攻击者用来把若干看似无关的低危漏洞拼成更复杂的攻击路径。对企业来说,发现只是头一步,真正头疼的是修。大量生产系统依赖 Java、Python 开源组件,漏洞一出,上游社区维护者通常只在最新版本里修。企业的生产环境高度自定义、彼此互连,直接升到新版本可能撞上兼容性问题,只能在安全风险和系统稳定之间做取舍。

红帽与 IBM 联合推进的 Lightwell,盯的正是漏洞发现之后的修复。做法是用 AI 辅助识别漏洞,再由工程师参与验证和修复,把补丁回移到企业实际在用的软件版本上,尽量不必为修漏洞而整体升级。10 月 6 日,IBM 与红帽披露,Lightwell 已在广泛使用的 Java 库中发现并修复 400 多个此前未知的漏洞,Lightwell Clearinghouse 也正式全面可用,企业可提交具体软件依赖,申请优先审查和修复。

补丁还得尽快落到生产环境。王慧慧给了一组时间对比:过去企业完成相关补丁部署可能要 40 多天,走自动化流程可压到 7 至 14 天。

红帽曹衡康:模型常换、Token账单走高,企业AI落地怎么接(配图 1)

从发现漏洞到部署补丁,Lightwell 想压缩的就是企业安全响应中间这段路。对仍跑着大量旧系统的企业,这也能少一些整体升级带来的业务中断和兼容性风险。

红帽的平台边界也在变化

红帽的基础设施能力正从数据中心往工业现场走。具身智能方面,它联合 Intel、紫金星宇、西湖机器人和施耐德电气推出面向工业自主运营的联合解决方案:西湖机器人出机器人本体,Intel 出计算平台,施耐德电气出工业场景能力,紫金星宇出通信技术,红帽负责底层软件平台。

王慧慧把人形机器人比作一座移动的数据中心。机器人端侧要集成感知、计算、实时动作和肢体控制等多种能力,场景要求一高,更复杂的推理和决策就放到云端或数据中心。在红帽平台支持下,软件不用重新编译就能换位置。通过红帽 OpenShift AI,企业还能统一管理多台机器人、模型和相关计算资源,集中下发算法更新和控制指令。

这其实是红帽原有平台能力向边缘计算场景的延伸。以前管的是数据中心里的服务器、虚拟机和容器,如今可能多出工厂里的机器人。对需要部署和管理大量设备的企业,统一的软件环境和远程运维能力会越来越要紧。

回到企业 AI 落地本身,曹衡康坦言,国内外企业碰到的问题大体一样:投入不小,能证明投资有回报的案例却还不多。中小企业眼下仍集中在邮件处理、文档管理、客服这类相对轻的场景;更复杂的自主决策和自动化运维,即便在领先企业里,也受安全、成本和可控性掣肘。

从 GPU 调度、分布式推理,到 Agent 治理、漏洞修复,再到工业机器人,红帽近几个月的产品布局看着分散,指向的却是同一件事:怎么让不断变化的 AI 技术进到企业现有系统里,并在生产环境中稳住。模型和算力还在快速迭代,企业不可能跟着每次技术变化重建基础设施。对红帽来说,开放平台的价值正从提供技术选择,往帮企业管理 AI 运行的成本、权限和风险上延伸。这些能力能否变成可量化的业务回报,还得看更多真实生产场景。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 腾讯Q3营收2073.36亿:AI基建投入加码,国产芯片转向提速

    据《科创板日报》报道,谈及最新收紧限制的影响,腾讯高管表示,从长期看,相关限制可能推动更多中国企业转向国内供应链和国产芯片,带动国内供应链建设提速,相关研发力量也将进一步向这一领域集中。#腾讯# #人工智能# #国产芯片#

    来源 IT之家
  2. 特朗普政府再收紧AI芯片渠道:丑闻成了新规推手

    特朗普政府宣布将再度收紧中国获取AI芯片的渠道,而促成这一决定的,竟是一桩被称为“世纪作弊丑闻”的事件。当出口管制靠丑闻驱动、靠打补丁推进,这场芯片战的打法正变得愈发荒诞。本文拆解政策背后的逻辑错位、产业代价,以及真正该被追问的问题。

    来源 AI 科技快讯
  3. 5450亿美元!高盛大幅上调AI项目融资预测,但关键担保人英伟达正在退场

    其中芯片融资达3200亿美元,较今年增长近七倍,其核心依赖厂商担保以对冲折旧风险。然而英伟达正收紧担保承诺,其主导的5000亿美元融资平台迄今零交易落地。按25%担保比例,3200亿融资需800亿担保支撑,而三大芯片商可纳入指数债券存量仅940亿美元。担保人退场、贷款方要求提高、买方基础收窄,无人接盘风险正上升。

    来源 华尔街见闻
  4. SpaceX抗住AI抛售潮:摩根士丹利维持增持,目标价300美元

    大摩认为,SpaceX正在与传统的“AI交易”脱钩,背后有三大支撑:星链"类债券"属性(一颗星舰卫星回收期仅20周)、Terafab至2035年高达4900亿美元半导体供应链资本开支、以及估值极度低估——2028年预期市盈率仅11.2倍,远低于标普500的16倍。

    来源 华尔街见闻
  5. Salesforce设AI预算:员工每月Token花数千美元

    IT之家 11 月 18 日消息,据《商业内幕》报道,Salesforce 内部备忘录显示,由于部分员工上季度每月在 Token 上的花费高达数千美元,公司开始为不同岗位设定 AI 使用预算。Salesforce 首席运营官米格尔 · 米拉诺在发给员工的邮件中宣布,从本月起,公司将根据岗位设置每月 Token 预算,把

    来源 腾讯网
  6. ASIC将AI违规列入2027执法清单:误导输出、不当决策、阻断人工支持

    澳大利亚证券与投资委员会(ASIC)于2026年11月18日公布2027年九大执法优先事项,将AI工具导致的消费者损害单独列项,明确点名三类违规:输出误导信息、做出不恰当决策、阻碍用户获得人工支持。ASIC主席Sarah Court宣示"技术是新的,责任不是"。与此同时,审慎监管机构APRA宣布2027年将首

    来源 AI 科技快讯
  7. 微软商业业务 CEO:黄仁勋辞任英伟达 CEO,或促使客户寻求 AI 芯片替代方案

    IT之家 11 月 18 日消息,据彭博社今天(18 日)早间报道,微软商业业务 CEO 贾德森 · 阿尔托夫认为,黄仁勋辞职引发的英伟达人事风波,可能促使客户寻找英伟达 AI 芯片之外的选择。阿尔托夫透露,早在黄仁勋辞职之前,客户就已经表达了希望拥有更多选择的意愿,而最近的消息确实让人们更加确信,多一些选择是件好事。

    来源 腾讯网
  8. 微软Maia 200量产:台积电3纳米,每瓦token量最高提升1.7倍

    在昨日(11 月 17 日)的 Ignite 2026 活动上,微软宣布第二代自研 AI 加速器 Maia 200 已正式投入规模化生产,并开始在数据中心里撑起微软最大规模的前沿 AI 大模型。这款芯片最硬的成绩单,是每瓦 token 处理量:与“领先 GPU 基础设施”相比,在 Microsoft

    来源 AI 开发者社区
  9. 微软Maia 200芯片投产:每瓦token性能提升1.7倍,已部署美欧澳

    IT之家 11 月 18 日消息,昨日(11 月 17 日)召开的 Ignite 2026 活动中,微软宣布旗下第二代自研人工智能加速器 Maia 200 现已正式投入规模化生产,并开始在数据中心运行微软最大规模的前沿 AI 大模型。与“领先 GPU 基础设施”相比,该加速器在 Microsoft Teams、Copi

    来源 腾讯网
  10. 上市前一天,80余位学界与AI大佬联合声明:“Anthropic不是一家安全的AI公司”

    【TechWeb】11月18日,Anthropic正式确定IPO发行价为每股83美元,高于此前70-78美元的指导区间;公司连同部分股东共发行约9.8亿股A类普通股,公开发行筹资约813亿美元,叠加向谷歌、英伟达、微软等战略投资者的260亿美元私募配售,合计融资规模突破944亿美元,超越SpaceX今年6月创下的纪录,

    来源 AI 行业观察
  11. OpenAI首款AI硬件年底出货:立讯精密独家代工,“甜甜圈”真机渐近

    【TechWeb】OpenAI的首款AI硬件产品有了明确的时间表。11月19日,每日经济新闻援引供应链消息称,这款产品计划于2026年底启动出货,多家中国厂商深度参与其中——立讯精密不仅独家承担整机制造,还同时供应核心零部件。不过,关于这款硬件的具体形态,OpenAI官方至今仍未正式公布,“甜甜圈”“冰球”式的无屏设备

    来源 AI 行业观察
  12. 英伟达非上市持股增至655亿美元:AI创投格局会怎么变?

    人工智能芯片巨头英伟达的投资版图再次引发行业震动。根据 TechCrunch 的最新报道,英伟达最新披露的数据显示,其对非上市初创公司的持股价值已经暴增至65.5亿美元(约合当前人民币数百亿元),较今年1月报告的22亿美元实现了大幅增长。这一资产的膨胀,既得益于公司近期的大规模新投资,也包含了现有投

    来源 AI 开发者社区
  13. AMD完成收购Taalas:推理芯片技术将并入加速器路线图

    IT之家 11 月 18 日消息,AMD 当地时间昨日宣布完成对专用 AI 推理芯片开发商 Taalas 的收购。这家初创企业带来了差异化的技术和世界一流的工程专业知识。 AMD 表示此举将进一步加强其全栈 AI 产品组合和长期推理路线图。AMD 计划将 Taalas 的技术整合到其加速器路线图中,结合 Instinc

    来源 AI 行业观察
  14. 英伟达非上市持股增至655亿美元:投资加码,AI创投格局将生变?

    英伟达投资版图再受关注。最新披露数据显示,其持有非上市初创公司股权价值已增至65.5亿美元,较1月报告的22亿美元大幅攀升。增长既来自近期大规模新投资,也源于现有投资组合企业估值显著上升。报道称,其前九个月股权投资规模逆势激增,显示这家AI芯片巨头正加速扩张投资布局。

    来源 AI 产业速递
  15. OpenAI用AI改芯片电路:AMD旗舰GPU能效最高提升14%

    OpenAI报告披露GPT-4o辅助芯片设计:自研推理芯片Jalapeño由GPT-4o重写浮点加法器、乘法器等电路,新乘法器面积减约15%、延迟压至一个时钟周期;向量与矩阵计算单元面积分别减约13%、10%,已实片验证。模型还重写RTL,为AMD旗舰GPU提速,压缩约一年工作量。

    来源 AI 产业速递
  16. AI开始优化自己的“大脑”:OpenAI发布芯片设计最新成果

    OpenAI发布技术报告,称其AI模型已从辅助写代码进入芯片电路设计和微架构优化环节。自研AI推理芯片Jalapeño经优化后向量单元标准单元面积减少约13%、矩阵单元减少约10%;与AMD合作中旗舰GPU关键IP模块PPA指标最高改善14%,部分方案已纳入近期提交制造的芯片设计。

    来源 凤凰科技
  17. Salesforce按岗位设AI预算:员工单月Token花费达数千美元

    在人工智能技术高歌猛进、企业全面推进智能转型的当下,一笔原本隐蔽的开支正在成为各大公司无法忽视的财务压力。据《商业内幕》报道,由于部分员工在上季度单月消耗的 AI Token 费用高达数千美元,客户关系管理巨头 Salesforce 决定正式出手,开始对全公司员工的 AI 使用额度实施岗位预算制。

    来源 AI 开发者社区
  18. Salesforce按岗位设AI使用预算:员工单月Token费用达数千美元

    在AI技术高歌猛进、企业推进智能转型之际,AI Token开支正成为企业不可忽视的财务压力。据《商业内幕》,部分Salesforce员工上季度单月消耗AI Token费用高达数千美元。为此,这家CRM巨头开始对全公司员工AI使用额度实施岗位预算制,以应对高企算力成本,从无节制探索转向精细化管控,文章还提及首席运营官米格

    来源 AI 产业速递
  19. 英伟达已停止向中国供应H200人工智能芯片

    【TechWeb】11月18日消息,据外媒报道,当地时间11月17日,英伟达临时首席执行官科莱特·克雷斯在接受媒体采访时表示,英伟达已不再向中国供应用于人工智能系统的H200芯片。 她表示,英伟达在中国市场的业务约占公司总业务量的10%,主要涉及游戏、汽车和工作站业务。“我们此前曾表示,只有获得出口许可证的H200芯片

    来源 AI 行业观察
  20. 腾讯WorkBuddy日均Token消耗超100万亿:居国内AI产品之首

    11月18日,腾讯控股(00700.HK)发布2026年第三季度财报,AI业务取得多项突破:最新一代混元大模型Hy4发布时位列Agent Arena中国模型第一;WorkBuddy日活超1000万,日均Token消耗量超100万亿,成为国内日均大语言模型Token消耗量最高的AI产品;微信AI助手“

    来源 AI 开发者社区
向下滚动自动加载更多