给万卡国产芯装个“超级外挂”!清华团队要造最强国产Token工厂

资讯 腾讯网 作者:量子位 全文 5082 字 · 约 13 分钟读完 分类清华团队智能体算力

杰西卡 发自 凹非寺量子位 | 公众号 QbitAI两年半,增长5000倍。这是中国日均Token调用量的增长规模。2024年初,这一调用量还是1000亿;到2026年6月时,已达到约500万亿。Agent应用深入千行百业,模型能力不断突破,AI对算力的需求正在以前所未有的速度扩张。需求井喷之时,供给侧却面临另一番景象

所属频道 算力与芯片智能体与 Agent

杰西卡 发自 凹非寺

量子位 | 公众号 QbitAI

两年半,增长5000倍。

这是中国日均Token调用量的增长规模。2024年初,这一调用量还是1000亿;到2026年6月时,已达到约500万亿。

Agent

需求井喷之时,供给侧却面临另一番景象。

由于众所周知的外部环境,非国产先进算力供应的不确定性持续存在,国产芯片正加速走向主场。市场研究机构接近90%。

毋庸置疑的一点是,国芯国模。

但这条主线上依然布满障碍。不同厂商的芯片对应不同的软件栈,模型适配与开发者生态仍在完善;设备上架后难以匹配真实流量,算力利用率不足……

更深层的矛盾在于,供给侧按卡数、机柜和峰值算力衡量资源,需求侧却按照有效Token产出、响应速度和服务质量采购。

供需两端,说着两种不同的语言。

一家出身清华系的AI基础设施企业——清昴智能,正尝试成为这中间的“翻译官”。

11月17日,清昴联合昇腾950DT万卡级。

按照计划,清昴将以打造国内规模最大的独立国产,将分散、异构的国产算力组织起来,通过RSI驱动的软件技术和运营体系,转化为可计量、可验收、稳定交付的Token产能。

未来五年,清昴还会进一步建设覆盖多地域、多芯片的十万卡级

万卡计划背后,国产AI产业正在孕育一场新的分工。

让分散的国产算力,汇成万卡级Token工厂

建设万卡级算力集群,解决的是计算资源的规模问题。而要让这些算力成为一座持续生产、稳定交付Token的工厂,还需要更完整的技术与运营体系。

除了芯片、机房和电力,Token的生产还涉及模型适配、资源调度和真实业务需求。这些能力和资源,通常分散在产业链上的不同企业手中。

清昴此次万卡计划的特殊之处,就在于“联合运营”四个字。

按照最新公布的路线图,清昴计划于2027年推进昇腾950DT万卡级联合运营,建设国内领先的独立国产Token工厂。

他们还计划,未来五年,将这套体系扩展为十万卡级别自主可控的Token工厂网络,实现多地域、多芯片的统一调度与全国产算力供需匹配。

面对如此庞大的算力规模,清昴选择让不同企业各展所长,共同参与Token生产。

具体而言,这一计划将由四方共建、联合运营:

  • 华为昇腾

  • IDC和

  • 模型与流量方提供真实业务需求,并参与服务质量验收;

  • 清昴智能

四方围绕真实Token产出建立合作机制,通过服务质量协议(

芯片、机房和模型需求来自不同企业,但最终交付的是符合统一标准的Token服务。各方的合作,也由设备和资源的供给,进一步深入到生产与运营环节。

清昴公布的首批运营合作方,包括北京智源人工智能研究院、上海数据港、中国电信湖北分公司、湖北大数据集团和北京国际算力服务有限公司等。

而支撑这项万卡计划的,是清昴此前积累的国产算力运营基础。

截至目前,清昴已联合20余家算力中心开展运营,积累近2万张国产卡的调度经验,完成了15款以上国产芯片的适配优化,并推进了近10套

新一代硬件也有了落地进展。作为华为首批950DT超节点合作伙伴,清昴披露,多套昇腾950算力已经落地武汉、芜湖等地机房,相关全栈适配与运营能力正在建设中。

这些跨芯片、跨中心的实践经验,也让清昴有机会通过昇腾950DT平台,将Token生产能力铺向更大的算力网络。

一条不同于传统算力中心建设的商业路径,也由此逐渐清晰起来。

传统

清昴则通过联合运营参与Token生产,让算力服务的扩张不再完全依赖自有设备数量,技术效率、资源组织和客户交付能力的重要性随之提高。

不过,万卡规模只是基础。同样是一万张卡,模型适配效率不同、资源调度水平不同,最终能够交付的Token产量与质量往往相去甚远。

既然差距真实存在,那Token工厂该怎样建立一套可比较的标尺呢?

清昴智能多、快、好、省。

  • 多,衡量支持模型的丰富程度与有效Token吞吐;

  • 快,关注首Token时延、输出速度及新模型适配效率;

  • 好,要求模型精度一致、服务稳定,并满足客户

  • 省,则落在每百万有效Token的综合成本与单位能耗产出。

这四项标准最终指向同一个目标——在既定的服务质量下,让有限的计算资源持续产出更多高质量Token。

而在国产算力快速扩张的当下,要让一座万卡工厂真正高效运转,实际还有大量的工程难题横亘其间。

有卡不等于有高质量Token

国产算力发展到今天,首先遭遇的是模型与硬件之间的时间差。

模型一日千里,硬件却有自己的生长周期。一款芯片从规划、研发到发布,可能需要三年左右。但短短一年多,模型规模、上下文长度、推理方式及客户对响应速度的要求,就可能发生巨大变化。

更何况,国产算力正呈现多元化发展格局。不同芯片拥有不同的架构和软件栈,新模型投入使用,往往还需要经过兼容、算子调优和性能验证。

北京智源人工智能研究院副院长兼总工程师林咏华认为,国内已经拥有不少优秀的芯片团队,产业更需要完善的是让不同硬件共享技术成果、协同发展的软件体系。

△北京智源人工智能研究院副院长兼总工程师林咏华

所以,芯片的选择愈加丰富后,模型与硬件之间的软件适配,就成为必须跨越的第一道关口。

而第二道关口,在数据中心的实际运行中——设备上架率,并不等于算力利用率。

真实业务里,长短请求大多混杂,并发量不断波动,

固定的模型部署与调度方案,很难始终匹配这样的负载变化。芯片即便完成部署,仍需要持续优化并行策略、缓存管理和资源分配,才能充分释放计算能力。

因此,算力建设与业务需求之间,同样存在时间错位。

国产算力扩张的最后一道关口,落在实际交付上。

芯片厂商关注计算性能,算力中心关注卡数和资源利用率;真正购买模型服务的客户,却更加关心Token吞吐量、响应时延、服务稳定性和实际成本。

尤其是Agent应用,单次任务可能涉及多轮推理与工具调用,中间某个环节发生故障,就会影响整个流程。

看似便宜的Token,如果频繁引发任务失败或反复调用,最终的业务成本可能反而更高。

△图片由AI生成

至此,三道关口最终都指向了Token工厂的生产能力。

模型适配决定芯片能否高效运行,资源调度影响已有算力能够释放多少性能,服务质量则关系到Token能否真正进入企业生产。

其中任何一个环节存在短板,最终都将反映在Token的产量、成本和交付质量上。

一座成熟的Token工厂,需要将这些原本分散的工程能力组织起来,让每一张芯片产生的计算能力,最终变成稳定、可预期的Token产出。

对于清昴而言,这也正是建设万卡工厂的真正挑战。

让万卡持续变强,清昴押注RSI

Token服务,正在成为AI基础设施竞争的新阵地。

大型云厂商已经将Token服务纳入AI基础设施布局。它们拥有庞大的算力资源、客户网络和成熟的服务体系,部分企业还将自研芯片、基础模型与应用流量组织在同一生态内。

另一边,很多独立企业也在围绕高性能推理、异构算力调度和模型服务拓展市场,依靠底层效率与跨平台能力参与竞争。

同样提供Token服务,各家企业所依托的资源与技术路径并不相同。

清昴选择的,是更靠近Token生产环节的一条路。

而要在这场竞争中立足,清昴必须凭借软件优化与专业化运营,让分散在不同企业手中的国产算力创造更高的实际产出。

这条路,也与清昴的创业经历一脉相承。

2022年10月,关超宇与本科时期的伙伴姚航共同创立清昴智能。

△清昴智能创始人、首席执行官关超宇

关超宇在清华大学研究自动机器学习,曾带队研发自动图学习开源项目

清昴的创始团队成员也大多来自清华大学计算机系,在自动机器学习、模型压缩和边缘计算等方向拥有技术积累。

最初,清昴致力于提高AI模型在不同芯片上的运行效率。国产芯片与大模型加速发展后,这项研究逐渐扩展到更大规模的算力集群。2024年,华为旗下

但随着集群规模的扩大,整体效能和稳定交付又成了新的挑战。清昴的技术体系随之扩展,逐渐形成两套核心软件。

MLGuider负责优化模型在底层硬件上的计算效率;玄武智算云则将不同芯片与算力中心纳入统一管理,承担资源调度、运行监控和Token计量等工作。

真实业务请求进入工厂后,需要先匹配合适的计算资源,再通过高效推理生成Token,最终按照客户要求完成计量与交付。整个过程中,资源利用率、响应速度和服务稳定性,都直接影响最终产能。

围绕这些环节,清昴此前积累的六项技术能力,恰好形成了一套相互衔接的软件基础。

智能网关负责请求分配,多级减少重复计算;算子加速与分布式并行提高推理效率和集群吞吐;稳定性运维保障持续交付,RSI自进化优化则让运行中积累的经验得到复用,推动整套系统不断改进。

原本服务于模型部署和算力优化的技术,如今被进一步应用到Token生产与运营之中。而这些能力也在沿着请求的流向依次发挥作用。

首先得到提高的是算力资源的实际利用效率。

Agent应用涉及大量长上下文和连续调用,不同请求对计算资源的需求差异明显。清昴通过智能网关动态分配算力,并利用四级,减少重复运算。

据公司披露,相关场景的缓存命中率最高达到99%,算力利用率曾由30%~40%提升至约80%,重复计算与闲置资源问题得到了明显改善。

也就是说,同样一批芯片,可以承接更多真实业务请求,算力中心无需完全依靠增加设备来扩大服务能力,也为降低Token生产的综合成本创造了空间。

资源得到充分利用之后,还要进一步提高Token的实际产出速度。

相比单个算子的性能变化,集群吞吐和响应时延更接近客户能够感受到的服务能力。前者意味着同等时间内可以处理更多Token,后者则反映出高延迟请求的等待时间得到改善。

清昴通过底层算子和分布式并行优化,在相关测试中将特定

集群层面,每分钟Token吞吐量由4000万提升至1.4亿,180秒缩短至40秒。

Token生产出来,还需要能够稳定交付。

对于需要连续调用模型的Agent应用,稳定性直接关系到Token服务的实际使用成本,这也是工厂能够进入企业生产环境的重要前提。

为此,清昴建立了覆盖运行监控、故障隔离和业务恢复的运维体系,尽可能保障99.99%的服务可用性。

这些技术共同作用于Token生产的吞吐、响应、稳定性和成本控制,对应的正是清昴提出的“多快好省”标准。

不过,万卡工厂真正的难题,还在于规模化复制。

面对数万张芯片、大量不同的模型组合,以及业务负载的变化,如果还要依靠传统方法,让工程师反复调试完成优化,成本与难度都会暴增。

清昴为此将RSI自进化技术引入了Token工厂,尝试“用AI优化AI”,让AI参与优化支撑自身运行的计算系统。

目前,这套系统已积累数万条优化轨迹,支持新算子小时级开发验证、新模型天级适配上线。

这意味着,新模型和新硬件接入时,部分原本需要工程师重复完成的工作,有机会借助已有经验更快完成。模型适配与优化周期的缩短,也有助于减少新算力投入使用之前的等待时间。

清昴早期在自动化优化领域的积累,也由此延伸到了大规模基础设施运营中,随着Token工厂的运营网络扩大而进一步释放。

而且联合运营网络,让清昴得以进入更多合作伙伴的算力中心。不同芯片、模型和实际业务产生的运行数据,又反过来为RSI系统提供更多优化经验,进一步改善Token生产效率。

技术、运营与规模,由此形成相互促进的关系。

沿着这条路径,清昴正在构建一套面向国产Token算力底座。

底层连接多地域、多芯片的计算资源,上层承接大模型、Agent及行业应用的真实需求,中间通过推理优化、统一调度和持续运营,将分散的算力转化为稳定、可扩容的Token供给。

随着国产芯片供给持续扩大、模型能力不断突破,新的软件体系、运营服务和商业协作机制正在形成。国芯国模的竞争,开始深入整个产业体系的组织与运行。

更深层的变化,是中国AI产业正在建立自己的生产秩序。

非国产先进算力的供应在经历反复波动,国内模型的迭代和应用需求却不会停下来。

每一代芯片的进步、每一款模型的突破,都需要成熟的软件体系和产业协作承接,让技术成果沉淀为持续、稳定的供给能力。

国芯国模的崛起,终究要超越单个产品的技术突破,形成一套自主运转、自我进化的产业体系。

只有将芯片、模型与生产体系牢牢掌握在自己手中,中国AI才能真正按照自己的节奏向前。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 张博开源Linger:零token费本地跑125B模型,12GB显卡够用

    11月19日,前DeepSeek-VL项目负责人张博在X宣布开源个人Agent Linger,开发主体是张博创办的SIMPLEX AI TECHNOLOGIES PTE. LTD.(以下简称“Simplex AI”),代码已上传GitHub。按项目文档,Linger读取本地邮件、日历和文件,操作用户已登录的浏览器;连接

    来源 腾讯网
  2. 从中国到全球,openEuler正成为Agentic 时代的算力基石

    文/ 观察者网 吕栋过去三年,大模型完成了从技术热词到产业底座的身份转换。进入2026年,行业关键词正从“模型”迅速让位于“Agent”。当智能体能够自主感知、规划、调用工具,并以多Agent协同的方式完成长链条任务,算力的消耗方式、软件的运行形态乃至基础软件的分工边界,都在被悄悄重写。近日,Agentic Infra

    来源 腾讯网
  3. 联想杨元庆:终端市场有巨大增长机会,80% 算力将产生于“端边”

    IT之家 11 月 19 日消息,据新浪科技今天报道,联想集团董事长兼 CEO 杨元庆在公司 2026/27 财年第二季度业绩沟通会上,谈到终端设备市场的长期趋势。他表示:“我们认为普惠的阶段刚刚开始,终端设备市场孕育着巨大的增长机会。” IT之家从原报道获悉,杨元庆认为,人们现在已经进入智能体时代。在这个时代,终端设

    来源 AI 行业观察
  4. Uber建MCP Gateway:800个服务器、5000个工具如何统一调度

    作者 | Leela Kumili译者 | 田橙随着 AI 智能体在公司内部得到广泛采用,Uber 构建了一套 MCP Gateway,用于规范智能体发现和调用内部服务的方式,以解决集成碎片化、基础设施重复建设和安全实践不一致等问题。该平台支持 800 多个 MCP 服务器和 5000 多个工具,为服务发现、协议转换、

    来源 腾讯网
  5. 阿里云Q2收入609.73亿增53%:算力紧缺成长期现实

    另外,吴泳铭判断:算力紧张是行业中长期要面对的现实,2027至2028年国内算力供给仍存在缺口,阿里会持续补齐自研算力供给,同时通过多元化采购保障供给。吴泳铭表示,全球各个区域的算力政策出现了非常大的变化,将对阿里云的数据中心建设产生影响。根据目前的初步评估,阿里此前制定的到2032年全球数据中心规模超过20GW的目标

    来源 TechWeb
  6. Claude推理引擎实测:首token延迟从12秒压到0.48秒

    人工智能智能体能否自主搭建并强化AI研发基础设施,正成为衡量前沿模型自主能力的重要标尺。卡内基梅隆大学等推出Singularity-Bench基准,设六道AI研发考题,考察其自主构建能力。测试中,Claude Opus5.5搭配Claude Code表现亮眼,在模型推理性能层实现延迟大幅压缩,并通过调度优化提升硬件产出

    来源 AI 产业速递
  7. OpenAI开放GPT-Live-1.1 API:语音智能体可边聊边干活

    IT之家 11 月 20 日消息,OpenAI 今日宣布向开发者开放 GPT-Live-1.1 API 语音模型,允许第三方开发者将其集成到自己的应用程序中,构建能够实时聆听、回应并执行复杂任务的 AI 语音智能体。 据 OpenAI 介绍,GPT-Live-1.1 是 GPT-Live-1 的升级版本,具备全双工语音

    来源 AI 行业观察
  8. Claude开AI工厂:7周造38个模型,狂揽5.5万下载

    Claude开了一家造AI的工厂! 七周,Claude交出38个模型,狂揽约5.5万次下载,杀进100多个GitHub项目。 38个模型累计下载约5.5万次,光是提示注入检测系列就有约1.7万次下载。 这AI工厂背后的「老板」叫Horizon,是一个基于Claude Opus 5.5的智能体。 它开局拿到的,只是一个空

    来源 AI 行业观察
  9. HPE推ProLiant Gen13服务器:搭载第六代AMD EPYC,主打AI推理与安全

    为此,HPE以全新ProLiant Gen13服务器作出系统性回应。HPE此次推出的两款ProLiant Gen13服务器,融合HPE深厚的工程技术积淀与AMD EPYC 9006 SP7处理器的性能优势,在核心密度、内存带宽及I/O能力等方面实现进一步提升,为企业应对AI时代多元化、复杂化的计算需求提供强劲算力支持。

    来源 TechWeb
  10. HPE ProLiant Gen13上新:第六代AMD EPYC加持,面向AI推理与企业负载

    为此,HPE以全新ProLiant Gen13服务器作出系统性回应。HPE此次推出的两款ProLiant Gen13服务器,融合HPE深厚的工程技术积淀与AMD EPYC 9006 SP7处理器的性能优势,在核心密度、内存带宽及I/O能力等方面实现进一步提升,为企业应对AI时代多元化、复杂化的计算需求提供强劲算力支持。

    来源 TechWeb
  11. 谷歌提出SIM记忆机制:让AI智能体跨模型持续自我改进

    模型一换,精心优化的 agent harness 可能立刻“水土不服”。专为 Claude 演化的 harness 甚至可能给 Gemini 带来“负收益”。因此,模型迁移后需要重新评估继承的修改,判断哪些仍然有效,哪些需要修订。 harness 管理 agent 的上下文、工具和执行流程。递归自我改进(RSI)虽会依

    来源 AI 行业观察
  12. AMD苏姿丰给出2027年指引:服务器营收翻倍,总营收增幅超80%

    11月19日,AMDCEO苏姿丰在第三季度财报电话会议上给出了极为激进的业绩指引:预计2027年公司服务器业务营收将实现同比翻倍,整体营收增幅超过80%。这一表态正值全球AI算力需求持续井喷、竞争对手英伟达深陷高层动荡的微妙窗口期,AMD正加速抢占数据中心市场份额。

    来源 TechWeb
  13. AMD苏姿丰给出2027年目标:服务器营收翻倍,总营收增幅超80%

    11月19日,AMDCEO苏姿丰在第三季度财报电话会议上给出了极为激进的业绩指引:预计2027年公司服务器业务营收将实现同比翻倍,整体营收增幅超过80%。这一表态正值全球AI算力需求持续井喷、竞争对手英伟达深陷高层动荡的微妙窗口期,AMD正加速抢占数据中心市场份额。

    来源 TechWeb
  14. AMD苏姿丰立目标:2027年服务器营收翻倍,总营收增超80%

    【TechWeb】11月19日,AMDCEO苏姿丰在第三季度财报电话会议上给出了极为激进的业绩指引:预计2027年公司服务器业务营收将实现同比翻倍,整体营收增幅超过80%。这一表态正值全球AI算力需求持续井喷、竞争对手英伟达深陷高层动荡的微妙窗口期,AMD正加速抢占数据中心市场份额。 服务器营收翻倍的具体指向,是EPY

    来源 AI 行业观察
  15. Echo 创始人邹皓:硬件负责收集声音,AI负责创造价值

    过去一年,AI 硬件经历了一轮完整的冷热切换。年初,“取代手机”式的探索产品相继退场,热度转向更加务实的产品路线:录音卡片累计出货突破百万台,头部公司做出上亿美元级别的年经常性收入,AI 眼镜出货量一年增长超过三倍,行业叙事也从录制工具,升级为记录生活的入口。2026 年下半年,Personal Agent 概念爆火,

    来源 腾讯网
  16. 从英伟达到苹果、微软:同样拥抱AI,为什么企业的财富命运截然不同?

    AI正在改变企业创造财富的方式。检索、计算、起草、核对等标准化工作,越来越多地由工具完成。技术能力的普及并不意味着企业之间的差距会消失。相反,当算力和信息更容易获得,领导者如何提出问题、配置资源、处理冲突以及确定长期目标,开始更直接地影响企业能否把技术转化为持续价值。德鲁克曾把管理与领导分开:管理是把...

    来源 腾讯网
  17. AI智能体“闯入”银行系统?亚利桑那州对OpenAI等企业启动刑事调查

    【TechWeb】11月19日,据路透社报道,美国亚利桑那州已对OpenAI及其他人工智能企业启动刑事调查,案件核心指向“失控AI智能体疑似入侵银行系统”事件。该州总检察长克里斯·梅耶斯(Kris Mayes)周三在芝加哥的新闻发布会上表示:“亚利桑那州对此非常担忧,我们正从多个角度审视这一问题。” 梅耶斯透露,其办公

    来源 AI 行业观察
向下滚动自动加载更多