当“Token工厂”进入国芯时代:大模型商业化竞争悄然移向芯片
【环球网科技综合报道】“建一座能赚钱、扛得住大流量的 Token 工厂,绝不是买来算力卡插上电就万事大吉。” 清昴智能创始人兼 CEO 关超宇说道。在他看来,早年铺下去的 A100、H20 及更早期国产卡并非面向混合专家架构与百万上下文设计,硬件上限本就有限。更普遍的问题出在软件栈:Agent 长上下文场景下,Pref
【环球网科技综合报道】“建一座能赚钱、扛得住大流量的 Token 工厂,绝不是买来算力卡插上电就万事大吉。” 清昴智能创始人兼 CEO 关超宇说道。
在他看来,早年铺下去的
更现实的挑战,是模型按周迭代与二十余家芯片之间的落差。各家微架构与底层指令集互不兼容。
由北京智源人工智能研究院牵头、已开源四年的统一系统软件栈 FlagOS,成为填补这一生态断层的关键,也是清昴等商业团队的底层选择。
从清昴这类一线 Token 工厂的视角来看,迭代至 2.2 版本的 FlagOS 承接了最繁重、最容易重复消耗人力的底层工作。这套开源底座基于
开源软件栈如何提升产线算法上限
一线商业团队将 FlagOS 接入业务流水线,带来的改变不仅是省下工期,更直接提升了商业公司核心优化算法的工程上限。但让 AI 自己去优化硬件,在工程上存在一道隐形门槛。
关超宇提到这个核心难点:“要让 AI 学会优化 AI,前提是算法必须先看懂基础设施长什么样,知道底层有哪些硬件细节和边界条件需要注意。 如果直接把底层的裸硬件指令空间暴露给自动调优算法,虽然表面上灵活性最大,但这个搜索空间会变得极其‘稀疏’,算法在参数空间中稍有偏差,就会触发硬件报错或性能下降,很难搜索出稳健的可用方案。”
而 FlagOS 提供的标准化编译器、
即便面向未来完全由 AI 自主生成算子的演进趋势,这套公共底座也不会被边缘化,其作为工程支点的价值愈发凸显。正如关超宇所判断的,任何自我进化的优化系统要稳定、高效运行,都必须建立在完善的观测体系、衡量基准和基础工具链之上,没有哪一套单一系统能够从零完成所有的底层环节。未来的 FlagOS 编译器与算子库本身,也会持续吸纳这种自动迭代的思路向前演进。
另一方面,FlagOS 在开源形态上保持了克制。
过去不少基础软件开源项目追求“大而全”,试图把所有逻辑收进一个封闭完整的单体系统里,商业团队采用后往往被整套框架绑定,丧失面向客户定制的灵活性,遇到线上真实流量波动也难以调整。FlagOS 提供了一套完整可用的参考系统,同时把 FlagTree 编译器、
商业交付遭遇性能卡点,联合调优实现国芯突破
理论架构最终都要接受真实企业机房的检验。清昴等团队将国芯 Token 工厂推向一线交付时,遇到了具体的性能问题。一方面,行业客户要求在新一代旗舰集群
面对这些影响商业落地的痛点,硬件底座本身已具备条件——无论是昇腾 910C 内部
工厂侧团队联合开源社区,基于 FlagOS 底座开展“底层基建 + 业务深改”的联合调优,避免了重写底层栈的高昂代价。
在这一过程中,分工较为清晰。FlagOS 底座负责打通基础算子与编译链路。针对 GLM-5.3-Flash 的
联合调优取得了实际效果。在清昴的昇腾 910C 商业产线实测中,仅 Decode 阶段的优化就将字间延迟降低 10% 以上,每输出 Token 时间降低 8% 以上;叠加全链路业务调优后,GLM-5.3-Flash 在昇腾 910C 上的整体输出速度从二十多
这种依托底座的方案并不局限于单一芯片。在
通用软件栈在守住甚至提升性能的同时,让 Token 工厂具备了横跨多元硬件、平滑迁移交付的能力。(古雨)