江原科技提高质量Token四要求：国产算力底座如何落地

2026 年 10 月，江原科技在湾芯展《高质量token的国产算力之路》报告里给出高质量 Token 的四项要求：任务有效、响应及时、持续可靠、经济可用。实时交互盯的是等待时间；离线处理则更在意保住效果的前提下，成本能不能压住。[1]

公司成立四周年时，江原又讲了这些要求怎么落进产品设计：商业可用是底线，技术确定性是核心。每项技术怎么选，都从客户负载出发，先把瓶颈找出来，再用端到端测试验证它对性能、功耗、成本的实际影响。

图1. 晶圆与多芯粒封装概念

湾芯展报告提到，江原眼下攒下了177条适配记录，分布在21类行业里。软件服务、政务、医疗、能源、教育都落在这些场景中。

江原的打法覆盖云、边、端三处的训练与推理。部署位置不同，对推理系统提的要求也不同。

边端这一头，重点是让大模型应用更容易落地。设备功耗、内存和实时性，直接决定资源怎么配。模型适配、精度回归、部署工具这几样，能在不同项目之间反复用。

云侧则要把算力、存储容量和带宽统起来考虑。集群得撑住更规模的模型服务，在高并发下把有效吞吐提上去，同时还得满足客户对响应的要求。

拿长文档问答来说，输入第一次进来时，Prefill（输入处理）先把长输入算完，建立推理状态。接着Decode（逐词元生成）反复读取模型权重和相关缓存，一边计算一边做必要的通信。模型结构、上下文长度、并发量一变，两个阶段的资源瓶颈也跟着变。

图2. 长文档推理的数据路径。相同前缀的缓存命中后，系统仍需处理新输入并继续生成

请求若命中此前相同前缀的KV Cache（键值缓存），重复计算就能省下来。不过能省多少，要看缓存驻留在哪里、取回延迟多大，以及请求怎么调度。算力、容量或带宽加上去以后，衡量标准该落在完整服务的有效吞吐、首Token时延和持续生成速度上。GPDSA 与国产工艺优化

江原的路线是从DSA（领域专用架构）起步，往GPDSA（通用化专用架构）走。大模型里高频出现的计算与访存模式，可以由硬件专门做优化；模型结构、算子组合、部署方式一旦变化，则靠编译器、计算库和运行时留出适配余地。专用硬件的效率最终能有多少落到应用性能上，就取决于这两边配合得如何。

在既定的国产工艺下，设计可以从计算通路和访存通路切入，再把逻辑实现与物理实现一并考虑进来，在性能、功耗、面积之间做取舍。计算单元能效提上去之后，还得看存储访问、跨芯片通信、供电和散热会不会变成新的瓶颈，整机能拿到多少收益才谈得上判断。

图3. 既定工艺条件下的设计与实现优化示意

围绕国产工艺条件下的架构与实现优化，江原已经做了相应工作。下一步会拿目标负载来检验整机的性能、功耗和成本，制造与交付条件也在评估之列。

模型权重、会话状态和上下文规模都在涨，推理系统因此同时被带宽、容量和成本三条线勒住。高频数据访问交给 HBM（高带宽内存），想把近计算侧的容量做大，HBF（高带宽闪存）是一条候选路径。至于两者怎么分工，得看权重和缓存的访问频率、读写比例，还有时延要求。

图4. HBM 与 HBF 混合存储的研究示意

拿长上下文来说，活跃会话的 KV Cache 会随模型结构、上下文和并发量变化。访问敏感的数据，可以优先放在高速层；访问不多、又适合批量读取的数据，则可评估挪进容量层。问题是，容量上的收益能不能盖住数据取回和迁移的开销？这要用实际访问粒度、有效读写带宽、尾时延和可靠性去检验，缓存、预取和调度怎么配合也得一并考察。

还有一条路，是让部分受存限制的处理更靠近数据所在的位置。存内相关优化有机会少搬一些数据。不过要进入产品评估，目标算子、数值精度、数据复用和编程支持都得先明确，数据转换和结果交换的代价也要算进系统收益里。

江原的设计里，异构Chiplet（芯粒）让计算、I/O 这些功能模块各自独立迭代。模块之间靠封装和系统设计按需求拼起来。云侧根据模型和集群规模来配算力、存储和互联。边端则按设备的功耗、接口和成本来配资源。这样一来，不同产品就有机会共用一部分研发成果。

图5. 异构 Chiplet 的模块复用示意

硬件复用能不能真带来收益，得看互联、封装、测试和散热的约束，也得看软件能不能共用模型适配、工具链和部署接口。江原在湾芯展报告中亮出了自研软件栈，编译、运行时、计算库、通信库和性能分析都包含在内。后续平台建设会围绕模型支持泛化、精度回归、算子优化和应用部署来推。

这条路线值不值，要靠实际项目来检验。硬件这边看不同配置的开发周期和可交付性；软件这边看模型迁移顺不顺利、客户导入时间能不能缩短、后续版本好不好维护。

评估高质量 Token，模型版本、量化方式、输入输出长度、并发和服务要求都得保持一致。条件可比之后，记录首 Token 时延、持续生成速度、有效吞吐和长时间运行表现。缓存命中与未命中要分开测，P95 等时延分位数也要记下来，看看哪些请求响应偏慢。

图6. 推理系统验证口径示意

算百万 Token 成本，设备投入、能耗、利用率和运维开销都要计进去。输入处理和输出生成分开计量，再按业务负载组合起来比较。多步骤任务还得同时看任务完成率和完成任务的总成本，别让单项吞吐的改善盖住了实际效果或体验的下滑。

新型存储、国产工艺的落地以及存内计算方向的探索，都会跟着技术评估和验证的节奏往前走。下一步的重点，是看软件支不支持、制造和交付条件够不够、系统整体划不划算。江原想在实际业务里把这条工程路线跑通，让国产算力在客户能接受的成本下，稳定输出效果和服务都达标的 Token。

图7. 江原科技全栈产品图