Anthropic Claude Duet：个人智能体兴起，国产GPU考题变了

硅谷巨头又找到一个AI新入口。

10月21日，Anthropic发布个人智能体Claude Duet，想让AI在用户离开电脑之后接着干活，自己处理日程、文件等任务。9月Meta推出的Muse同样引发关注，OpenAI、Google也在加紧布局，Personal Agent正成为新一轮AI产品竞争的热点。

AI行业由此开始重新打量模型的使用方式。一个Agent要完成任务，往往得反复调用模型、操作软件、核对结果，一干就是几个小时。单次推理成本在降，可AI执行任务的次数和复杂度都在往上走。

算力需求涨得快，科技巨头的采购动作已经能看出来。

据路透社报道，字节跳动、阿里巴巴和腾讯订购了超过300万张英伟达RTX PRO 5500显卡，总价值超过350亿美元。这批产品虽属工作站显卡，英伟达仍无法保证全部交付。

AI应用不断吃掉新的算力，高端芯片供应又持续受限，国产GPU厂商因此迎来争取这批付费能力极强客户的机会。不过模型和应用更新越来越快，客户买算力时也开始盘算更长远的事：花大价钱购入的一批GPU，未来几年究竟能发挥多大价值？

往前数三年，客户买GPU最看重的是峰值算力、显存容量和单卡性能排名。

现在这个“考点”正悄悄起变化。系统级效率、模型快速迭代下的长期适配能力，以及部署和运维的真实成本，都进了供应商的重点考察范围。

2026年上半年，

国产GPU厂商等了多年的市场机会，正一点点变成订单。可真要进客户的数据中心，还得跨过不少门槛。

这类项目的复杂之处，多半藏在芯片采购之后。GPU能不能跑通客户在用的模型，部署要多少工程师，后续能不能稳定运行，都会影响企业最终怎么下单。

在传统行业，换用国产GPU甚至可能牵动一套跑了多年的软件系统。

中国石化

中科曙光高端计算总工程师卜景德此前接受媒体采访时提到，有些科研算法想做好深度适配和优化，得投入几十名工程师，项目复杂的话，团队人数会达到一两百人。

一家企业若已在软件上投入多年，哪怕国产GPU采购价更有吸引力，重新适配花掉的时间和人力成本也很难忽略。

AI模型更新越来越快，这笔计算的账就更复杂了。

9月，DeepSeek发布V4.1-Flash，通过调整模型架构，把运行时所需的高带宽显存缓存压缩到上一代的四分之一，SSD存储需求降到八分之一。模型厂商不停优化计算方式，GPU厂商则要跟上新的模型架构，这些改进带来的效率优势才能尽量发挥出来。

Personal Agent的兴起，也给AI应用的算力提了新要求。模型得连续处理任务、频繁调用工具，还可能同时服务大量用户。客户既想提高GPU利用率，也要控制长期运行成本。

问题是，GPU服务器通常要用好几年，模型却可能几个月内就更新多次。客户今天把模型部署完，将来换新模型，仍可能需要重新适配和调优。

海外供应限制确实给国产厂商打开了市场，但客户最终愿意买多少国产GPU，还看后续投入能否让已有设备持续适应新的AI应用。

近期，国产GPU与英伟达之间的性能差距，出现了一些值得关注的变化。

10月28日，天数智芯在上海开放日活动上，首次对媒体开放新一代高端通用GPU天垓300的实机演示。此前已有第三方权威机构针对四款主流模型、三类应用场景开展测试，在典型的PD分离部署下，天垓300折算单卡的端到端推理吞吐达到英伟达H200的1.05倍。

PD分离是把大模型处理输入和生成回答两个阶段交给不同计算资源，已成为提高推理效率的重要部署方式。相比理论算力峰值，这项测试更贴近客户实际运行模型时的工作负载。

天数智芯性能实验室的测试显示，天垓300跑主流模型时，首字延迟比H200低约10%至30%。训练侧，基于Qwen3-32B模型的8卡整机测试中，每卡有效吞吐为H100的1.33倍。

现场播放了一段200倍加速的训练视频。两款GPU同时跑100个训练周期，天垓300先完成，模型收敛曲线与H100基本一致。

问题是，大模型应用越做越复杂，单卡性能已经撑不起整套算力系统的效率。

天数智芯AI与加速计算负责人单天逸在演讲中表示，过去十年行业算力投入不断加码，实际利用率却远远没跟上。他援引的数据显示，推理场景平均算力利用率不到20%，训练场景也只有40%出头。

他把客户要的算力归成三条：高效率、可预期、可持续。企业不光想在同样时间里干更多活，还希望系统性能稳、部署结果能预估，将来换模型换算法时，原有设备还能接着用。

拿眼下用得多的混合专家模型来说，一次推理任务里包含好几种计算环节，有的偏重矩阵运算，有的对数据传输和响应延迟更敏感。全让同一种芯片扛，效率未必最好。

天数智芯这次主推的AFD异构计算方案，就是让天垓300和其他厂商的专用加速芯片一起做模型推理。

分工上，天垓300管输入处理，以及生成阶段的注意力计算；合作厂商的XPU负责专家网络计算。两种芯片得不停交换中间结果，分工省下的计算收益必须盖住通信开销。

现场披露的测试结果显示，这套方案把解码阶段的推理延迟降了60%。

大型数据中心大多已经买过不同厂商的设备。新上的国产GPU如果能和原有芯片一起跑，客户就能按模型特点调资源配比，把已有的算力资产留住。

不过，参与计算的GPU从几颗涨到上百颗，数据传输又成了新麻烦。

天数智芯此前在中国国际工业博览会上亮出的IXL144超节点，把一个机柜里塞进144颗GPU和18颗CPU，聚合显存约10.1TB，整柜互联的单跳时延做到100纳秒级。

大模型跑起来时，多颗GPU要频繁交换数据。通信耗时一长，单颗芯片再强，也可能大把时间花在等待上。天垓300 IXL144靠高速互联，把更多计算和数据交换收进机柜内部。

天数智芯算过一笔成本账：相比国际主流方案，每百万有效Token的成本能降40%。

硬件性能一步步追上来之后，软件适配仍是国产GPU躲不开的门槛。

新模型一发布，工程师得查驱动、配计算环境，再照着运行结果调参数。模型能跑起来还不算完，后续性能优化可能又要花掉好几天。模型更新越快，这类活就越密。

天数智芯副总裁、软件开发负责人石加圣在现场试着改掉这套流程。

一项复杂模型部署任务里，开发者只要向Agent输入目标，它就开始调用安装和部署工具，检查软件依赖，再根据执行反馈调整操作。过去工程师逐项做的配置工作，被串成了一套能重复执行的流程。

目前披露的案例中，从环境准备到模型正常提供服务，耗时从1小时压到10分钟，人工操作从数十步减为一次目标输入。

更复杂的性能优化也交给了Agent。

Agent会读GPU的运行轨迹和关键指标，找出拖慢模型的环节，再调工具去调整和验证。案例中一项原本要7天的调优工作被压到2小时以内，特定工作负载的整体性能提升接近一倍。

石加圣还展示了Agent参与底层GPU程序开发的过程。生成的代码要过编译、正确性检查和实际性能测试，重要决策和最终验收仍由工程师把关。

以前，GPU厂商攒下的软件优化经验大多捏在少数工程师手里。天数智芯想把这些经验整理成Agent能调用的工具和操作规则，让新客户部署模型时少做反复排查和重复开发。

现场还有一组画面，展示的是通用GPU在大模型之外的用武之地。

一只虚拟机械臂把散落的字母方块一个个推回原位，最后拼出“ILUVATAR”。手臂怎么动、方块落地时怎么碰撞摩擦，全靠一张天垓300实时算出来。紧接着，256个虚拟机械臂一起上场，各从不同方向出发，单卡每秒推进的仿真状态超过20万次。

机器人研发离不开反复试错。有了虚拟环境，团队可以同时试不同动作，真机反复训练的成本也就省下来了。

端侧产品展示环节，天数智芯把最近走红的MicroDuck直接搬到了现场。

这只机器鸭是复刻版，3D打印加手工组装做出来的。靠彤央TY1200端侧算力终端，团队没调用云端资源，就完成了物理仿真、策略训练和动作验证，机器鸭最后成功站住。

过去做同类机器人动作学习，通常得借云端的算力。天数智芯把训练塞进一台本地设备，用端侧算力来驱动，给AI硬件团队多了一条更安全、也更高效的路。

四五年前设计的一颗国产GPU，到2026年还能跑最新的大模型。

这个细节是天数智芯副总裁宋煜在交流时讲的。公司第二代GPU推出已有多年，客户照样能靠软件升级用上新发布的模型。

模型迭代这么快，GPU的寿命正被重新打量。以前企业买一批服务器，按既定业务跑好几年，内部运维说了算。现在模型架构和推理方式一直在变，硬件还没到淘汰的时候，软件已经更新了好几轮。

据介绍，天数智芯目前有380多家客户，分布在30多个行业。客户应用一般一小时内就能迁完，要做进一步性能优化，得花一周到15天。

公司每半年还会回访数十家客户，眼下满意率在98%以上。宋煜说，客户第一次部署完之后，能不能跟上主流模型的更新，已经成了影响后续复购的关键。

还有一批客户，正把GPU从数据中心挪进尺寸更小的设备里。

天数智芯彤央产品市场负责人宋远盈看到，小模型能力在涨，一些原本要调云端大模型干的活，现在本地设备就能接。科研、工业这些领域尤其如此，客户还得考虑数据保密、响应速度和长期使用成本。

彤央系列为此准备了两种形态：算力模组和一体化终端。有硬件研发能力的企业，可以把模组装进机器人或专用设备；想快点用起来的客户，就选集成了CPU、GPU和存储的一体化终端，省掉自己搭计算系统的麻烦。

河海大学金坛校区的电池材料分析实验平台，已经用上了基于彤央TY1200的科研智能体。

以前实验室各台仪器的数据散在不同系统里，研究人员得花大量时间整理、核对，再写分析报告。现在系统自动采集仪器数据，清洗、分析、生成报告一条龙，有些报告大约两分钟就能出来。

还有一层好处：科研数据留在本地，实验室可以持续攒下研究成果。实验做得越多，原先散落的数据越能统一存起来、随时调用，重复整理的事也少了。

文旅和公共服务领域也有类似的本地算力需求。一家中小型博物馆白天用TY1200做智能导览，晚上同一台设备接着训练小模型，设备利用率就这么提上去了。

上海市阳光康复中心里，一台搭载彤央算力终端的AI导诊机器人已经上岗，能给视障人士提供问询和引导。天数智芯也在通过算力模组进机器人市场，让客户在自己的产品里集成视觉识别、感知和决策能力。

从数据中心里的千卡集群，到实验室和机器人身上的小型算力终端，再到Personal Agent让AI真正开始“替人干活”，国产GPU面对的题，已经从单纯的性能竞赛，变成效率、成本和长期适配的综合考核。

长程任务让Personal Agent对上下文记忆、任务规划、工具调用和多用户并发的要求更重，客户对算力、成本、延迟的期待也在变，开始盯GPU能不能稳稳撑住Agent连续跑几个小时，模型更新后还照样高效。

除了芯片性能，部署效率、长期运行成本和软件生态，都会左右下一轮采购的选择。

单天逸由此说到算力系统的另一种可能：“未来的AI算力系统，不一定由一种芯片包打天下。”他还表示，“关键是如何把它们高效组织起来，让整个系统发挥更大的价值。”