Arm发布Agent CPU评测方法论：GPU闲置难题怎么破

Agent 的落地场景正越分越细。

从 Claude Code 这类 AI 编程工具，到能处理文档、操作软件的办公助手，再到帮用户规划行程、管理日程的个人助理，越来越多具体任务开始由 Agent 接手。

场景铺开之后，底层算力也面临新考题。

Arm 近日拿出一套面向 Agent 的 CPU 性能评估方法论，思路是用更接近真实应用的测试，帮企业看清不同 CPU 跑 Agent 任务时到底表现如何。

这条路并非 Arm 一家在走。AMD 早前就提出过针对 Agent AI 的 CPU 工作负载评测框架，把工具执行、数据检索、任务编排等环节都算进测试范围；英特尔则围绕 Xeon 6 处理器做了相关测试，盯的是 Agent 任务的吞吐量和并发执行效率。

芯片厂商接连琢磨新评测办法，说到底是 Agent 把 CPU 的工作负载改了。

前几年，大模型算力竞赛的主战场在 GPU，Token 生成速度、吞吐量这些指标是衡量 AI 推理性能的主要尺子。

可 Agent 一旦真去干活，除了调大模型做推理，还得访问数据库、跑代码、调工具，哪一环都可能吃掉大量 CPU 资源。

Arm 云 AI 解决方案架构总监 Ravi Malhotra 拿软件开发 Agent 举例：模型先推理、生成代码，之后 CPU 还要负责代码构建、编译和测试，这些操作耗起时间来可能相当可观。

Ravi Malhotra 对全天候科技等媒体说，这类用例里一个关键问题在于 CPU 完成自身那部分任务的速度——它越快，控制权就能越早交回给更贵的 GPU 或加速器，流水线的下一步也才能接着走。“CPU 要是跟不上，更贵的 GPU 就只能闲着。”

麻烦的地方在于，各类 Agent 的瓶颈并不在一处。有的任务卡在 GPU 推理速度上，有的则受制于 CPU 沙箱执行能力或数据检索效率。哪怕同一种 Agent，瓶颈也会随模型、部署环境和具体任务而变。

还是看软件开发，代码编译和测试往往长时间占着 CPU，所以单 Agent 的执行性能更关键。企业客户支持、个人助理这类场景则不同，单次操作通常较短，却可能同时涌来大量请求，CPU 的并发能力因此被抬到更重要的位置。

这些差别，让 CPU 性能评估的着眼点转向完整 Agent 任务的执行效率，以及不同负载下的表现。

Arm 这次的办法，是把组件级测试和端到端 Agent 基准测试搭在一起用。

组件级测试管的是 Web 服务器、数据库、模型服务、沙箱执行这些环节；端到端测试则把 SWE-bench、Terminal-Bench 等 Agent 基准引进来，看完整工作流程中的性能成色。

单核性能、多核吞吐量这些传统指标之外，Arm 还盯上了 Agent 并发数量、任务执行效率以及每机架性能。

Ravi Malhotra 强调，评估性能得在吞吐量和 SLA（服务等级协议）要求之间找平衡，一味追求同时跑更多 Agent 并不可取。

各场景需求不一样，Arm 也不赞成给所有 Agent 用例套统一的权重，而是主张企业按自己的应用挑评测指标。

Agent 一步步走进企业实际业务流程，这些性能指标自然成了企业挑选、升级 CPU 基础设施时的重要参照。

在 Ravi Malhotra 看来，软件开发、客户支持、供应链管理以及个人助理等场景，会是企业升级 CPU 基础设施的主要推手。

Ravi Malhotra 表示，客户支持、供应链管理、个人助理这些企业场景更看重每机架性能，而 Arm AGI CPU 的可扩展性和能效优势恰好在这类场景里表现得格外明显。

他进一步指出，不管是为 Agent 应用升级现有基础设施，还是从头设计全新基础设施，上述场景都会带来明确的升级需求，并可能成为 Arm AGI CPU 增长和普及的主要动力。

对企业而言，CPU 性能提升的价值，最后还是要落到实际运营效率和成本上。

不同 Agent 的工作负载差距不小，基准测试里的性能优势能不能真变成任务执行效率的提升、部署成本的下降，还得靠更多实际应用来检验。