Arm AGI CPU软件生态助力智能体AI规模化部署

智能体 AI 所需的开源和商业软件基础组件已经广泛覆盖 Arm64 生态系统

生成式人工智能让模型成为基础设施领域讨论的焦点。智能体 AI则改变了这一局面：当智能体检索数据、调用工具、执行代码并协调多步骤工作流时，围绕模型运行的软件变得与推理本身同等重要。

为满足不断演进的基础设施需求，Arm 推出了基于 Arm Neoverse 平台的 Arm AGI CPU，其专为智能体 AI 的计算需求而打造。Arm AGI CPU 旨在提供支持高并发智能体工作负载所需的性能、可扩展性与能效，涵盖编排、工具执行、数据检索和应用服务等。

在 2026 开放计算全球峰会（OCP Global Summit）上，Arm 介绍了一套针对智能体 AI 的全新 CPU 评估方法，并获得富士通（Fujitsu）、Meta 和 OpenAI 的支持。同时，第三方验证结果表明，Arm AGI CPU 的每机架性能最高可达 x86 服务器处理器的 2 倍。

要实现智能体 AI 的大规模部署，仅靠 CPU 创新是不够的，还需要一个覆盖智能体框架、编排、数据基础设施、网络和应用服务的强大软件生态系统。凭借多年来与开源社区、软件厂商及云服务提供商的深入合作，Arm 已构建起成熟且经过生产环境验证的软件生态系统，为迈入这一新时代奠定了基础。如今，云原生和 AI 软件已广泛原生支持 Arm64，基于 Arm Neoverse 平台的 CPU 也已在全球领先的云平台上实现规模化部署。依托这一成熟的软件基础，开发者可以在 Arm AGI CPU 上构建智能体 AI 应用，并实现规模化扩展。

智能体任务背后的软件

智能体 AI 软件栈涵盖智能体框架与编排、工具执行、记忆与检索、模型服务以及云原生基础设施。如下图所示，这些能力由广泛的开源及商业技术生态共同支持，其中包括 LangGraph、LangChain、Firecracker、Redis、Elasticsearch 和 vLLM。

智能体 AI 软件栈将智能体框架、编排、运行时服务、数据检索以及模型服务整合在统一的云原生基础之上，为软件工程、机器人及自动化等各类应用提供支持。

开发者可以通过 Arm Software Ecosystem Dashboard了解软件可用性、支持的版本及相关资源，其中还设有Agentic AI专类。开发者可以此为起点，利用熟悉的技术在 Arm64 上构建和部署智能体 AI 应用。

不同智能体，不同的基础设施需求

尽管各种智能体 AI 应用共享通用的软件基础，但根据其执行不同任务，对基础设施的要求存在着显著差异。编程智能体需要频繁执行代码、编译软件和运行测试，因此对 CPU 性能及沙箱环境提出了更高要求；而企业工作流智能体高度依赖 API 交互、数据库事务及编排；研究型智能体依赖高效的搜索、信息检索及记忆管理。个人助理更注重交互响应能力；机器人应用则对仿真及时延敏感的协同提出了更多需求。

这些工作负载的差异，是 AI 应用设计与部署方式整体发生转变的一部分。深入了解智能体 AI如何推动云、边缘及物理系统的计算发展。

对于开发者而言，了解智能体的执行时间主要消耗在哪些环节，是优化软件栈的关键。例如提升编程智能体的沙箱性能、提高企业工作流中的数据库和 API 效率，以及优化研究型智能体的检索与缓存，都有助于提升端到端任务性能。这些差异也说明，在评估智能体 AI 基础设施时，应着眼于完整的工作流，而不能只关注模型推理性能。

从软件适配迈向性能优化

为应对这些多样化的工作负载需求，Arm 正致力于优化智能体 AI 软件栈中关键组件的性能，覆盖开源软件和商业软件。

工具执行与沙箱：Signal65 对 Arm AGI CPU 进行的独立测试显示，与 AMD EPYC 9965 相比，其沙箱创建时延最高降低 45%，凸显了 CPU 性能对于智能体工具执行的重要性。

企业搜索与检索：智能体依赖对企业中结构化和非结构化数据的高效访问。Elasticsearch 通过向量搜索、混合检索和实时搜索等能力支持此类工作负载。Arm 最近发布的 Elasticsearch 性能基准测试显示，在基于 Arm 架构的基础设施上运行此类工作负载具有性能优势。

向量数据库与智能体记忆：向量数据库支持智能体检索相关上下文，并在多步骤工作流中访问持久化保存的知识。Redis 等技术可支持向量搜索、缓存和智能体状态管理。Arm 正与生态合作伙伴携手，在 Arm64 上优化这些工作负载。Redis 8.10.1 向量搜索基准测试显示，AWS Graviton5 每美元可完成的上下文获取次数比 x86 多 16% 至 27%：在正常负载下，AWS Graviton5 在包含 57 万份文档的数据集上具有 16% 的性价比优势；在高负载下，包含 330 万份文档的数据集上，这一优势进一步提升至 27%。

模型服务：模型服务框架也是 Arm 软件优化的重点领域之一。Arm 已发布相关 vLLM 开发者资源，演示如何在基于 Arm 架构的服务器上部署模型、开展量化推理及进行性能调优，帮助开发者提升推理吞吐量和资源利用效率。

OpenInfer 等新兴独立软件供应商（ISV）正在推动面向异构计算资源的智能推理路由与调度。OpenInfer 正与 Arm 展开合作，展示其 Loom 平台如何在多个基于 Arm 架构的 CPU 运行 AI 模型。

智能体 AI 实践：Arm AGI CPU 上的客户服务演示

为了展示智能体 AI 软件生态系统在实际应用中的运作，Arm 使用 LangGraph 和 LangChain 开发了一款运行于 CPU 的多智能体客户服务应用。该应用利用由 CPU 承载的小语言模型（Small Language Model，SLM）对收到的客户请求进行分类，并将其路由至负责会议安排、客户投诉、产品咨询和退款的专用智能体。这些智能体综合运用了CPU 推理、企业数据检索、外部模型 API 及工具执行能力，可完成一系列多步骤工作流，包括安排会议、生成个性化产品宣传册，以及通过企业系统发起退款处理。该演示展示了开发者如何在基于 Arm 架构的基础设施上整合熟悉的开源软件组件，构建端到端的智能体 AI 应用。

客户服务演示视频请查看：Arm 官微

在 Arm 平台上构建并优化智能体 AI

Arm 为开发者提供了一系列实用资源，帮助他们利用成熟的 Arm64 软件生态系统构建、部署和优化智能体 AI 应用。通过 Arm Learning Paths，开发者可以获取实践教程，学习如何使用 llama.cpp 构建 AI 智能体、使用 LangChain 和 FAISS 实现RAG应用，以及在基于 Arm 架构的平台上部署 vLLM 模型服务基础设施。这些资源可帮助开发者从软件适配进一步迈向真实世界智能体 AI 应用的构建与性能优化。

不断壮大的 AI 智能体技能生态系统，也让开发者能够更加轻松地在基于 Arm 架构的基础设施上构建、迁移及优化应用。AWS 推出了 Graviton developer skills，帮助开发者使用 AWS Graviton；与此同时，Arm 也通过龙蜥社区（OpenAnolis）的 SkillHub 贡献了自己的技能，包括 Arm Performix、Arm Performix CI 和Arm Migrate Ease。这些举措共同将特定平台的知识和优化指导融入 AI 辅助开发工作流之中。

Arm 持续与开源社区、软件合作伙伴和云服务提供商合作，推动智能体 AI 软件生态系统不断发展。开发者可以通过 Arm Software Ecosystem Dashboard 查看支持的框架与技术，并使用 Arm Learning Paths，即刻开始在 Arm64 平台上进行开发。通过 Arm Learning Paths，开发者还可以借助实践教程获取实用指导，了解如何：

· 使用 llama.cpp 和 llama-cpp-agent 构建 AI 智能体；

· 在隔离的 Firecracker microVM 中执行 AI 生成的代码；

· 使用 LangChain 和 FAISS 实现 RAG 应用；

· 在基于 Arm 架构的平台上部署 vLLM 模型服务基础设施。

这些资源帮助开发者从基础的软件适配，逐步迈向真实智能体 AI 应用的构建与优化。（作者：Arm 服务器生态系统开发总监 Bhumik Patel）