AMD携Unsloth打通NPU推理:逾100款智能体应用可本地跑
AMD 与 Unsloth 为逾 100 款智能体 AI 应用带来 NPU 支持
用户第一次能在
Unsloth Desktop 上用上 AMD XDNA 2 NPU 加速。逾 100 款兼容的智能体 AI 应用及工作流程,由此可以把推理放到本地 NPU 上跑。
AMD 和 Unsloth 这次联手,目标是让逾 100 款智能体 AI 应用及工作流程在受支持的 AMD Ryzen AI PC 上调用本地 NPU 做推理。AMD XDNA 2 NPU 也是 Unsloth Desktop 支持的第一款神经网络处理器(NPU)。兼容应用通过 Unsloth Desktop 的 API,就能连到跑在 NPU 上的受支持模型。
为什么这件事有分量?全天候在线的 AI 助手和智能体,得在用户照常使用 PC 的同时高效完成推理。这次合作给出的新选项是绕开 GPU:让 AMD XDNA 2 NPU 持续承担低功耗推理,把 CPU 和 GPU 资源留给其他应用。AMD 一直在扩展和优化软件支持,这回的集成也是这条线上的延续,让更多常用工具吃上专用 NPU 加速。
AMD 在其中扮演什么角色?它通过支持 Unsloth Desktop 扩大了受支持的计算资源范围,开发者和用户借助熟悉的应用,就能在本地高效部署并运行智能体工作流程。
Unsloth 的能力覆盖模型开发到部署两个环节:既有能加速微调、压低 GPU 显存占用的开源工具,也有不用写代码就能训练和推理的桌面应用。支持 AMD NPU 之后,这套生态可用的计算资源从 CPU、GPU 延伸到 NPU,用户多了一种高能效的推理选择,逾 100 款兼容的智能体应用及工作流程也能用上这一能力。
具体怎么跑?兼容应用把模型请求发给 Unsloth Desktop API,由 Lemonade 和 FastFlowLM 在 AMD XDNA 2 NPU 上提供模型服务、执行推理。模型响应再回到应用,供其工作流程使用。NPU 只负责加速受支持模型的推理,应用的其他功能仍按需调用 PC 的 CPU 和 GPU。
哪些工具能通过 Unsloth 获得 NPU 加速?Unsloth Desktop API 为兼容应用提供的是符合 OpenAI API 规范的端点。这次集成覆盖逾 100 款智能体 AI 应用及工作流程,Hermes Agent、OpenClaw、Open WebUI、Cline、LangChain、GitHub Copilot 等工具都在其中。
对 PC 用户来说好处在哪?AI 智能体可以跨多个互联工具执行多步骤任务。有了本地 NPU 推理,兼容智能体处理这些任务中的模型请求时能效更高,CPU 与 GPU 则留给任务编排和其他应用。用户花在管理各个步骤上的时间因此减少,可以把更多时间用来审阅结果。
想了解更多,可阅读《AMD × Unsloth:为 Unsloth Desktop 带来全球首个 NPU 支持》,里面讲了 AMD 与 Unsloth 的合作方式,以及在搭载 AMD XDNA 2 NPU 的 PC 上安装 Unsloth Desktop 的方法。