GLM-5.3大模型跑在Arduino上：7分钟只输出3个词

在Arduino开发板上运行7440亿参数的顶级AI大模型，会是怎样的结果？11月10日有消息显示已有开发者做了这项测试。

开发者Jim Bruges近期完成了一次看似不可能的尝试：他靠16GB内存的单板电脑，把数据量高达419GB的GLM-5.3大模型跑了起来。

这次使用的硬件是Arduino Ventuno Q。它虽挂着Arduino的名字，核心却是高通Dragonwing IQ8处理器，8颗核心，配有16GB LPDDR5内存和1TB NVMe固态硬盘。

16GB内存要硬吞下自身容量26倍的模型数据，关键在GLM-5.3的MoE架构。混合专家模型借助路由机制，每次推理只激活少量专家权重，7440亿参数不必全部调用。

再配合同样开源的Colibri工具，系统能把暂时用不到的权重放到固态硬盘里，需要时再实时换进来。

测试确实跑通了，效率却让人汗颜。让它回答“请列举三个行星”，系统花了约7分钟才吐出地球、火星、金星这三个词。

监控数据显示，该平台生成速度只有0.03 Token/s。按这个速度，生成一段100字的回答可能要将近一个小时。

性能释放方面，高通芯片自带的Hexagon NPU有40 TOPS算力，但软件后端支持还不完善，整场实测全靠CPU硬扛。即使用了量化技术压缩数据精度，固态硬盘的读写速度仍是拖住推理效率的最大短板。

说白了，这更像极客圈的一次肌肉展示，证明边缘设备借助SSD置换技术可以运行超大模型。

小模型跑到0.77 Token/s表现还算过得去，可744B这种巨无霸，目前的单板电脑性能离实用门槛还差得远。