Kimi K3跑在40核无显卡老服务器：傲腾内存扛住2.8万亿参数

2.8万亿参数的巨型大模型，通常得靠昂贵的高端显卡集群才带得动。不过最近有人在社区晒出了一次颇具极客味道的极限测试：一台没插显卡、装着40核处理器的老旧服务器，愣是把月之暗面的Kimi K3跑了起来。

一台老机器，怎么扛住这么大的模型

Kimi K3是混合专家模型，总参数量2.8万亿，每个 token 只激活约1040亿参数，官方标称上下文高达104万 token。

这么庞大的数据体量，就算压到极限的1bit 量化，也得数百 GB 内存才装得下，普通家用主板显然承载不了。为了绕开这个瓶颈，该玩家用了另一条路：一颗40核的第三代至强可扩展处理器，配上英伟达已经停产的傲腾持久内存200系列，单条最高支持512GB 容量。

软件这边，靠停产的傲腾当主存

软硬件怎么配合？该玩家用 llama.cpp，把傲腾持久内存设成 App Direct 模式，让程序直接把它当内存读写，而不是交给系统当硬盘缓存去调度。

代价落在速度上。

生成效率方面，1bit 量化下实测只有每秒0.85个 token；关掉直接访问（DAX）模式，最高也才每秒1.5个 token。

耗时更直观：换到3bit 量化，速度约每秒0.75个 token。写几百字要等好几分钟，输出5万个 token 则要18.5小时。

发热也不能忽略。英伟达的数据表显示，这代产品单条功耗上限18瓦，介质温度到83摄氏度就开始降频，冲到85摄氏度会触发保护性关机。

英伟达其实早在2022年第二季度就着手收缩傲腾内存业务，当季计入5.59亿美元的库存减值，这条产品线也就没有下一代了。这次硬核运行，更像是一次冲着极限边缘去的极客致敬，也是一次可行性验证。