傲腾内存跑2.8万亿参数Kimi K3：无显卡，每秒1.5词元
IT之家 11 月 13 日消息，网友 u/IndividualSurvival 于 11 月 2 日在 Reddit 社区发帖，分享了一项家庭实验室尝试，在不配备显卡的情况下，使用已停产的英特尔傲腾持久内存，成功运行 2.8 万亿参数的月之暗面 Kimi K3 模型。 IT之家注：“傲腾”（Intel Optane）
11月2日，网友 u/IndividualSurvival 在 Reddit 社区发帖，晒出一项家庭实验室尝试：整机不装显卡，只靠已停产的英特尔傲腾持久内存，把 2.8 万亿参数的月之暗面 Kimi K3 模型跑了起来。这条消息在 11 月 13 日进入中文科技圈视野。
这里说的“傲腾”（Intel Optane），是英特尔与美光共同开发的一套非易失性存储技术，基于 3D XPoint，覆盖内存与存储两类产品。该网友用的是傲腾持久内存 200 系列，外形和安装方式都接近服务器内存条，单条容量有 128GB、256GB、512GB 三种，面向第三代至强可扩展处理器平台设计。
配置上，处理器选的是 40 核第三代英特尔至强可扩展芯片（原文未给出具体规格），内存为傲腾持久内存 200 系列（原文未给出具体容量），运行在 App Direct 模式下——该模式把 DRAM 和傲腾作为两个独立的数据空间呈现给软件。推理则由 llama.cpp 执行。
这终究只是个测试项目，词元（Token）输出速度谈不上流畅。报道给出的数据是：采用 1 比特量化、压缩模型数据后，初始生成速度约每秒 0.85 个词元；关掉直接访问功能 DAX、让常用数据走 DRAM 缓存，速度升到每秒 1.50 个词元。另一项 3 比特量化测试只跑到每秒 0.75 个词元，生成 5 万个词元大约要 18.5 小时。
