傲腾内存跑Kimi K3：无显卡实现2.8万亿参数、1.5词元/秒
网友 u/IndividualSurvival 于 11 月 2 日在 Reddit 社区发帖，分享了一项家庭实验室尝试，在不配备显卡的情况下，使用已停产的英特尔傲腾持久内存，成功运行 2.8 万亿参数的月之暗面 Kimi K3 模型。
11月13日消息，Reddit网友u/IndividualSurvival在11月2日发帖，讲了一次家庭实验室里的尝试：机器上没有显卡，靠已经停产的英特尔傲腾持久内存，把2.8万亿参数的月之暗面Kimi K3模型跑了起来。
所谓傲腾（Intel Optane），指的是一套基于3D XPoint的内存与存储产品技术，由英特尔和美光联手开发，属于非易失性存储。这位网友用的是傲腾持久内存200系列。它的外形和安装方式都接近服务器内存条，单条容量有128GB、256GB、512GB三种，面向第三代至强可扩展处理器平台设计。
配置上，他选的是一颗40核的第三代英特尔至强可扩展处理器（原文未写明具体规格），搭配傲腾持久内存200系列（原文未写明具体容量），运行在App Direct模式下——这种模式把DRAM和傲腾当作两个独立的数据空间呈现在软件面前。推理则交给llama.cpp执行。
这终究只是个测试项目，词元（Token）的输出速度谈不上流畅。按报道，模型数据经1比特量化压缩后，初始生成速度大约每秒0.85个词元；关掉直接访问功能DAX、让常用数据走DRAM缓存之后，速度升到每秒1.50个词元。另一项3比特量化测试只跑到每秒0.75个词元，生成5万个词元差不多要18.5小时。
本文由本站编辑组整理与排版，内容基于公开信息核实后归纳发布，与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态，力求信息准确、表述清晰；文中涉及的名称、价格与功能细节可能随官方调整而变化，请以官方最新说明为准。如发现疏漏或表述有误，欢迎通过站内渠道反馈指正。
