3张退役V100跑Qwen 3.6 35B:128K上下文反超苹果M5 Max
九年前的NVIDIA旧显卡翻身!3张V100合力跑AI:性能胜过苹果M5 Max
开发者Devon Bray用3张退役的NVIDIA Tesla V100显卡攒了一台本地AI主机。跑Qwen 3.6 35B模型时,这台机器最高冲到每秒100.8个Token,长上下文测试里还赢过了搭载M5 Max的苹果Mac Studio。
主机的核心是3张16GB显存的Tesla V100,加起来48GB显存。平台用的是Supermicro X10DRG-Q双路主板,配Intel Xeon E5-2687W处理器和Corsair HX1500i电源,本地推理测试通过llama.cpp完成。
按开发者给出的采购价,3张V100一共655.16美元,主板211美元,电源147.70美元,单颗处理器28.20美元,核心硬件合计约1042美元(约6951元人民币)。把实际用上的第二颗CPU也算进去,则升到约1070美元(约7138元人民币)。

为了看清旧显卡到底还能不能用,开发者拿Tesla K80、P100和V100分别做了1至3张卡的组合,围绕Qwen 2.5、Gemma 4及Qwen 3.6等模型跑了130多项测试,上下文长度从4K覆盖到128K,量化精度也各不相同。
3张V100跑8bit量化的Qwen 3.6 35B时,4K上下文下是100.8 tokens/s,32K下89.4 tokens/s,64K下83.5 tokens/s;即便拉到128K,依然有72.7 tokens/s。
开发者把70 tokens/s当作实时交互的参考线。照这个标准,这套旧卡配置在128K下仍然达标。
Qwen 3.6 35B用的是混合专家(MoE)架构,总参数量约350亿,但每个Token只激活约30亿参数。生成速度能明显甩开同级稠密模型,原因就在这里。
同一平台换跑Qwen 3.6 27B稠密模型,4K上下文下只剩24.3 tokens/s,128K时掉到14.2 tokens/s。

苹果Mac Studio那边的对比结果更有看头。搭载40核GPU、128GB统一内存的M5 Max Mac Studio,售价5399美元(约36020元人民币)。
在Qwen 3.6 35B的8bit测试中,Mac Studio于4K和32K上下文下分别为105.5和91.1 tokens/s,比3张V100略快。可到了64K和128K,V100组合以83.5和72.7 tokens/s反超Mac Studio的78.5和61.3 tokens/s,128K下领先约19%。

测试也暴露了旧显卡的代际差距。3张P100跑同一模型的8位版本,4K和128K上下文下分别只有55.2和40.2 tokens/s。
旧款Tesla显卡的装机门槛同样明显。V100属于面向服务器的加速卡,不少型号没有普通消费级显卡那样的主动散热设计。
开发者给每张卡单独做了3D打印风道,又加装风扇才把散热问题解决。旧平台的体积、噪声、耗电和配件成本,也都得一并算进去。