V100二手集群跑DeepSeek:律师9,450美元自建,184词元/秒
IT之家 11 月 21 日消息,律师 u/TumbleweedNew6515 昨日(11 月 20 日)在 Reddit 社区发帖,斥资 9,450 美元(IT之家注:现汇率约合 63,239 元人民币)使用 12 张二手英伟达 V100 显卡搭建私人 AI 服务器,本地运行 DeepSeek-V4.1-Flash,
11月21日消息,一位网名为u/TumbleweedNew6515的律师11月20日在Reddit社区发帖称,自己花9,450美元(按现汇率约合63,239元人民币)购入12张二手英伟达V100显卡,搭起一台私人AI服务器,在本地运行
DeepSeek-V4.1-Flash,集群吞吐量最高能到每秒184个词元。

硬件方面,他选的是12张英伟达NVIDIA Tesla V100 SXM2 32GB,靠NVLink和PCIe把这些卡连成一套能协同推理的本地AI集群,整套硬件采购价约9,450美元(现汇率约合63,239元人民币)。
系统结构为3个流水线阶段(PP3),每个阶段内做4卡张量并行(TP4),跑的是DeepSeek-V4.1-Flash,并采用4-bit NVFP4量化。按发帖者的说法,每个专家被压到约15,360个参数,12张V100因此可以各自承载模型里的专家分片。
| 配置 | 3× DGX Spark(TP3、SGLang、MXFP4 专家) | 4× DGX Spark(TP4;三堆叠) | 12× V100(本次配置) |
|---|---|---|---|
| 单请求,代码 | 未发布 | 125(SGLang)/ 138(TensorFold 4.0 bpw)/ 136(vLLM + DSpark) | 153–184 |
| 单请求,普通文本 | 38–51 | 79–88 | 83–95 |
| 预填充,长提示词 | 约 2,000 | 3,100–3,300(TensorFold)/ 4,900–5,000(SGLang,真实文本)/ 8,500(vLLM + DSpark,32K–128K) | 4,500–4,700 |
| 多请求 | 4 个流合计 85 | 32 个流时 290(TensorFold)/ 16 个流时 340–570(SGLang,从散文到结构化) | 3 个流时 344–443;它不是批量解码引擎 |
| 上下文 | 配置为 256K | 1M | 配置为 524K |
性能上,这位网友给出的测试结果如下:
| 上下文长度 | 首个 token(冷启动) | 预填充速度(tok/s) | 代码 | 法律 | 普通文本 | 三个代码请求合计 | 首个 token(文档已缓存) |
|---|---|---|---|---|---|---|---|
| 1K | 0.7 秒 | 1,567 | 184 | 102 | 86 | 443 | 0.2 秒 |
| 8K | 2.5 秒 | 3,267 | 176 | 93 | 90 | 421 | 0.2 秒 |
| 32K | 7.3 秒 | 4,478 | 176 | 92 | 95 | 404 | 0.3 秒 |
| 64K | 13.9 秒 | 4,697 | 157 | 93 | 83 | 364 | 0.3 秒 |
| 128K | 28.1 秒 | 4,670 | 157 | 93 | 86 | 360 | 0.4 秒 |
| 256K | 58.0 秒 | 4,518 | 153 | 92 | 85 | 344 | 0.6 秒 |
他称,在单请求、单流场景下,这台服务器跑得比已公开的4台英伟达DGX Spark组合更快,代码生成速度大约快15%至45%,普通文本生成也更快一些。
整套系统花掉约9,450美元(现汇率约合63,239元人民币),差不多是三台DGX Spark组合价格的一半。代价也有:功耗最高约2,100W,噪音不小,普通办公环境并不适合。

参考