V100二手集群跑DeepSeek:律师9,450美元自建,184词元/秒

资讯 AI 行业观察 全文 1343 字 · 约 4 分钟读完 配图 3 张 分类DeepSeekDeepSeek-V4英伟达深度求索Deepseek端侧 AI

IT之家 11 月 21 日消息,律师 u/TumbleweedNew6515 昨日(11 月 20 日)在 Reddit 社区发帖,斥资 9,450 美元(IT之家注:现汇率约合 63,239 元人民币)使用 12 张二手英伟达 V100 显卡搭建私人 AI 服务器,本地运行 DeepSeek-V4.1-Flash,

所属频道 算力与芯片AI 硬件与终端开源生态

11月21日消息,一位网名为u/TumbleweedNew6515的律师11月20日在Reddit社区发帖称,自己花9,450美元(按现汇率约合63,239元人民币)购入12张二手英伟达V100显卡,搭起一台私人AI服务器,在本地运行DeepSeek-V4.1-Flash,集群吞吐量最高能到每秒184个词元。

V100二手集群跑DeepSeek:律师9,450美元自建,184词元/秒(配图 1)

硬件方面,他选的是12张英伟达NVIDIA Tesla V100 SXM2 32GB,靠NVLink和PCIe把这些卡连成一套能协同推理的本地AI集群,整套硬件采购价约9,450美元(现汇率约合63,239元人民币)。

系统结构为3个流水线阶段(PP3),每个阶段内做4卡张量并行(TP4),跑的是DeepSeek-V4.1-Flash,并采用4-bit NVFP4量化。按发帖者的说法,每个专家被压到约15,360个参数,12张V100因此可以各自承载模型里的专家分片。

配置 3× DGX Spark(TP3、SGLang、MXFP4 专家) 4× DGX Spark(TP4;三堆叠) 12× V100(本次配置)
单请求,代码 未发布 125(SGLang)/ 138(TensorFold 4.0 bpw)/ 136(vLLM + DSpark) 153–184
单请求,普通文本 38–51 79–88 83–95
预填充,长提示词 约 2,000 3,100–3,300(TensorFold)/ 4,900–5,000(SGLang,真实文本)/ 8,500(vLLM + DSpark,32K–128K) 4,500–4,700
多请求 4 个流合计 85 32 个流时 290(TensorFold)/ 16 个流时 340–570(SGLang,从散文到结构化) 3 个流时 344–443;它不是批量解码引擎
上下文 配置为 256K 1M 配置为 524K

性能上,这位网友给出的测试结果如下:

上下文长度 首个 token(冷启动) 预填充速度(tok/s) 代码 法律 普通文本 三个代码请求合计 首个 token(文档已缓存)
1K 0.7 秒 1,567 184 102 86 443 0.2 秒
8K 2.5 秒 3,267 176 93 90 421 0.2 秒
32K 7.3 秒 4,478 176 92 95 404 0.3 秒
64K 13.9 秒 4,697 157 93 83 364 0.3 秒
128K 28.1 秒 4,670 157 93 86 360 0.4 秒
256K 58.0 秒 4,518 153 92 85 344 0.6 秒

他称,在单请求、单流场景下,这台服务器跑得比已公开的4台英伟达DGX Spark组合更快,代码生成速度大约快15%至45%,普通文本生成也更快一些。

整套系统花掉约9,450美元(现汇率约合63,239元人民币),差不多是三台DGX Spark组合价格的一半。代价也有:功耗最高约2,100W,噪音不小,普通办公环境并不适合。

V100二手集群跑DeepSeek:律师9,450美元自建,184词元/秒(配图 2)

参考

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. DeepSeek限额,底气来自聊天框外

    11月16日,不少DeepSeek用户发现免费聊天被收紧了:超过7天不活跃的长对话无法接续,单次输入上限压到4万字上下,每日对话也设了额度,用完就提示“使用额度已达上限”。有用户表示愿意花钱购买更多额度,但DeepSeek并没有提供个人会员入口。

    来源 网易科技
  2. DeepSeek调整API计费:搜索与网页抓取不再单收费,只按Token算

    11月18日12:00起,DeepSeek正式实施全新API计费规则,开发者在调用大模型过程中触发的服务端搜索与网页抓取功能不再单独收费,全面转为仅按模型Token用量计费。这一调整进一步简化了大模型的商业化计费链路,直接降低了开发者构建联网AI应用的综合成本。 根据DeepSeek官方披露的规则,

    来源 AI 开发者社区
  3. DeepSeek收紧免费聊天:API收入撑腰,会员还要等算力

    11月16日,不少DeepSeek用户发现免费聊天被收紧了:超过7天不活跃的长对话无法接续,单次输入上限压到4万字上下,每日对话也设了额度,用完就提示“使用额度已达上限”。有用户表示愿意花钱购买更多额度,但DeepSeek并没有提供个人会员入口。此前的11月13日,DeepSeek宣布开放新一批收费API(供其他程序调

    来源 腾讯网
  4. DeepSeek限额免费用户:梁文锋曾称用户赶都赶不走

    (本文作者为 识礁Farsight,钛媒体经授权发布)文 | 识礁Farsight“去别的地方玩,不要耽误AGI训练。” 这句针对DeepSeek的调侃,如今正变成现实。近日,DeepSeek收紧了网页版和App免费用户的使用额度,超过7天不活跃的长对话无法继续使用,新对话单次输入的文字上限被压缩到4万字左右,连续使用

    来源 腾讯网
  5. 唐飞虎穿女仆装现身云桥大会:Kimi 工程师造型似 DeepSeek“大肥鱼”

    人工智能圈的跨界整活再添一桩趣闻。11月19日,2026云桥大会在杭州拱墅大运河杭钢公园举办,大会圆桌讨论环节的一张现场照片在网络上引发热议。照片中,月之暗面 Kimi 高级研发工程师、开发者关系负责人唐飞虎戴着银蓝色假发,身穿蓝白配色的女仆装手持话筒发言。 圆桌造型引围观:Kimi 工程师疑似扮成

    来源 AI 开发者社区
  6. 十余家浙股借道16.5亿基金入股DeepSeek,横店柏晖LP阵容浮现

    总规模16.5亿元的横店柏晖私募基金,背后汇集了十余家上市公司,其中绝大多数来自浙江。随着横店柏晖出现在DeepSeek新一轮融资的持股平台杭州程砚合伙人名单中,传化智联、雅戈尔、老板电器等浙股也间接入局。相关企业看重产业协同,希望借助大模型推动物流、化工、制造等产业智能化转型。

    来源 华尔街见闻
  7. LinkX View|万物皆插件:为什么代理框架正逐渐演变为操作系统

    模型越强,harness 越重要,但重要的方式变了。弥补模型短板的补丁正在消失,比如在长任务中“跟丢”后把模型重置。支撑智能体安全连续工作数小时的部分却在持续扩张,包括记录它做过什么、限制它能碰什么、管理它如何接入新工具。harness 正在变成类似操作系统的东西。 DeepSeek Harness 是目前最开放的大厂

    来源 AI 行业观察
  8. 张博开源Linger:零token费本地跑125B模型,12GB显卡够用

    11月19日,前DeepSeek-VL项目负责人张博在X宣布开源个人Agent Linger,开发主体是张博创办的SIMPLEX AI TECHNOLOGIES PTE. LTD.(以下简称“Simplex AI”),代码已上传GitHub。按项目文档,Linger读取本地邮件、日历和文件,操作用户已登录的浏览器;连接

    来源 腾讯网
  9. DeepSeek-VL前负责人张博创业,Simplex AI开源个人智能体Linger

    一位DeepSeek早期核心成员,创业了。 11月19日,DeepSeek-VL前项目负责人张博(Tony Zhang)宣布,其创办的AI公司Simplex AI正式开源个人智能体产品Linger。这款产品能在用户自己的电脑上运行,替人操作软件、处理邮件,甚至让多个AI助手共同完成任务。 为了降低普通电脑运行大模型的门

    来源 AI 行业观察
  10. 张博开源Linger本地版Muse:个人电脑跑Agent,准确率95%

    智东西(公众号:zhidxcom)作者 | 黄菲编辑 | 江宇智东西11月20日报道,昨夜,前DeepSeek研究员、Simplex AI创始人张博(Tony Zhang)宣布开源个人Agent Linger,号称要让Agent摆脱对云端数据中心的依赖,直接运行在用户自己的电脑上。项目发布后迅速引发关注,GitHub星

    来源 腾讯网
  11. 【钛晨报】《中俄美元首和平宣言》发布;31家出资主体现身,DeepSeek第二轮融资落地;比亚迪发布折叠方向盘,长鑫科技拟25亿至50亿元回购股份

    燧原科技:在手订单充沛,并正在与多家国内半导体产业伙伴进行合作;吴泳铭:建设超过20GW规模全球数据中心的目标可能下调;拼多多Q3利润295亿元,同比基本持平;因150元成被执行人?格力电器最新回应;OpenAI进军手机领域;马斯克披露多项业务时间表,Optimus拟18个月内胜任家务。

    来源 AI 行业观察
  12. 蓝耘Automodel:5模型塞进1个API,混合任务能靠路由解决吗?

    蓝耘推出 Automodel,将 Gemma3、Qwen3-VL、DeepSeek-V3.2 等五个主流模型整合为单一接口。本文通过逻辑推理、代码生成及混合任务三道测试题,验证其路由调度能力,并结合 Next.js 项目实战,分析其在生产环境中提升回答多样性的实际效果,探讨模型路由技术的实用价值。

    来源 AI 应用前沿
  13. DeepSeek融资150亿美元估值860亿,腾讯WorkBuddy上线电脑操控

    2026年11月下旬AI圈动静不小。DeepSeek完成巨额融资,投后估值逼近900亿美元,刷新国内纪录。产品侧,腾讯WorkBuddy和苹果都在推能直接操作电脑的AI智能体,ChatGPT则取消了语音转写的时长限制。另外,OpenAI曝出模型在训练中“自作主张”写监控脚本的安全事故,SpaceX的算力扩张也受限于电力

    来源 AI 应用前沿
  14. Hy4 flash横评:办公任务首稿最快,成本1.66元低于DeepSeek

    作者|董道力微信|ddl941110腾讯发布新一代旗舰模型 Hy4 的时候就预告即将发布一款 Flash 模型,十二天后 Hy4 flash 如期而至并在今天宣布开源,开发者可以在 GitHub、 Hugging Face 等地方直接下载部署。看着旗舰模型攻城略地、在各种极限榜单上刷新上限固然过瘾,但回到真实的工作场景

    来源 腾讯网
  15. 机械革命发布大师之路X10:RTX Spark平台,All in AI落地端侧

    11月19日,机械革命大师之路X10新品发布会在杭州举行。会上,机械革命正式发布基于NVIDIA RTX Spark平台打造的企业桌面AI主机——大师之路X10。发布会汇聚中国信通院、阿里巴巴及众多产业生态伙伴,共同探讨端侧AI的技术创新与应用前景,为人工智能赋能新质生产力发展带来新的实践。 “AI竞争进入下半场!”机

    来源 AI 行业观察
  16. 机械革命发布大师之路X10:基于NVIDIA RTX Spark,主打企业端侧AI

    日前,机械革命大师之路X10新品发布会在杭州举行。会上,机械革命正式发布基于NVIDIA RTX Spark平台打造的企业桌面AI主机——大师之路X10。发布会汇聚中国信通院、阿里巴巴及众多产业生态伙伴,共同探讨端侧AI的技术创新与应用前景,为人工智能赋能新质生产力发展带来新的实践。

    来源 TechWeb
向下滚动自动加载更多