3张退役V100跑Qwen 3.6 35B:128K上下文反超苹果M5 Max

资讯 快科技 全文 1281 字 · 约 4 分钟读完 配图 3 张 分类英伟达

九年前的NVIDIA旧显卡翻身!3张V100合力跑AI:性能胜过苹果M5 Max

所属频道 算力与芯片

开发者Devon Bray用3张退役的NVIDIA Tesla V100显卡攒了一台本地AI主机。跑Qwen 3.6 35B模型时,这台机器最高冲到每秒100.8个Token,长上下文测试里还赢过了搭载M5 Max的苹果Mac Studio。

主机的核心是3张16GB显存的Tesla V100,加起来48GB显存。平台用的是Supermicro X10DRG-Q双路主板,配Intel Xeon E5-2687W处理器和Corsair HX1500i电源,本地推理测试通过llama.cpp完成。

按开发者给出的采购价,3张V100一共655.16美元,主板211美元,电源147.70美元,单颗处理器28.20美元,核心硬件合计约1042美元(约6951元人民币)。把实际用上的第二颗CPU也算进去,则升到约1070美元(约7138元人民币)。

九年前的NVIDIA旧显卡翻身!3张V100合力跑AI:性能胜过苹果M5 Max

为了看清旧显卡到底还能不能用,开发者拿Tesla K80、P100和V100分别做了1至3张卡的组合,围绕Qwen 2.5、Gemma 4及Qwen 3.6等模型跑了130多项测试,上下文长度从4K覆盖到128K,量化精度也各不相同。

3张V100跑8bit量化的Qwen 3.6 35B时,4K上下文下是100.8 tokens/s,32K下89.4 tokens/s,64K下83.5 tokens/s;即便拉到128K,依然有72.7 tokens/s。

开发者把70 tokens/s当作实时交互的参考线。照这个标准,这套旧卡配置在128K下仍然达标。

Qwen 3.6 35B用的是混合专家(MoE)架构,总参数量约350亿,但每个Token只激活约30亿参数。生成速度能明显甩开同级稠密模型,原因就在这里。

同一平台换跑Qwen 3.6 27B稠密模型,4K上下文下只剩24.3 tokens/s,128K时掉到14.2 tokens/s。

九年前的NVIDIA旧显卡翻身!3张V100合力跑AI:性能胜过苹果M5 Max

苹果Mac Studio那边的对比结果更有看头。搭载40核GPU、128GB统一内存的M5 Max Mac Studio,售价5399美元(约36020元人民币)。

在Qwen 3.6 35B的8bit测试中,Mac Studio于4K和32K上下文下分别为105.5和91.1 tokens/s,比3张V100略快。可到了64K和128K,V100组合以83.5和72.7 tokens/s反超Mac Studio的78.5和61.3 tokens/s,128K下领先约19%。

九年前的NVIDIA旧显卡翻身!3张V100合力跑AI:性能胜过苹果M5 Max

测试也暴露了旧显卡的代际差距。3张P100跑同一模型的8位版本,4K和128K上下文下分别只有55.2和40.2 tokens/s。

旧款Tesla显卡的装机门槛同样明显。V100属于面向服务器的加速卡,不少型号没有普通消费级显卡那样的主动散热设计。

开发者给每张卡单独做了3D打印风道,又加装风扇才把散热问题解决。旧平台的体积、噪声、耗电和配件成本,也都得一并算进去。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 黄仁勋辞职一周,英伟达近20万签名请愿复职、工程师称不回归就走

    【TechWeb】黄仁勋辞职一周后,英伟达内部的“人心危机”正持续发酵。临时CEO科莱特·克雷斯面临的,是一场几乎公开化的员工不满——要求创始人回归的"Stand with Jensen"请愿已收集近20万签名,其中自称英伟达在职员工的签名超过1万人,而公司员工总数约4.2万人;部分工程师已明确放话,若黄仁勋不能复职将

    来源 腾讯网
  2. 猎头已接触Arm CEO哈斯,英伟达换帅程序正式提速

    【TechWeb】11月19日,彭博社报道称,英伟达董事会聘请的猎头公司海德思哲(Heidrick & Struggles)已接触Arm首席执行官雷内·哈斯,将其列为接替黄仁勋的潜在人选。这是自11月12日黄仁勋辞去CEO、总裁及董事会成员职务以来,英伟达换帅程序中最具实质性的进展——在预测市场平台Polymarket

    来源 AI 行业观察
  3. AMD苏姿丰立目标:2027年服务器营收翻倍,总营收增超80%

    【TechWeb】11月19日,AMDCEO苏姿丰在第三季度财报电话会议上给出了极为激进的业绩指引:预计2027年公司服务器业务营收将实现同比翻倍,整体营收增幅超过80%。这一表态正值全球AI算力需求持续井喷、竞争对手英伟达深陷高层动荡的微妙窗口期,AMD正加速抢占数据中心市场份额。 服务器营收翻倍的具体指向,是EPY

    来源 AI 行业观察
  4. 英伟达猎头接触Arm CEO哈斯:黄仁勋继任遴选提速

    11月19日,彭博社报道称,英伟达董事会聘请的猎头公司海德思哲(Heidrick & Struggles)已接触Arm首席执行官雷内·哈斯,将其列为接替黄仁勋的潜在人选。这是自11月12日黄仁勋辞去CEO、总裁及董事会成员职务以来,英伟达换帅程序中最具实质性的进展——在预测市场平台Polymarket上,哈斯被视为黄仁

    来源 TechWeb
  5. 英伟达选帅提速:猎头已接触Arm CEO哈斯,接替黄仁勋概率暂居首位

    11月19日,彭博社报道称,英伟达董事会聘请的猎头公司海德思哲(Heidrick & Struggles)已接触Arm首席执行官雷内·哈斯,将其列为接替黄仁勋的潜在人选。这是自11月12日黄仁勋辞去CEO、总裁及董事会成员职务以来,英伟达换帅程序中最具实质性的进展——在预测市场平台Polymarket上,哈斯被视为黄仁

    来源 TechWeb
  6. AMD苏姿丰给出2027年指引:服务器营收翻倍,总营收增幅超80%

    11月19日,AMDCEO苏姿丰在第三季度财报电话会议上给出了极为激进的业绩指引:预计2027年公司服务器业务营收将实现同比翻倍,整体营收增幅超过80%。这一表态正值全球AI算力需求持续井喷、竞争对手英伟达深陷高层动荡的微妙窗口期,AMD正加速抢占数据中心市场份额。

    来源 TechWeb
  7. AMD苏姿丰给出2027年目标:服务器营收翻倍,总营收增幅超80%

    11月19日,AMDCEO苏姿丰在第三季度财报电话会议上给出了极为激进的业绩指引:预计2027年公司服务器业务营收将实现同比翻倍,整体营收增幅超过80%。这一表态正值全球AI算力需求持续井喷、竞争对手英伟达深陷高层动荡的微妙窗口期,AMD正加速抢占数据中心市场份额。

    来源 TechWeb
  8. 特朗普深圳APEC谈黄仁勋:天才不可替代,不能一棍子打死

    英伟达方面已多次明确表态,彻底否决了黄仁勋回归CEO岗位的可能性,外界此前期待的创始人复职“翻盘”已无任何操作空间。正在深圳出席APEC峰会的特朗普近日在接受媒体采访时主动重提此事,给出了相当明确的个人态度。

    来源 TechWeb
  9. 浑水盯上英伟达:建空头仓位,焦点落在公司治理

    浑水此次做空的理由与传统的财务造假质疑有所不同,核心焦点在于英伟达公司治理层面。在浑水宣布做空前,英伟达股价已因CEO黄仁勋12日宣布离职等动荡而处于剧烈波动之中。在财报发布前,黄仁勋在社交平台发布辞职后的首次公开声明,表示如果董事会邀请,他愿意重返英伟达担任CEO。黄仁勋试图重返英伟达的努力,在董事会那里没有得到回应

    来源 TechWeb
  10. 黄仁勋离职后英伟达首场全员会:加薪提前发,女儿坐第一排

    美国时间11月18日一早,英伟达召开全员大会的办公楼前,晚到的员工已经找不到车位停车。 这是黄仁勋辞职后,英伟达的第一个全员会。以往的季度,赵赫(化名)大多数是等会开完了再看回放,但这一次,他及时打开了会议直播。还有许多员工特意赶到了现场。 “这次大会和以前不一样。”赵赫说。过去,会上只有黄仁勋一个人发言、解答员工疑问

    来源 AI 行业观察
  11. 英伟达罕见延迟提交10-Q,华尔街分析师揭开谜底

    英伟达罕见推迟数周提交10-Q,引发华尔街猜测。TechCrunch称,一位分析师追查后厘清原因,延迟更偏向披露流程而非业绩暴雷。文章梳理10-Q的关键作用、信息真空期的市场心理,以及AI龙头在超高关注度下面临的透明度考验。

    来源 AI 科技快讯
  12. 彭博社:黄仁勋离任英伟达 CEO 后,日本 AI 股首当其冲

    IT之家 11 月 19 日消息,彭博社今天(11 月 19 日)发布博文,报道称英伟达管理层变动及创始人黄仁勋突然离任,正引发全球 AI 概念股新一轮抛售,日本相关股票首当其冲。 彭博社指出日本股市风向从“AI 溢价”转向“AI 折价”,投资者重新审视日本芯片、半导体设备与 AI 基础设施企业,关注重点转向未来盈利能

    来源 AI 行业观察
  13. 马斯克:撤换黄仁勋如踢走乔丹

    TechCrunch报道,马斯克将撤换英伟达CEO黄仁勋比作把迈克尔·乔丹踢出球队,并称不认为黄仁勋对美国不忠。文章梳理这一言论的背景,分析英伟达在AI芯片领域的地位、黄仁勋的领导力,以及地缘政治争议下马斯克与英伟达既合作又竞争的复杂关系。

    来源 AI 科技快讯
  14. 英伟达临时CEO反复安抚:公司一切尽在掌控

    WIRED统计了英伟达临时CEO科莱特·克雷斯在公开场合多少次向外界保证“公司一切尽在掌控”。面对AI芯片市场的剧烈波动、投资者疑虑与公司过渡期的不确定性,这句反复出现的承诺既是定心丸,也成了值得玩味的新闻线索。本文梳理克雷斯的表态脉络,分析英伟达当前所处的微妙局面。

    来源 AI 科技快讯
  15. 英伟达Q3营收1158亿美元 数据中心增长110%验证AI周期延续

    2026年11月17日英伟达公布第三财季财报,总营收1158亿美元同比增长103%,数据中心营收1076亿美元同比增长110%。Vera Rubin NVL72开始出货并在多家云服务商上线。新管理团队首份完整季报显示,未履行云端订单预估上调至2.5万亿美元。财报直接回应市场对AI算力需求可持续性的疑问,显示超级算力周期

    来源 AI 行业观察
向下滚动自动加载更多