三张旧显卡拼出一支AI团队!他把3090、核显和NPU全榨干了

资讯 腾讯网 作者:至顶AI实验室 全文 2078 字 · 约 6 分钟读完 分类RTX芯片算力

作者:刘文轩AI硬件越来越贵,家里压箱底的显卡还能做什么?一张RTX 3090、一张RTX 3060,再加上一张已经不算年轻的RTX A2000。没有最新旗舰卡,也没有堆出一台价格惊人的算力服务器,再把CPU里的核显和NPU一起拉来“打工”。Techno Tim折腾了四个月,这些原本分散在不同电脑里的硬件,被装进同一台

所属频道 算力与芯片

AI硬件越来越贵,家里压箱底的显卡还能做什么?

一张RTX 3090、一张RTX 3060,再加上一张已经不算年轻的RTX A2000。没有最新旗舰卡,也没有堆出一台价格惊人的算力服务器,再把CPU里的核显和NPU一起拉来“打工”。

Techno Tim折腾了四个月,这些原本分散在不同电脑里的硬件,被装进同一台机器。聊天、写代码、理解图片、检索私人文档、控制智能家居,甚至语音识别和语音合成,都开始从一个统一入口进出。

三张显卡,各自领到一份工作

最初,他的本地AI环境相当零散:一张显卡负责聊天,另一张负责代码辅助,还有一张卡甚至不知道能否派上用场。

与此同时,AI模型还在不断变大。模型能力越来越强,对显存和硬件的要求也越来越高。继续购买新GPU当然最省事,但在AI需求持续推高硬件价格的背景下,这条路很快被排除。

他转而提出了另一个问题:能不能不追求让一张卡运行最大的模型,而是把任务拆开,交给多个较小的专业模型?

于是,三张显卡有了不同身份。拥有24GB显存的RTX 3090成为主力。它运行能力更强的Qwen模型,负责复杂规划、代码实现、仓库级分析和代码审查。在多个模型意见不一致时,它还拥有最终决定权。

12GB显存的RTX 3060则是“助手”。简单问答、终端命令、单文件修改,以及一些收集证据的工作,都可以交给它。一个简单乘法问题和一次文件转JavaScript的请求,都被自动分配给3060;当任务变成检查整个代码仓库并补充端到端测试时,3090才开始满负荷运行。

剩下的RTX A2000没有承担重型推理,而是同时运行多个小模型。它既负责判断请求应该去哪里,也负责本地知识检索。当用户询问某个代码仓库时,它会从已经建立索引的代码、文档和配置中找出相关内容,再把结果交给3090整理和解释。

旧显卡没有被要求做同一件事,而是像团队成员一样,按照能力领取不同任务。

核显看图,NPU负责“听”和“说”

三张独立显卡被分配完后,他又盯上了CPU里的核显和NPU。

为了让Qwen模型塞进3090的24GB显存,并为上下文留出空间,他关闭了模型的视觉编码部分。这样虽然保住了语言和代码能力,却失去了图片理解功能。

他的解决办法,是把同一套视觉编码器放到Intel核显上,再写一个Python适配层连接两边。图片到来后,核显先把它转换成模型可以处理的嵌入数据,然后再发送给3090上的语言模型。

演示中,他把监控面板的截图交给系统。Intel核显的利用率先升至100%,随后回落;紧接着3090开始工作,最终识别出图片是一张深色主题的AI推理监控面板,并对其中的指标和布局进行了说明。

Intel核显和英伟达显卡,就这样被接进了同一条推理链路。NPU则被用在更强调实时性的任务上。借助OpenVINO,他在NPU上部署了语音识别和语音合成模型,并通过Wyoming协议连接Home Assistant。

当他说出“主办公室有几盏灯亮着”时,语音首先由NPU转换成文字,再交给3060理解请求、查询设备状态,最后由语音模型读出答案。关闭特定品牌的灯、重新打开,或者只操作其中一盏,系统都能结合上下文完成。

除了语音,他还部署了一个小型提示词注入检测模型,用来检查进入平台的请求。目前它只负责记录风险,未来也可以直接参与拦截。那些不适合占用独立显卡、却要求低延迟持续运行的任务,最终都被交给了NPU。

一个入口,背后是一整套AI调度系统

让这些模型真正协作起来的关键,不是某一张显卡,而是位于所有模型之前的语义路由系统。

他使用多个vLLM实例托管模型,每个实例连接不同的GPU。位于中间的vLLM Semantic Router,则像一个调度中心:先判断请求的意图、类型和复杂程度,再决定调用哪一个后端。

所有外部应用只需要面对一个兼容OpenAI API的入口。VS Code里的代码助手、Open WebUI、家庭自动化平台以及其他AI客户端,都不必知道模型究竟运行在哪张卡上。

简单问题可以去3060,复杂编程任务进入3090;涉及私人资料时,先触发A2000上的RAG检索;图片由核显编码;语音则交给NPU处理。如果一个请求同时需要多种能力,系统就把它拆成一条跨越多个硬件的处理链。

在最终演示中,他直接通过语音询问自己的Home Ops代码仓库。NPU先完成语音转文字,路由器判断任务需要更强的模型和本地知识,A2000从索引中取回相关代码与文档,3090组织答案,最后再由语音合成模型读出来。

过去分散的AI能力,由此被汇聚到一个本地网关之中。四个月的搭建让他得到的启发是,本地AI未必只能沿着“更大模型、更贵显卡”的方向发展。小模型、旧GPU、核显和NPU只要得到合理分工,同样可以组合出完整的AI能力。

即使显存不足,也可以尝试把部分权重卸载到系统内存;即使速度不够快,也不必因此放弃一个新功能。对本地AI而言,性能并不是唯一尺度。让不同硬件做自己擅长的事,再把它们组织成一个能够协作的系统,或许比单纯追逐下一张旗舰显卡更有价值。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 吴泳铭:平头哥AI芯片放量承载训练,阿里千亿美元云目标不变

    新京报贝壳财经讯(记者程子姣)11月19日,在阿里巴巴2027财年第二季度财报分析师电话会上,集团CEO吴泳铭表示,平头哥三代GPU产品路线图正在加速推进,基于自研国产算力基础设施,正在成为阿里全栈AI技术的支撑底座,将逐步承载集团内外部在模型训练、模型推理和Agentic(智能体)任务上的工作负载,并成为推动AI营收

    来源 腾讯网
  2. 海外AI巨头舆情波动,公司如何看待相关风险?工业富联回应

    有投资者向工业富联(601138.SH)提问,最近海外AI巨头出现股价回调和舆情波动,有些影响市场情绪。公司作为供应链核心企业,怎么看待相关风险?11月19日,公司回答表示,公司生产经营一切正常。短期二级市场的情绪波动,并未改变全球AI算力基础设施长期投入的底层逻辑。其中,特别是ASIC路线正迎来需求倍增的行业爆发期。

    来源 腾讯网
  3. HPE ProLiant Gen13上新:第六代AMD EPYC加持,面向AI推理与企业负载

    为此,HPE以全新ProLiant Gen13服务器作出系统性回应。HPE此次推出的两款ProLiant Gen13服务器,融合HPE深厚的工程技术积淀与AMD EPYC 9006 SP7处理器的性能优势,在核心密度、内存带宽及I/O能力等方面实现进一步提升,为企业应对AI时代多元化、复杂化的计算需求提供强劲算力支持。

    来源 TechWeb
  4. 中芯国际研判行业周期,算力芯片紧缺延续至2028年

    每经编辑:赵云 截至11月20日10时35分,科创芯片ETF华安(588290)跟踪指数下跌3.43%。成分股方面,龙芯中科上涨0.72%,中芯国际下跌0.7%,寒武纪下跌1.18%。 消息面上,近日,在中芯国际2026年第三季度业绩会上,中芯国际联合CEO表达了对半导体代工业未来发展的积极正面看法。他认为,目前AI发

    来源 腾讯网
  5. 吴泳铭:2030自然年阿里云外部收入1000亿美元、利润率超20%的目标不变

    11月19日,在2027财年第二季度财报分析师电话会上,阿里巴巴(BABA.US)集团CEO吴泳铭表示,平头哥三代GPU产品路线图正在加速推进——今年真武M890全面上线,2027年V900、2028年J900的生产供应链全面推进并进入大规模量产。基于自研国产算力的基础设施,正在成为阿里全栈AI技术的支撑底座,将逐步承

    来源 腾讯网
  6. 从英伟达到苹果、微软:同样拥抱AI,为什么企业的财富命运截然不同?

    AI正在改变企业创造财富的方式。检索、计算、起草、核对等标准化工作,越来越多地由工具完成。技术能力的普及并不意味着企业之间的差距会消失。相反,当算力和信息更容易获得,领导者如何提出问题、配置资源、处理冲突以及确定长期目标,开始更直接地影响企业能否把技术转化为持续价值。德鲁克曾把管理与领导分开:管理是把...

    来源 腾讯网
  7. 阿里真武 V900:明年一季度量产,算力为 M890 的 3 倍

    IT之家 11 月 20 日消息,阿里巴巴昨晚公布 2027 财年第二季度(2026 年 7 月 1 日~2026 年 9 月 30 日)业绩,其中 AI 云与算力服务收入为 609.73 亿元,同比增长 53%。 阿里云官方宣布,明年一季度,新一代 AI 芯片真武 V900 将量产售卖,是目前算力性能最强的中国自研

    来源 AI 行业观察
  8. AI重构需求结构 机构近一个月调研半导体行业公司近2000次

    上证报中国证券网讯(记者 钱佳滢)Choice数据显示,截至11月18日,按申万行业分类,半导体行业上市公司近一个月内接受机构调研近2000次。从调研情况来看,在半导体产业链景气度持续兑现的同时,行业需求结构正在AI发展的带动下持续优化。 AI重构需求结构 供需偏紧仍将延续 在近一个月的调研中,AI工作负载从训练端向推

    来源 腾讯网
  9. 腾讯的AI代价与组织手术

    11月18日,腾讯发布2026年第三季度财报。一年前,这家公司拥有1024亿元净现金,到今年9月底,已经转为137亿元净债务。第三季度资本开支达到814亿元,超过去年同期的六倍。大额算力采购预付款使当季自由现金流净流出691亿元。剔除这些预付款,自由现金流为正169亿元。 腾讯的主营业务仍在增长。第三季度营收2073亿

    来源 AI 行业观察
  10. OpenAI用AI改芯片电路:AMD旗舰GPU能效最高提升14%

    OpenAI报告披露GPT-4o辅助芯片设计:自研推理芯片Jalapeño由GPT-4o重写浮点加法器、乘法器等电路,新乘法器面积减约15%、延迟压至一个时钟周期;向量与矩阵计算单元面积分别减约13%、10%,已实片验证。模型还重写RTL,为AMD旗舰GPU提速,压缩约一年工作量。

    来源 AI 产业速递
  11. 全球宕机、Anthropic上市、芯片变局:AI繁荣的三重底色

    过去一周,大规模宕机事件席卷全球数字生活,暴露出AI时代基础设施的深层脆弱。与此同时,Anthropic的IPO为行业注入新资本,黄仁勋之后的AI芯片格局也在悄然生变。本期WIRED播客《Uncanny Valley》围绕这三条主线,拆解AI繁荣背后的技术逻辑与商业变局。

    来源 AI 科技快讯
  12. 彭博社:黄仁勋离任英伟达 CEO 后,日本 AI 股首当其冲

    IT之家 11 月 19 日消息,彭博社今天(11 月 19 日)发布博文,报道称英伟达管理层变动及创始人黄仁勋突然离任,正引发全球 AI 概念股新一轮抛售,日本相关股票首当其冲。 彭博社指出日本股市风向从“AI 溢价”转向“AI 折价”,投资者重新审视日本芯片、半导体设备与 AI 基础设施企业,关注重点转向未来盈利能

    来源 AI 行业观察
向下滚动自动加载更多