三张旧显卡拼出一支AI团队!他把3090、核显和NPU全榨干了
作者:刘文轩AI硬件越来越贵,家里压箱底的显卡还能做什么?一张RTX 3090、一张RTX 3060,再加上一张已经不算年轻的RTX A2000。没有最新旗舰卡,也没有堆出一台价格惊人的算力服务器,再把CPU里的核显和NPU一起拉来“打工”。Techno Tim折腾了四个月,这些原本分散在不同电脑里的硬件,被装进同一台
AI硬件越来越贵,家里压箱底的显卡还能做什么?
一张RTX 3090、一张RTX 3060,再加上一张已经不算年轻的RTX A2000。没有最新旗舰卡,也没有堆出一台价格惊人的算力服务器,再把CPU里的核显和NPU一起拉来“打工”。
Techno Tim折腾了四个月,这些原本分散在不同电脑里的硬件,被装进同一台机器。聊天、写代码、理解图片、检索私人文档、控制智能家居,甚至语音识别和语音合成,都开始从一个统一入口进出。
三张显卡,各自领到一份工作
最初,他的本地AI环境相当零散:一张显卡负责聊天,另一张负责代码辅助,还有一张卡甚至不知道能否派上用场。
与此同时,AI模型还在不断变大。模型能力越来越强,对显存和硬件的要求也越来越高。继续购买新GPU当然最省事,但在AI需求持续推高硬件价格的背景下,这条路很快被排除。
他转而提出了另一个问题:能不能不追求让一张卡运行最大的模型,而是把任务拆开,交给多个较小的专业模型?
于是,三张显卡有了不同身份。拥有24GB显存的RTX 3090成为主力。它运行能力更强的Qwen模型,负责复杂规划、代码实现、仓库级分析和代码审查。在多个模型意见不一致时,它还拥有最终决定权。
12GB显存的RTX 3060则是“助手”。简单问答、终端命令、单文件修改,以及一些收集证据的工作,都可以交给它。一个简单乘法问题和一次文件转JavaScript的请求,都被自动分配给3060;当任务变成检查整个代码仓库并补充端到端测试时,3090才开始满负荷运行。
剩下的RTX A2000没有承担重型推理,而是同时运行多个小模型。它既负责判断请求应该去哪里,也负责本地知识检索。当用户询问某个代码仓库时,它会从已经建立索引的代码、文档和配置中找出相关内容,再把结果交给3090整理和解释。
旧显卡没有被要求做同一件事,而是像团队成员一样,按照能力领取不同任务。
核显看图,NPU负责“听”和“说”
三张独立显卡被分配完后,他又盯上了CPU里的核显和NPU。
为了让Qwen模型塞进3090的24GB显存,并为上下文留出空间,他关闭了模型的视觉编码部分。这样虽然保住了语言和代码能力,却失去了图片理解功能。
他的解决办法,是把同一套视觉编码器放到Intel核显上,再写一个Python适配层连接两边。图片到来后,核显先把它转换成模型可以处理的嵌入数据,然后再发送给3090上的语言模型。
演示中,他把监控面板的截图交给系统。Intel核显的利用率先升至100%,随后回落;紧接着3090开始工作,最终识别出图片是一张深色主题的AI推理监控面板,并对其中的指标和布局进行了说明。
Intel核显和英伟达显卡,就这样被接进了同一条推理链路。NPU则被用在更强调实时性的任务上。借助OpenVINO,他在NPU上部署了语音识别和语音合成模型,并通过Wyoming协议连接Home Assistant。
当他说出“主办公室有几盏灯亮着”时,语音首先由NPU转换成文字,再交给3060理解请求、查询设备状态,最后由语音模型读出答案。关闭特定品牌的灯、重新打开,或者只操作其中一盏,系统都能结合上下文完成。
除了语音,他还部署了一个小型提示词注入检测模型,用来检查进入平台的请求。目前它只负责记录风险,未来也可以直接参与拦截。那些不适合占用独立显卡、却要求低延迟持续运行的任务,最终都被交给了NPU。
一个入口,背后是一整套AI调度系统
让这些模型真正协作起来的关键,不是某一张显卡,而是位于所有模型之前的语义路由系统。
他使用多个vLLM实例托管模型,每个实例连接不同的GPU。位于中间的vLLM Semantic Router,则像一个调度中心:先判断请求的意图、类型和复杂程度,再决定调用哪一个后端。
所有外部应用只需要面对一个兼容OpenAI API的入口。VS Code里的代码助手、Open WebUI、家庭自动化平台以及其他AI客户端,都不必知道模型究竟运行在哪张卡上。
简单问题可以去3060,复杂编程任务进入3090;涉及私人资料时,先触发A2000上的RAG检索;图片由核显编码;语音则交给NPU处理。如果一个请求同时需要多种能力,系统就把它拆成一条跨越多个硬件的处理链。
在最终演示中,他直接通过语音询问自己的Home Ops代码仓库。NPU先完成语音转文字,路由器判断任务需要更强的模型和本地知识,A2000从索引中取回相关代码与文档,3090组织答案,最后再由语音合成模型读出来。
过去分散的AI能力,由此被汇聚到一个本地网关之中。四个月的搭建让他得到的启发是,本地AI未必只能沿着“更大模型、更贵显卡”的方向发展。小模型、旧GPU、核显和NPU只要得到合理分工,同样可以组合出完整的AI能力。
即使显存不足,也可以尝试把部分权重卸载到系统内存;即使速度不够快,也不必因此放弃一个新功能。对本地AI而言,性能并不是唯一尺度。让不同硬件做自己擅长的事,再把它们组织成一个能够协作的系统,或许比单纯追逐下一张旗舰显卡更有价值。