本地部署大模型推荐什么软件

刚决定把模型跑在自己机器上，第一步就卡住：下载页一堆名字，Ollama、LM Studio、vLLM、llama.cpp、各种 WebUI，装哪个？这篇按你的机器和用途分档，给出一套先定场景再挑软件的判断顺序，附带安装前后要核对的清单，以及选错之后怎么平滑换掉，不涉及具体跑分和版本号。

刚决定把模型跑在自己机器上，第一步就卡住：下载页一堆名字，Ollama、LM Studio、vLLM、llama.cpp、各种 WebUI，装哪个？这篇不讲原理，只讲判断顺序——先定场景，再挑软件，最后核对安装前后的清单。所有涉及具体配置门槛和数字的地方，一律以站内页面当时的标注为准。

需要先说清一点：没有哪个本地运行软件是「最好」的，只有和你手上这台机器、以及你打算拿它干什么是否匹配。同一个软件，在独显台式机上顺滑，在只有核显的轻薄本上就可能慢到让你以为装错了。所以下面的顺序是——先把前提定死，再看哪一档软件属于你。

先别挑软件，先把三个前提定下来

很多人一上来就搜「哪个软件好用」，结果装了三四个都不满意。问题不在软件，在于他没先回答三个问题：这台机器属于哪一档、我拿它干什么、我能接受什么操作方式。这三条一旦确定，可选范围会缩小到两三个，剩下的就是试。

这三条不用一次定死，但至少要有初步答案。比如你是带独显的台式机、主要自己问答、又愿意碰命令行，那基本就是「命令行优先」那一档。去 /models/deploy 用你手上的卡和想跑的模型规模对一遍配置下限，再决定从哪档起步。

图形界面优先：适合刚上手、只想点着用

图形界面工具的核心优势，是把模型下载、量化选择、参数调节全收进面板里，不用记命令，适合先跑通、再谈优化。新手第一步用这类工具，是最不容易劝退的路径。

• 看能不能设上下文长度：决定你能一次丢进去多长的材料
• 看能不能调显存卸载层数：装不下时靠它把部分层丢给内存或 CPU
• 看模型文件放在哪个目录：换机或清盘前要备份，很多人栽在这
• 看启动后有没有本地接口地址：以后想接别的客户端会用到

不适合的场景也很明确：要长时间无人值守供别人调用、要卡并发、要把模型接进自己的程序，这类需求图形界面通常会先成为瓶颈——不是不能做，是维护起来别扭。先在图形界面里跑通一个中等规模模型，再去碰命令行，这个路径对新手最友好。

命令行优先：适合要接程序、要自动化的人

命令行工具的价值在于「模型即服务」：一条命令起一个本地接口，你的脚本、客户端、知识库工具都按同一个地址连它。凡是以后想自动化、想被别的程序调用，早点走这条路会少很多返工。

接口兼容性

能给出兼容 OpenAI 格式的地址，绝大多数第三方客户端和前端接入都会顺很多，具体写法参考站内接口口径习惯

模型存放位置

命令行工具常把权重放在某个默认目录，下次启动会不会重复下载，装完先确认一次

监听地址

默认是否只对本机开放，对外暴露前先想清楚这个口子给谁用

不适合的场景：你完全不想碰终端、身边也没有任何脚本要调它，那图形界面更省事，硬上命令行只会让你在排错上耗时间。想确认接口字段和调用姿势，去 /official-api 对照各家接口的习惯写法。

多人共用或要并发：换到服务型推理框架

当需求从「我自己问」变成「几个人同时问」或「接进业务系统」，前面那些轻量工具通常要换成专门做批量和并发调度的服务型框架。这不是升级潮流，是场景真的变了。

• 是否要给多个用户开不同模型：一个实例服务多种请求，轻量工具很难撑
• 是否要求请求排队不雪崩：并发上来后要有调度和队列，不然集体超时
• 是否要拿显存换吞吐：批量推理能显著提高利用率，但也更吃配置
• 是否要长期稳定挂服务：进程守护、日志、重启策略都得提前想

判断要不要换，就看上面这几条里你中了任意两条以上。换之前先去 /models/deploy 和 /compute/sizing 按参数量和量化档位把显存与并发能力算一遍，别先装软件再发现卡不够，那是最费时间的返工。

不适用的情况：只有你一个人在本地问答，上服务型框架纯粹是给自己加维护负担——要管的东西多了一倍，收益却没落到你身上。

按系统和硬件对号：Windows、macOS、Linux 各有偏好

同一个软件在不同平台上表现可能差很远，所以选软件要连着系统和硬件一起看，而不是只看名字。

Mac 上怎么选，先参考 /ai-dict/category/hardware 的硬件名词对照，把统一内存、加速后端这些概念对上号再动手。Windows 上最常见的坑是装完发现软件在拿 CPU 硬扛，速度慢到以为装错了——装完先看任务管理器里显卡有没有在动。

1. 装完先测一次不管哪个平台，装完第一件事是量一次延迟和出词速度，之后换软件、换模型都有基线可比。
2. 记录基线把模型名、量化档位、上下文长度、启动参数记下来，换环境出问题时逐项对照。
3. 再谈优化没有基线的调参就是盲调，先有数再动手。量测入口在 /tools/speed-test。

软件定了，模型侧还有两份文件要看清

软件挑好只是走了一半，模型侧还有两件容易踩的事：量化格式对不对得上、许可证覆不覆盖你的用法。

量化格式

同一份权重有不同打包方式，有的软件只吃其中一两类，下载前先在模型库页面看清标注

许可证

自己玩、公司内部用、对外提供服务，三条线的授权条件不一样，别等做完再回头看条款

磁盘空间

模型文件是以 GB 计的大家伙，换目录或迁移前先确认空间和目标路径

不确定先后顺序时，照这个排查思路走：先确认软件支持该量化格式，再确认显存装得下，最后才看许可证是否覆盖你的用法。顺序反了，很可能做完两步才发现第一步就不成立。每个模型的体量标注可以去 /models 翻。

选错了怎么换：别删库重装

• 换软件前先确认模型文件存放目录，多数工具之间可以共用同一份权重，不必重新下载
• 客户端和运行软件是两件事：前端不好用就换前端，不用动底层
• 留一份「当前能跑通」的配置记录，换环境出问题先拿它对照
• 迁移后重新量一次速度，明显变慢通常是没跑在显卡上或量化档位变了

很多人一遇到不顺就删库重装，其实大部分问题出在配置而不是软件本身。先按上面的清单逐项对一遍，能省掉大量重复下载的时间。换前端的时候注意：只要底层服务地址没变，接入方式基本不用改。

选错软件不丢人，删库重装才丢时间——先把能共用的部分留下来。

什么情况下不推荐自己装软件

本地部署不是信仰，是手段。下面这几种情况，自己装软件反而不划算，早点掉头更省事。

• 只是偶尔问几句、对数据落地没要求：直接用在线服务更省心，自己装的维护成本远大于收益
• 机器是办公本、没有独显、内存也紧张：装完大概率只能跑很小的模型，体验还不如在线服务
• 需要的是稳定对外服务而不是学习折腾：把精力放在选托管方案上更实际
• 团队里没人愿意长期维护升级和排障：本地部署会变成一台没人管的机器，出问题时更难定位

决定之前先去 /models/deploy 看配置下限，觉得机器勉强能跑，就再想想自己是不是真的需要本地跑。需要的是稳定服务而不是折腾，可以对比 /compute/platforms 的租卡与托管路径。