很多人装本地模型是从客户端开始挑的:先下个界面好看的,再回头找模型往里塞。结果模型塞不进去,或者塞进去了跑得比网页版还卡。这篇反过来走:先用一张对照表把显存和任务对上,确定该跑什么档位,再按客户端支不支持本地接口、支不支持你要的协议去筛。看完能自己判断你这台机器该装什么、不该装什么。
装本地模型这件事,很多人是从客户端开始挑的:先下个界面顺眼的,回头再找模型往里塞。结果要么塞不进去,要么塞进去了跑起来比网页版还卡,最后折腾一晚上不知道问题出在哪。我自己第一次就栽在这上面——客户端装好了,模型列表里怎么都刷不出本地服务,翻了半天文档才发现那玩意儿只能用它自家托管的模型,压根没给自定义端点留位置。
换个顺序会省很多事。先把显存和任务对上,确定这台机器该跑哪一档模型;再拿着「支不支持本地端口、认哪种协议」这两条去筛客户端。下面按这个路子拆,能自己判断该装什么、不该装什么。
顺序错了,后面全是返工
卡点很少出在「模型不会装」上。更常见的是壳装完了才发现它不吃本地接口,或者只认某一种协议、某个字段名对不上,于是你回头换客户端,前面配的环境、记的端口、调好的参数全白干一遍。返工的成本比一开始多花十分钟做判断高得多。
还有一个视角问题:本地部署的钱主要花在硬件和推理时段上,软件基本都是白拿的。所以先定硬件能撑到哪一档,再在这个框里挑壳,比先挑壳再倒推硬件合理。当然也有不适用的情况——你要是只想临时玩两次、跑完就删,那就直接选带模型的成品客户端,别折腾分层这套。
先算你要跑的那一档,别算你能跑的最大那档
把模型粗分三档就够用了:能整个塞进显存常驻的、需要部分卸载到内存的、只能纯 CPU 跑的。这三档的体感差得非常远,不是「慢一点」的量级,是「能不能当工具用」的量级。很多人按「我这张卡最大能跑多大」去选,装完发现刚好卡在临界点上,短问答还行,一进长对话就开始一顿一顿。
判断标准不是参数量,是量化后的权重占用再加上下文占用的余量。余量不够,表现就是聊到后面突然变慢,或者一开长文档就卡死。你不必背公式,到 /models/deploy 和 /compute/sizing 按自己的卡算一遍,看的是「留出余量之后稳不稳」,不是「峰值能不能塞下」。
| 机器情况 | 适合的档位 | 别指望它做什么 |
|---|---|---|
| 显存够模型常驻且有余量 | 主力档,可开较长上下文 | 超长文档整本喂进去仍会吃紧 |
| 显存只够一部分,需卸载到内存 | 轻量档,短问答和草稿 | 长对话、多轮工具调用会明显拖慢 |
| 无独显或显存很小 | 纯 CPU 验证链路 | 当主力生产力工具,基本不现实 |
客户端分三种形态,先用一句话分清
- 图形化本地客户端
- 自带模型管理和下载,不写代码也能用,代价是可配置项少、出问题不好查
- 编辑器或 IDE 插件
- 吃本地接口,写代码时顺手调用,前提是它允许改 Base URL
- 命令行工具
- 最灵活也最容易配错,适合脚本化和批量跑,不适合怕看日志的人
选之前先问一句:这东西能不能指向我自己开的本地端口?能,就还有戏;不能,基本只能用它自带的模型,本地部署这条线在它身上就断了。有些客户端只给账号登录、不给自定义端点入口,这种别硬凑,换一个比改它快。
还有个容易忽略的点:图形化客户端往往把模型下载、推理服务、界面打包在一起,看着省事,但你不知道它到底监听在哪个端口、开了哪些接口。等到想接第二个工具时才发现无从下手。所以我一般建议先用命令行把推理服务单独跑通,图形界面后装。
能不能接上,取决于它认哪种协议
主流本地推理服务通常会同时开一套原生接口和一层兼容接口。兼容接口的作用就是省适配——很多客户端只认那套常见字段,有了兼容层就能直接连,不用改客户端代码。所以挑壳的时候,先看它文档里写的是走原生还是兼容,再看你要用的字段在不在。
特别要看两样:流式输出和工具调用。短对话跑通不代表这两样能用,而一旦你要做自动化或者让模型调外部工具,缺了它们就等于白装。字段对照可以到 /ai-dict/category/tech 和 /stacks/agent-apis 查。
- 客户端里有没有可编辑的 Base URL 输入框——没有的话基本只能用它自带模型
- 文档里写没写支持流式——不支持的话长回答会整段蹦出来,体验差一截
- 工具调用字段能否透传——要做自动化就必须确认这一条
- 报错信息能不能看到原文——只能看到「连接失败」四个字的,排查会非常痛苦
不适用的情况也说清楚:如果你的客户端只支持账号登录、不开放自定义端点,那不管你本地服务配得多好都接不上。这时候要么换客户端,要么干脆别走本地这条路,去调现成的接口更省心。
别忘了电费和散热,它决定你能不能长时间开着
本地部署的真实瓶颈经常不是单次推理速度,而是「机器一直开着」这件事。跑一次很快,但你得让它待在那儿随时可用,这中间的散热、供电稳定性、噪音,才是决定你会不会用第二周的因素。尤其小机箱塞了张发热大的卡,夏天连续跑几个小时降频,速度掉下来你还以为是自己参数配错了。
长期开销可以去 /compute/power 看一眼这类成本的量级,不同机器差别不小,自己按当地电价换算比听别人说靠谱。只在下班后跑批处理任务的,就按任务时长算,不必按全天待机算,两种算法差得远。
一份能照着走的安装顺序
- 对驱动和运行时版本先确认显卡驱动和推理运行时版本互相支持,装错版本是本地部署最常见的第一次失败;装完跑一条最简命令验证显存能被识别。
- 先把推理服务单跑起来不碰任何客户端,用命令行发一条请求,确认能返回内容;返回不了就别往下走,问题在服务端不在壳。
- 记下监听地址和端口明确服务监听在哪个地址、哪个端口,客户端和服务不在一台机器时还要确认网络可达,别拿 127.0.0.1 去连另一台机器。
- 客户端只填最小配置Base URL 和模型名填对,先跑一次短对话,通了再加上下文长度、温度这些参数,一次改一个变量。
- 量一次延迟基线到 /tools/speed-test 记下当前响应延迟,以后觉得变慢时有对照,能分清是模型换档了还是环境出问题了。
什么时候该放弃本地,转去调接口
有些情况硬上本地是自找麻烦。任务需要的能力超出这台机器能跑的档位,跑出来的结果答非所问,你还得怀疑是不是参数没调对,实际是模型本身不够用。需要多人同时用的时候,本地单机扛不住并发,排队等结果比调接口还慢。模型更新频繁的场景更明显,每次都要重新拉权重、重配环境,花掉的时间比省下的调用开销值钱。
是不是该转,别凭感觉。到 /api-vs-self-host-decision 走一遍判断流程,再拿 /api-vs-local-deploy-pricing-budget 对一遍账——注意看的是当时的数字,不是别人嘴里的结论。两页对完还拿不准,说明你的场景本来就在中间地带,那就先按最低成本方案跑一周再说。
本地部署是为了把数据和延迟握在自己手里,不是为了证明这台机器能跑起来。跑起来但不好用,等于没部署。下一步按你的卡和任务,先去算一遍该跑哪一档,再拿这个结论去筛客户端,顺序对了返工少一半。→
常见问题
本地部署的ai,是不是模型越大越好?
不是。大模型跑在你机器上会被显存硬性截断,超了就要往内存或CPU上卸载,速度掉得很厉害。先按显存能常驻的档位挑,再考虑往上加。参数量大但跑不动,体验还不如小一档跑得稳。
客户端能不能同时接本地服务和在线接口?
看它支不支持多个自定义端点。多数图形化客户端可以存几套配置,编辑器和命令行工具通常靠环境变量或配置文件切。判断办法是看它有没有地方让你填多个 Base URL,只能填一个就老老实实二选一。
为什么我在命令行能调通,客户端里却报错?
最常见是地址写错:命令行用的是本机回环地址,客户端可能装在另一台设备上,或者把路径前缀重复拼了一遍。先去 /tools/verify 和 /tools/speed-test 确认服务在监听,再检查客户端填的完整地址。
本地部署能不能完全断网用?
能,但要确认三件事:模型权重已经下载到本地、客户端不会在启动时联网校验、也没有依赖在线鉴权的环节。中途有一个环节要联网,断网后就会卡在加载或者登录那一步。
跑本地模型要不要单独买显卡?
先别买。用手上现有的机器跑一档小模型,把链路和客户端都走通,确认这套东西你真的每天在用,再考虑升级硬件。到 /compute/tco 把买卡和租卡的三年账算一遍再决定。