你手上有一台还算像样的电脑,想有个不联网、不花钱、资料不出本机的 AI 助手,但一看教程全是终端命令、环境变量、端口转发,兴趣瞬间没了。这篇不写命令行,只讲图形化那条路:把 LM Studio 装起来、把模型下下来、把对话框调顺,再告诉你在什么情况下它不好用、该换别的路。选模型和量化档位的取舍,站内另有页面可对照,这里只做接入这一环。
你手上有一台还算像样的电脑,想有个不联网、不花钱、资料不出本机的 AI 助手,但一看教程全是终端命令、环境变量、端口转发,兴趣瞬间没了。这篇不写命令行,只讲图形化那条路:把 LM Studio 装起来、把模型下下来、把对话框调顺,再告诉你在什么情况下它不好用、该换别的路。
选模型和量化档位的取舍,站内另有页面可对照,这里只做接入这一环。全程鼠标操作,遇到需要敲命令的地方,说明这条路当下不适合你,直接换方案比硬啃更省时间。
装之前先想清楚:这台机器要干什么
先确认三件事:硬盘要留出模型文件的仓位、内存和显存决定你能跑多大的模型、有没有独立显卡决定速度差多少。这三项不清楚,装完也只是反复试错。具体档位对照可以到 /models/deploy 和 /compute/sizing 按你的机器算一遍,那里的表格比凭感觉猜靠谱。
- 下载客户端并挪目录走官网下载安装,装完先别急着下模型,进设置里把模型存放目录改到空间大的盘。默认路径常在系统盘,几十 GB 的权重下去之后会很难收拾。
- 跑通最小链路第一次打开只用官方自带的推荐流程,不导入外部权重、不改网络设置,先确认「能下、能加载、能回话」这三步都通,再去折腾进阶配置。
- 断网试一次加载完成后拔掉网络或关掉 Wi-Fi,随便问一句。能正常回答,说明这条链路不依赖联网,这才算真正的离线助手。
挑模型和加载:别一上来就选最大的
客户端内置的模型库一般会按用途分类,日常问答、写作润色、代码补全、长文档阅读,各自适配的模型类型并不一样。术语看不懂就去 /ai-dict/category/tech 翻一下,比在模型列表里瞎点要快。
同一个模型通常有多个体积档位,也就是常说的量化版。规则很简单:显存装得下才谈速度,装不下的部分会被挪到内存甚至硬盘,表现就是「答一句等半分钟」。先从小的档位试,跑顺了再往上换。
| 你的情况 | 建议动作 | 观察什么 |
|---|---|---|
| 显存刚好装下某档位 | 直接加载这档 | 回答是否秒出首字 |
| 显存装不下要挪内存 | 退一档再加载 | 是否出现长时间无响应 |
| 加载成功但一答就崩 | 降上下文长度 | 崩之前的报错信息 |
| 只想快速验证值不值 | 挑最小档先聊两句 | 回答质量能不能接受 |
- 上下文长度滑块调大能记住更长的对话,但会额外吃显存,开多大合适参考 /ai-dict/category/basics。
- 加载完先跑一个你熟悉的真实小任务,比如让它在你的某份文档上回答一个问题,比任何跑分都准。
- 跑分口径和不同榜单的差异,到 /benchmarks 核对,别只看一个数字就下结论。
对话界面上的那几个参数,改哪个有用
- 温度类参数
- 管的是「稳不稳」:写代码、做摘要、抽结构化信息调低;头脑风暴、起标题调高。
- 系统提示词
- 决定它的角色和输出格式,想做固定格式的助手,规则写在这里最省事。
- 预设
- 把常用的提示词和参数组合存下来,下次一键切换,不用每次手调。
同一个问题问十次答案不一样,原因多半在温度类参数上,机制层面的解释 /output-stability-reproducible 已经讲过,这里只讲怎么调。系统提示词怎么写更稳,可以参考 /prompt-basics-format-first 和 /prompt-structured 的做法。
- 给「写稿」「查文档」「写代码」各存一套预设,切换成本几乎为零。
- 调参数一次只动一个,改完立刻用同一个问题对比,不然分不清是哪个起的作用。
- 只是偶尔问两句、结果好坏自己能判断,默认参数先用着,别为了调参把时间花在设置上。
离线怎么用,以及怎么接到别的软件里
完全离线的前提是模型已经在本地,且客户端不主动联网做检查。先在断网状态试一次对话,确认没有联网依赖。这对处理敏感资料的场景是硬要求,数据边界怎么划可以看 /data-boundary-audit。
图形客户端一般会开一个本地服务地址,别的软件可以按这个地址去调,等于把本地模型变成一个自建的接口。协议怎么接、客户端怎么配,看 /base-url 和 /client-setup 里的步骤说明。
多人协作、需要稳定并发、要跑很大的模型,本地单机这条路会很快到天花板,这时该考虑的是租卡还是直接走 API,属于 /rent-gpu-vs-api 讨论的范围,图形客户端解决不了这类问题。
出问题时的排查顺序
顺序反了会白折腾很久。先怀疑资源,再怀疑配置,最后才怀疑软件本身。通用自查思路可以对照 /ai-not-working-self-check,那里把常见症状和原因的对应关系列得比较清楚。
- 看加载日志的显存报错多数「加载失败」是档位选大了,退一档重新加载,能过就说明是资源问题。
- 看磁盘和内存占用模型装得下、跑起来却卡,通常是内存换页在拖后腿,关掉其他占内存的程序再试。
- 怀疑配置本身会不会是上下文开太大、服务地址配错。先把长度降下来、地址改回默认验证一轮。
- 最后才动软件升级客户端、重启、清缓存。到这一步再动,前面的排查记录能帮你判断改动有没有效果。
闲聊正常但一处理长文就崩,多半也是上下文开太大,先把长度降下来验证,再决定要不要换更大的机器。这类卡顿值不值得忍,可以顺手到 /price-watch 和 /tools/speed-test 看看当下的硬件和接入方案行情,再决定继续本地还是换路。
下一步拿不准你的机器能跑多大档位、本地和租卡哪个更划算,到 /compute/sizing 和 /self-host 对照当时的数字再决定,别拿一台机器反复试到失去耐心。→常见问题
用 LM Studio 到底要不要会命令行?
日常使用不需要。下载客户端、在界面里搜模型、点加载、开对话框,全程鼠标就能完成。只有当你打算把它接到别的软件里当本地接口用时,才需要懂一点地址和协议的概念,那部分可以先看站内的接入类文章再动手。
本地跑模型和用中转站、官方 API 比,哪个更合适?
看你的约束。资料不能出本机、想完全离线、用量很大不想按次花钱,本地更合适。但本地模型的能力上限、速度、能同时服务的场景都受你这台机器限制,真要稳定干活还是得看 /inference 和 /official-api 上的对比再决定。
为什么我下的模型答得又慢又笨?
通常是两个原因叠加:档位选得太大导致一部分计算落在内存甚至硬盘上,速度就塌了;模型本身的能力不适合你的任务类型。先把档位降一档验证速度,再换一个更贴合你用途的模型重试,别急着怀疑软件。