你可能只是想在自己电脑上把一个模型跑起来，结果一搜全是命令行、量化格式、显存参数，不知道从哪一步下手。这篇按你实际会遇到的顺序排：先确认机器能不能扛，再装什么、下什么文件、怎么起服务、怎么验证它真的在正常工作。全程只讲判断依据和操作顺序，具体型号与数字到站内对应页面核。
你可能只是想在自己电脑上把一个模型跑起来，结果一搜全是命令行、量化格式、显存参数、依赖冲突，越看越不知道从哪一步下手。这篇按你实际会遇到的顺序排一遍：先确认这台机器扛不扛得住，再决定装什么工具、下什么文件，最后怎么起服务、怎么验证它真的在干活。全程只讲判断依据和操作顺序。
有一个心态要先摆正：本地部署不是「装一次就完事」，而是硬件、工具、模型文件三者互相约束。参数不动、显存不够就得换小模型或换低量化；换个工具，文件格式可能又对不上。所以别急着敲命令，先花十分钟把下面四步里的判断项过一遍。具体型号、档位、占用数字这类会变的东西，一律到站内对应页面核对当时的情况。
第一步：先看这台机器能不能跑
- 显卡直跑
- 把模型全部或大部分放进显存，出字快，但显存是硬上限，超了就报错或直接跑不起来
- CPU / 内存跑
- 靠系统内存慢慢算，没有独显也能试，代价是出字速度可能慢到影响体验
- 量化档位
- 用一定精度换更小的体积和显存占用，档位越低越省资源，效果损失也越大
先给自己归类：有独显、显存够，走显卡直跑；只有核显或没有独显，就老实按内存跑的思路选小模型。别只看显卡名字，真正卡你的是「参数量加量化档位」算出来的占用。把自己的配置填进部署测算工具对一遍，比在论坛里问「我这卡能不能跑」靠谱得多。
- 显存按「参数量 + 量化档位」估算占用，留出余量给上下文和系统开销，不要贴边跑
- 系统内存加载时会再吃一份，模型文件在硬盘上占一份，加载时可能再占一份，硬盘别塞满
- 确认显卡类型是否被目标工具支持，国产卡和苹果芯片的支持范围和 NVIDIA 差别很大
- 什么情况不适用：几年前的轻薄本、没独显、内存也小，本地跑只能试很小的模型，体验会很差，不如直接走在线接口
第二步：挑一个部署工具，别一上来就折腾框架
新手常见的两条路：一类是图形化一键工具，装完点几下就能对话，适合先把流程走通；另一类是生产级推理框架，性能和控制力更好，但要会配并发、显存、批处理这些参数。第一轮目标不是「跑得最快」，而是「先跑起来」，所以先用前者把闭环走完。
| 你的用途 | 优先考虑的方向 | 要提前确认的点 |
|---|---|---|
| 自己聊天、本地试用 | 图形化一键工具 | 是否支持你的操作系统和显卡类型 |
| 给别的程序提供接口调用 | 带 OpenAI 兼容接口的方案 | 接口地址、鉴权、并发上限 |
| 团队多人共用、要控并发 | 生产级推理框架 | 显存规划、并发配置、运维成本 |
选之前先确认工具支持你的系统与显卡。国产卡和苹果芯片往往只有部分工具能吃，装完才发现不支持是最浪费时间的一种翻车。可以参考 /vllm-vs-ollama-selection 的选型思路，也可以到 /ai-nav/category/ai-model-platform 看当前有哪些可选入口。
什么情况不适用：如果最终目标是给团队多人用、要控并发和计费，那一键工具只是个试用版，别把它当长期方案，早晚要迁到能设并发上限的框架上。
第三步：下模型文件，重点是格式和量化档位
这一步最容易白忙。不同推理工具吃不同格式的权重文件，下错格式等于白下一遍，几个 G 甚至几十个 G 的流量就这么没了。动手下载前，先确认你的工具认哪种格式，再对应去找文件。
- 先定格式再下载：常见权重格式的区别和适用工具，见 /quantization-gguf-awq-explained
- 量化档位关系到「省资源」和「掉质量」的取舍，先用低档位跑通，再按效果往上调，参考 /quantization-tier-choice
- 下载来源优先选有官方或社区维护记录的仓库页，别用来路不明的二次打包文件
- 权重能不能商用、有没有附加限制，到 /open-weight-license-basics 确认清楚再用
- 什么情况不适用：任务对精度要求高（比如要输出结构化数据、做代码补全），低档位可能明显掉效果，这时候要么升档位，要么换更大显存的机器
一个省时间的下载习惯
下载前先看清文件大小、格式后缀、量化标记这几个字段是否和你选好的工具匹配，确认无误再让它跑。下到一半发现格式不对，那才是真的疼。
第四步：起服务，然后验证它真的在干活
- 跑最短的提示词第一次启动别急着试复杂任务，先用一句话确认模型加载成功、能正常吐字，再谈调优
- 按三类报错排查显存不足、格式不匹配、路径写错，这三类能覆盖新手绝大多数启动失败，逐条对照更省时间
- 分清慢的原因出字慢不等于坏了，先判断是模型本身大，还是被卸载到内存里跑，排查顺序见 /local-inference-speed-tuning
- 做一次小验证同一组问题多问几遍，看回答是否稳定、有没有明显胡编，别只看它答得像不像人话
验证阶段最容易被忽略的是稳定性。单机自跑在温度、内存占用、并发一上来时表现会明显波动。如果你需要的是高并发、长上下文、多轮稳定输出，单机的可靠性通常不够，这种情况要先算清成本再决定是否转自建，参考 /self-host 里的判断标准。
什么情况不适用：有人只是偶尔问几个问题，那本地跑跑挺好；但如果你的使用频率高、对响应时间有要求，本地那点硬件经常顶不住，不如把力气花在线接口的对比上，到 /sites 看当前有哪些可选的中转和官方渠道。
下一步想少踩硬件和工具的坑，可以去站内的部署测算和选型对比页面，按你手上的配置对一遍再动手。→常见问题
我电脑没有独立显卡，还能本地部署大模型吗？
能跑，但只能跑参数量很小、量化档位很低的模型，速度慢、答得也一般，适合练手和理解流程，不适合日常干活。先确认内存够不够装下模型文件，再挑最小档位试。真要用得顺手，要么加独显，要么直接用在线接口，对比思路看 /self-host。
模型文件下了好几个，怎么知道该用哪个？
看两点：格式是不是你那个工具支持的，量化档位是不是你这张卡扛得住。先用低档位跑通一遍，确认能跑起来，再逐步换高档位看效果有没有变好。拿不准自己机器上限，去 /models/deploy 按配置算一遍再下，别先下一堆占硬盘。
跑起来了但回答很慢，是不是哪里配置错了？
先别急着改参数。慢的常见原因是模型没完全放进显存、被卸载到内存里算，或者模型本身太大。先确认显存占用情况，再缩小模型或降低量化档位试。排查顺序和判断标准可以对着 /local-inference-speed-tuning 一项项过。
