很多人第一次打开这个域名,看到满屏英文和命令行示例,第一反应是「这网站是给我用的吗」。它既不是一个在线聊天页,也不是模型商店,更准确地说,它是本地跑模型的官方入口。这篇按「先认清它是什么、再决定要不要装、最后跑通第一条命令」的顺序讲一遍,给判断标准也给可执行步骤,装不装、装完怎么验收,看完能自己拍板。
很多人第一次打开这个域名,看到满屏英文和命令行示例,第一反应是「这网站是给我用的吗」。它既不是一个在线聊天页,也不是模型商店,更准确地说,它是本地跑模型的官方入口。你在浏览器里能做的,基本就是下载、查文档、看清单,真正干活的地方在你自己电脑上。
这篇按「先认清它是什么、再决定要不要装、最后跑通第一条命令」的顺序讲一遍,给判断标准也给可执行步骤,装不装、装完怎么验收,看完能自己拍板。
这个网站到底是什么,不是什么
给它一个最直白的定位:这是本地模型运行工具的官网。它的作用是把模型文件下载到你硬盘上,再在你本机把模型跑起来,核心动作发生在你的电脑里,而不是网页里。所以打开它别期待看到一个对话框。下面几组对照能帮你快速分清边界。
| 你以为它是什么 | 实际是什么 |
|---|---|
| 在线聊天网站 | 下载页加文档站,聊天发生在你本机终端或其他客户端里 |
| 模型商店按次付费 | 模型清单可以浏览和拉取,费用不在这个网站上,而是你的硬件和时间 |
| 官方 API 的替代入口 | API 是别人机器跑模型你调接口,这里是模型落到你硬盘上自己跑,断网也能用 |
- 它不提供网页版对话窗口,也不按 token 计费;真正吃资源的是你本机内存和显卡,跑得动多大模型取决于硬件,不取决于账号等级
- 和「官方 API」「中转站」不是一回事:那两条路是别人机器上跑模型你调接口,这条是本地部署,数据不出本机
- 什么情况不适用:机器内存很小、只想偶尔问两句话、需要多模态或超长上下文能力时,本地跑往往不如直接调接口省事
- 域名下的文档页和你本机行为一一对应,看到不确定的命令先回文档核对语法,别在网上抄来路不明的命令
站上能拿到哪几样东西
把这个网站能给你的东西拆成三类,你就知道该按什么顺序看。第一类是客户端安装包,覆盖主流桌面系统,装完你会得到一个命令行程序,而不是图标点开的图形界面。第二类是命令与用法文档,常用动作就那几个,看一遍就能记住。第三类是模型清单与说明,这是大多数人真正花时间的地方。
- 客户端安装包
- 按你的系统选对应版本,装完在终端能查到版本号才算装对
- 命令文档
- 拉取、启动、查看已安装列表、删除旧模型,常用命令不多,值得记进自己的笔记
- 模型清单
- 每条给出参数规模、体积量级、量化格式和适用场景,挑之前先看这些字段而不是看名字好不好听
清单里那一堆参数名容易劝退,其实你只需要盯住两三个:体积量级决定你机器吃不吃得下,量化格式关系到画质与速度的取舍,参数规模大致对应能力档位。本地部署这类名词不熟,可以先翻站内的技术概念词典再回头看清单。
新手跑通第一条命令的顺序
新手最容易犯的错,是一上来就挑最大的模型,拉了半天跑不动,然后判定这东西没法用。正确的顺序是先量硬件、再装客户端、再拿小模型试水。下面四步按这个逻辑排,每一步都有明确的验证动作。
- 先量硬件看内存和显存大小,按「模型体积要明显小于可用内存」的原则挑档位。留出余量,别卡着上限选。
- 装客户端并验证按系统下载安装,装完在终端敲版本查询命令,能正常回版本号说明装对了。这一步过不了就别往下走,先去查安装问题。
- 拉一个小模型试水先拉体积小的量化版本,确认能正常出字、速度能接受,再换更大的试。一次换一档,别跳着来。
- 把跑通的动作记下来启动命令、模型名、退出方式写进自己的笔记,下次不用重新查。顺手记下这台机器跑该模型的大致体感速度,作为以后换模型的参照。
验收标准很简单:能在断网状态下发起一次问答并拿到完整回复,就说明本地这条链路真的通了。如果全程联网才有反应,那多半是某个环节你还在走线上服务,回头检查配置。
怎么判断它适不适合你
判断标准落在三件事上:数据敏感度、使用频率、硬件条件。三件都占,本地跑很划算;只占一件,通常有更省事的方案。下面这张表帮你对号入座。
| 你的情况 | 建议 | 理由 |
|---|---|---|
| 数据敏感、不能出本机 | 优先本地跑 | 模型文件在你硬盘上,推理过程不经过外部服务 |
| 要反复试同一批提示词 | 优先本地跑 | 不计次费,试错成本主要是时间 |
| 配置普通却想要顶配效果 | 先考虑接口方案 | 本地能跑多大的模型由硬件定,和云端能力上限不在一个量级 |
| 偶尔问两句、要联网搜索或图像理解 | 先考虑接口方案 | 本地跑的优势在这些场景里体现不出来 |
- 速度预期要放低:本地推理快慢主要由硬件决定,同一个模型在不同机器上体感差别很大,先测再下结论
- 想省事可以两条路并行:日常复杂任务走接口,简单批量任务放本地跑,取舍逻辑可以参考站内的四条接入路线对比
- 如果你只是想先看看市面上有哪些服务可选,从站内导航页开始比从官网下手更省时间
还有一种常见误区:把官网当成评测站。它只告诉你有哪些模型、怎么用,不会告诉你哪个模型在具体任务上更好。想横向比较,得去专门的资料库和评测页看,那些页面的数字也要以你查看当天为准。
下一步先确认自己属于「数据不能出本机」还是「只要偶尔问两句」,再决定要不要装;装之前把硬件和模型体积对一遍,能省掉一次白忙。→常见问题
打开这个网站需要先注册账号、充值吗?
下载和本地使用本身不涉及按量付费,也不强制你绑定支付方式。真正决定你能跑什么的是本机硬件,不是账号状态。只有当你打算把本地模型接到别的工具链、或者顺带调云端接口时,才会碰到账号和额度的问题,那部分和本站讲的接入配置是两回事。
装了它是不是就等于有了一个 ChatGPT?
不是。你得到的是一个能把模型文件下载到本地并运行起来的工具,回答质量取决于你拉了哪个模型、多大参数、什么量化档位。它没有联网搜索、没有云端算力兜底,也不会自动帮你升级到更强的模型,体感更多像「自己搭了一台小服务器」。
本地跑和直接调接口,我该从哪个开始?
看你卡在哪。如果是隐私顾虑、离线场景、想无成本反复试,先本地;如果是想要更强的通用能力、更快的响应、不想折腾硬件,先接口。两条路不冲突,很多人是本地做草稿、接口做成品,成本结构到 模型成本计算器(/tools/model-cost-calculator) 里按自己的用量估一遍再决定。