搜这两个词的人往往手里已经装了一半:Ollama 拉过模型,也开过 DeepSeek 的网页版,但说不清哪件事该交给谁。结果是要么把能联网的活硬塞进本地小模型,要么把不该外发的材料丢给线上接口。这篇不评谁强,只给一套分派顺序:先看任务能不能离线,再看数据能不能出门,最后才看机器扛不扛得住。
搜这两个词的人,多半手里已经装了一半:Ollama 拉过模型,DeepSeek 的网页版也开过,但说不清哪件事该交给谁。结果两种翻车最常见——把需要联网、需要读长文档的活硬塞给本地小模型,答得像模像样但错得离谱;或者把不该外发的材料直接丢进线上接口,事后才想起来问一句「这算不算泄密」。
这篇不评谁强。DeepSeek 和本地模型压根不是一道选择题的两个选项,一个是模型系列的名字,一个是部署形态。你完全可以在自己机器上跑 DeepSeek 的开源权重,也完全可以把别的模型挂到线上。所以真正要回答的是两个问题:我要的是某种能力,还是数据不出内网?想清楚这个,后面的判断才有意义。
先把「DeepSeek」和「本地模型」这两个词拆开
把这两个词摆在一起搜,本身就说明概念混了。DeepSeek 说的是「用哪个模型」,本地模型说的是「跑在哪台机器上」。这两件事可以自由组合,不是一个维度的对立。先把它们拆开,你才会发现自己纠结的其实是三个独立问题:能力够不够、数据能不能出门、机器扛不扛得住。
- DeepSeek
- 一个模型系列的名字,有线上接口,也有可以下载到自己机器上跑的开源权重。
- 本地模型
- 部署形态,指模型跑在你自己的显卡或内网服务器上,跟具体是哪家模型无关。
- 两者的关系
- 不是二选一。你可以本地跑 DeepSeek,也可以线上调别家,关键看你卡在哪一关。
拆开之后有个直接好处:你不会再把「换个更好的模型」当成万能解药。能力不够是模型问题,数据不能出门是合规问题,跑不动是机器问题,三件事的药方完全不同。混在一起想,最后往往是买了一堆用不上的东西。
第一刀切在任务上:这活能不能等、能不能错
先别管模型大小,先看任务本身。有一类活,本地小模型短期就是干不了:需要联网查最新信息、要通读几十页 PDF 再总结、要写跨文件的长代码。这类任务的能力差距比省下的钱扎眼得多,硬上本地只会让你反复重试,时间全耗在调 prompt 上。
另一类活才是本地模型的主场:格式固定的分类、从固定模板里抽字段、把口语改写成书面语、内部知识库问答。这些任务边界清楚、答案好验证、量大且重复,本地跑起来又稳又便宜。判断标准说白了就一条——答错一次的代价有多大。代价高,就上能人工复核的方案,而不是换个更小的模型硬顶。
| 任务特征 | 倾向 | 理由 |
|---|---|---|
| 需要联网、读长文档、写长代码 | 线上 | 能力差距明显,本地硬顶的时间成本更高 |
| 格式固定、量大批次、术语固定 | 本地 | 边界清楚好验证,重复调用不心疼 |
| 答错代价高、要签字担责 | 线上+人工复核 | 不是选模型的问题,是流程要留复核环节 |
| 材料涉密、不能出内网 | 本地 | 这条压过其他所有考虑 |
第二刀切在数据:哪些材料根本不该出门
任务想清楚了,接着看材料。合同、客户名单、病历、未公开的代码库,这类东西先归到「不出内网」那一堆,归完再谈模型大小。反过来,公开资料、网上已经能搜到的内容、写给自己看的草稿,放在线上接口上没有额外风险,不必为了「安全感」把自己憋死。
这里最容易犯的错,是用「公司规定」一句话糊过去。规定往往很粗,落到具体文件就没人说得清。建议你自己拉一张清单,具体到文件类型和字段:哪几类文档、哪些字段、能不能脱敏后再外发。清单列出来,你才知道本地要跑到什么水平才够用——可能只需要一个能读表格的小模型,而不是最大的那个。
- 把常处理的材料按敏感度分三档:可公开、脱敏后可外发、绝不出内网
- 每档写清楚具体文件类型和字段,别只写「客户资料」这种模糊词
- 绝不出内网那一档,先算本地能不能跑动,跑不动就改流程而不是改模型
- 脱敏规则写进使用说明,谁执行、脱敏到什么程度,落到格子上
第三刀切在机器:先量显存,再谈参数
数据这关过了,才轮到机器。显存决定你能跑多大参数的模型、能用什么量化档位,这一步不能拍脑袋。到 /models/deploy 按模型和量化档位算一遍,把你手上的卡填进去,看差多少。算完发现差一截,优先降量化档位或换更小的模型,别急着下单买卡——很多时候降一档就能跑,效果损失在可接受范围。
批量任务还要多看一项:并发。一张卡能同时服务几个请求,决定你是「够用」还是「排队到天亮」。这个数跟显存、上下文长度都相关,去 /compute/sizing 按你的实际请求量估一遍。别只看单次推理快不快,那是最没用的指标。
- 量显存到 /models/deploy 填机器配置,算出当前卡能跑的最大参数和量化档位,记下差额。
- 降一档试跑先把量化降一档或换小一号模型,跑通再说,别一上来就加卡。
- 估并发到 /compute/sizing 按真实请求量估并发,看单卡够不够,不够再谈加机器。
- 回头看成本去 /compute/tco 按三年算一遍总成本,把电费、折旧、维护时间都算进去再决定。
真要本地跑,第一次别从最大的模型开始
决定本地跑,也别一上来就拉最大的那个。先用 Ollama 拉一个小到肯定能跑动的尺寸,把「下载—加载—出第一句话」这条链路走通。链路通了你才知道环境没问题,再换大的。很多人卡在第一步就怀疑人生,其实是显卡驱动或内存没配好,跟模型没关系。
ollama pull 小尺寸模型名;ollama run 小尺寸模型名;# 链路通之后再换大的,每次只改一个变量跑通之后再换量化档位和上下文长度,每次只改一个变量。这条经验很土但很管用:同时改两处,出了问题你不知道是哪一格。另外记住,模型能加载不等于能用。答非所问是模型能力问题,中文串味是训练语料问题,长文截断是上下文长度问题,三类毛病排查方向完全不同,别一锅乱炖。
更常见的答案是两边都留一条路
多数团队最后不是二选一,是两条路都留着。日常大批量的粗活走本地,省的是调用费和等待时间;难题、需要外部信息的活走线上。这不是骑墙,是把各自的短板避开。关键是把分界线写下来,别让它活在某个人的脑子里。
写进同一份使用说明:什么任务走哪边、谁有权切换、切到线上要不要先脱敏。三句话能省掉后面无数次扯皮。另外要定期回看,本地模型换代或者线上价格变动后,原来的分界线可能要挪。去 /price-watch 看变动记录再决定,别用半年前的印象做今天的判断。
| 场景 | 走本地 | 走线上 |
|---|---|---|
| 日常批量分类、抽取 | 合适 | 浪费 |
| 需要联网查最新信息 | 不合适 | 合适 |
| 涉密材料处理 | 必须 | 禁止 |
| 偶尔的难题攻坚 | 勉强 | 合适 |
几个我见过最多的误判
第一个误判是把「本地免费」当成零成本。电费、机器折旧、你调环境的时间都是钱,去 /compute/tco 按三年算一遍,很多人算完就冷静了。第二个是拿榜单名次当唯一依据。榜单题目和你的任务往往不是一回事,具体读法见 /benchmarks,看它考的是什么、跟你手上的活像不像。
第三个更隐蔽:一上来就折腾多卡和推理框架,链路还没跑通就开始调参数,最后不知道问题出在哪一层。这种失败经验太常见了,我自己也干过——装错了 CUDA 版本,折腾一下午,回头发现小模型本来能跑。顺序反了,努力全打水漂。
下一步先别急着做决定。去 /models/deploy 按你手上的机器算一遍能跑多大,再去 /price-watch 看一眼线上价格最近的变动,两边的数字摆在面前,这道题基本就自己解开了。→常见问题
本地跑 DeepSeek 和用网页版/API 是同一件事吗?
不是。模型权重可以一样,但部署形态不同带来的差别在上下文长度、并发、联网能力和维护成本上。网页版和接口由服务方兜住这些,本地要你自己扛。先想清楚你缺的是能力还是数据边界。
显存不够,是不是只能换更小的模型?
先别急。降低量化档位、缩短上下文、把部分层放 CPU,都能把门槛压下来,代价是速度和质量。按顺序试:先调量化,再调上下文,最后才考虑换模型或加卡。
公司资料能不能喂给线上的 DeepSeek?
取决于资料类型和合同约定,不能一概而论。把文件分成「公开可外发」「脱敏后可外发」「绝不出内网」三堆,只有前两堆适合走线上。第三堆要么本地跑,要么先做脱敏再考虑。
怎么判断本地模型答得够不够用?
别只看一两个例子。抽二三十条你真实会遇到的输入,人工过一遍,重点看错误类型是不是集中在同一类。如果错得零散还能靠人工兜,如果错得系统性,说明模型或提示方式不对。
一开始该装哪个工具?
想快速验证就用 Ollama,命令简单、模型库全;要做服务和并发再考虑 vLLM 这类推理框架。工具本身不是门槛,卡住的多半是模型格式和显存规划。