本地跑 Ollama 的人常遇到同一个坎:模型答得挺顺,一问今天的事、新出的资料就卡壳,因为它压根没联网。这篇不给结论只给路径,把「让本地模型拿到实时信息」拆成三种做法,讲清各自的配置动作、延迟与维护成本,以及什么情况下折腾它不划算。
本地跑 Ollama 的人常遇到同一个坎:模型答得挺顺,一问今天的事、新出的资料就卡壳,因为它压根没联网。这篇不给结论只给路径,把「让本地模型拿到实时信息」拆成三种做法,讲清各自的配置动作、延迟与维护成本,以及什么情况下折腾它不划算。
需要先分清:是模型不知道,还是它知道但答错了。前者要靠外部递资料,后者通常是提示词或参数没调好。下面从原理到落地逐节拆,每一步都给判断标准和动作,你按自己的更新频率和准确性要求选路线就行。
先搞清:本地模型为什么天生不联网
模型权重是某个时间点冻住的,训练之后发生的事它一概不知道,这和「模型笨」是两回事。本地推理默认只处理你喂进去的文本,没有任何出网动作,所以问实时信息只能靠外部把资料递进来。
- 判断分界线:答案是随时间变的(行情、版本、新闻、政策)就需要外部信息;是稳定知识(语法、公式、代码写法)就没必要折腾。
- 先分辨是知识截止还是幻觉:问它一个确定存在但你怀疑它没学过的事实,如果它编得头头是道,那是幻觉;如果它直接说不知道,那是知识截止。两种情况处理方式不同,别一股脑都归到「没联网」。
- 验证动作:把同一个问题在不同时间问两次,看答案是否变化;如果完全一样且与事实不符,说明它没有实时来源。
三条可落地路线:提示词粘贴、应用层检索、外挂搜索工具
三条路线按投入从低到高排,没有哪条绝对好,只有哪条适合你当前的更新频率。下面用表格把成本、延迟、适用场景并排对比,方便你直接对号入座。
| 路线 | 配置动作 | 延迟 | 适用场景 | 不适用情况 |
|---|---|---|---|---|
| 手工粘贴 | 复制网页内容到对话里,零配置 | 取决于你搬运速度 | 一周问一两次、问题不固定 | 每天高频问、长文档超上下文窗口 |
| 应用层检索 | 用带联网能力的本地对话前端,由它搜索并拼提示词 | 多一次搜索往返 | 日常问答、想少写代码 | 需要精细控制召回数量与来源 |
| 自建检索链路 | 抓取或搜索接口 + 切片 + 向量库 + 嵌入模型召回 | 多两次模型调用 | 每天高频、对来源和准确性要求高 | 没有维护精力、问题对时效不敏感 |
选哪条看更新频率和回答准确性要求:一周问一次就用手工粘贴,每天要问就上检索链路。中间那条适合不想写代码、但希望少点人工搬运的场景。想对比不同方案的实测表现,可以到 /tools/speed-test 看当时的延迟数据。
落地清单:从零把联网链路搭起来要做的几件事
- 确认出网通路先确认 Ollama 服务本身和本地网络能正常出网。公司内网环境要先解决代理或白名单,否则后面全是白忙。验证方法:用 curl 随便访问一个公开接口,能返回内容才算通。
- 选嵌入模型备一个嵌入模型专门做召回,对话模型和嵌入模型分开选,别指望同一个模型两件事都干得好。验证方法:拿几条已知相关的文本,看嵌入后相似度排序是否合理。
- 拆分检索链路把链路拆成「搜什么、召回几条、怎么拼进提示词」三段分别调,先保证召回的内容对,再谈回答好不好。验证方法:固定问题,只看召回的原文是否包含答案所需信息。
- 加来源标识回答里要求带上来源标识,这样出错时你能一眼看出是搜错了还是模型编的。验证方法:故意问一个检索结果里没有的细节,看它是否承认没有依据。
- 回归测试把联网前后的回答各跑十次,记录正确率。如果联网没让正确率提升,就先别维护这套链路。验证方法:用同一组问题分别在有、无联网时提问,人工打分对比。
这套清单里的每一步都有可验证的产出,不要跳步。尤其是出网通路,很多人卡在后面才发现是网络根本没通。如果想看不同模型的上下文窗口和嵌入能力对比,可以到 /models 核对当时的资料。
什么情况下别硬上联网,以及怎么退回去
联网不是万能药。如果问题本身对时效不敏感,联网只会增加延迟和不确定性,纯本地回答反而更稳、更快。检索质量差的时候(来源杂、切片碎),联网会让模型拿着错的材料一本正经地编,比不联网更糟。
- 不适用场景一:答案是稳定知识,加联网只增加延迟。
- 不适用场景二:检索来源本身不可信,联网等于把垃圾喂给模型。
- 不适用场景三:你只是偶尔问一次实时信息,手工粘贴更省事。
- 不适用场景四:本地链路搭到一半想推倒重来,卸载环节要一起规划:模型文件、嵌入模型、向量库数据分开放,删的时候好分清楚。
- 判断标准很简单:把联网前后的回答各跑十次,如果联网没让正确率提升,就先别维护这套链路。
关于卸载,重点是别删错。Ollama 的模型文件、你额外装的嵌入模型、向量库的持久化数据通常不在同一个目录,动手前先把路径列出来,确认哪个是哪个。具体命令和目录说明以官方文档为准,站内的 /guides 里有整理好的排查顺序。
能不能联网不是目的,回答变准才是;准不了就先退回纯本地,别为了联网而联网。下一步如果你在挑本地对话前端或检索工具,可以到 /tools 看当时的工具目录和分类;如果关心不同方案的延迟表现,去 /tools/speed-test 核对当时的数字,比在群里问更快。→
常见问题
Ollama 自身有没有一键开启联网的功能?
没有。Ollama 干的是把本地模型跑起来的活,出网、搜索、把结果塞进上下文这些事都在它外面。所以网上说的「Ollama 联网」基本都是指在它上层挂一个检索或搜索环节,模型本身没变。
联网之后回答还是不准,先查哪里?
按顺序查三件事:搜到的内容本身对不对、召回的内容有没有真的拼进提示词、模型有没有无视材料自己编。多数问题出在第二步,材料没进去,模型自然只能靠记忆答。
只想让本地模型偶尔查一下最新资料,最省事的做法是什么?
直接手工把资料复制进对话里,别搭链路。搭检索的成本主要在维护,一周用不上一次的话,人工搬运反而更快也更准,等频率上来了再考虑自动化。