本地跑 Ollama,调用接口时最容易出的岔子不是模型没下好,而是 chat 和 generate 用错了地方:该带多轮对话的用了生成接口,结果模型像失忆;该一次性出文的用了对话接口,结果被模板包了一层。这篇按「先分清接口、再看参数、最后查返回」的顺序走一遍,每步都给可执行的核对动作。
本地跑 Ollama,调用接口最常撞的坑不是模型没拉下来,也不是显存不够,而是 chat 和 generate 这两条接口用串了位置。表现出来往往是两种相反的样子:多轮对话用错了接口,模型像失忆,前一句刚说完的事它完全接不上;单次出文用错了接口,输出外面多包一层模板,读起来别扭。
这篇按「先分清接口、再看参数填在哪、最后查返回长什么样」的顺序走。每一步都给一个能马上动手的核对动作,不用靠猜。顺手也会说清楚什么情况下这套排查不适用,免得你照着做完发现方向本来就错了。
先分清这两条路在干什么
chat 收的是一组消息,每条带角色(用户、助手、系统),模型按这层角色关系接着往下答;generate 收的是一整段文本,模型只负责顺着这段话往后写,它不知道哪句是提问、哪句是上文。这是两条接口最本质的差别,后面所有异常都从这里长出来。
| 你的实际需求 | 该用哪条 | 用错了会怎样 |
|---|---|---|
| 多轮追问、要模型记住前文 | chat | 答非所问,口吻突然跳脱 |
| 单次摘要、润色、续写一段 | generate | 输出被模板包一层,多出角色标记 |
| 拿一段资料让模型提炼要点 | generate | 可以跑,但追问时上下文会丢 |
| 做客服式问答、带系统设定 | chat | 系统提示词失效,回答不受约束 |
有个高频误判值得单独说:把好几轮问答拼成一大段塞进 generate 的 prompt,看起来模型也能读,好像能用。但模型不会按对话角色回应,它只是接着你这段话往下写,遇到需要区分「谁在问、谁在答」的场合就开始乱。判断标准很简单——如果你的代码里已经在手动拼「用户:」「助手:」这种前缀,那基本就该换成 chat 了。
参数填在哪一格,决定结果像不像你要的
温度、上下文长度、是否流式这些选项,在两条接口里的填写位置并不一样。很多人是直接照抄另一条接口的示例代码,改了个接口名就跑,结果参数被静默忽略——不报错,不提示,就是效果不对。这类问题最难查,因为日志里干干净净。
- 先发一条最短请求prompt 只写一两个字,不带任何自定义参数,确认接口本身通、模型能出字。这一步挂了,后面都别谈。
- 改一个参数看输出变不变只动温度这一项,其他不动,连着发两次。输出毫无变化,说明这个参数没进到请求里,位置填错了。
- 检查 prompt 里有没有手写角色标记Ollama 会按模型自带的模板包装输入。你自定义的 prompt 里再写一遍角色标记,等于套两层,输出里冒出多余标记就是这儿来的。
- 对照官方示例的字段层级重点看 options 这一层是放在请求体顶层还是嵌在别处,两条接口的写法经常不一样,照抄最容易在这一格翻车。
这套办法不适用的情况也说一下:如果你调的是别人封装好的 SDK,参数位置由 SDK 决定,得去看它的文档,别拿着裸接口的示例硬套。另外流式开关一旦改动,返回结构整个变样,排查参数时先把流式关掉,减少变量。
拿到结果先看这三处
请求发出去了,返回不对,先别急着换模型。按下面三处依次看,大部分问题在这一步就能定位,不用去翻显存和并发。
- 返回是整段还是分块:开了流式,代码里却按整段去解析,拿到的往往是空串或者残缺的 JSON,解析器直接报错
- 思考段和正文有没有混在一起:部分模型会额外吐一段推理内容,脚本直接取第一个字段,就把思考当答案了
- 耗时落在哪一段:首次调用包含模型加载,慢是正常的;第二次还慢,再去查显存和并发
- 返回里的角色字段对不对:chat 的返回带角色,generate 的不带,按 chat 的结构去解 generate 的返回必然对不上
排查顺序建议从上往下:先确认返回结构,再看内容字段,最后才看性能和耗时。反过来查容易在无关的地方兜圈子,比如盯着显存看半天,其实是流式解析写错了。
同一份代码换到另一台机器就不好使
本机跑的地址和远端服务的地址,默认端口不一样,鉴权方式也不一样。照抄示例代码时,最容易漏的就是改地址那一行——本地测试全绿,一部署就断,然后开始怀疑模型、怀疑网络,其实只是地址还指着 localhost。
另一个陷阱在鉴权头。Ollama 本机默认不校验,代码里带着空 key 也能跑通,于是没人注意这块。换到中转站或者远程服务就要求按对方规定写鉴权头,空 key 立刻被打回。判断标准要分开:能连通但返回 401 或 403,是鉴权问题,去查请求头;连不上或者超时,是地址和端口问题,两类别混在一起查,越查越乱。
真要接第三方服务,先到站内的中转站导航页确认对方支持的接口类型和鉴权要求,别默认它跟本机 Ollama 一样宽松。这一步花几分钟,能省掉后面一堆「本地好好的」的争论。
下一步想核对各家接口的实际能力和价格,或者找可信的中转服务,去站内对应页面看当时的数据;判断标准比记数字更耐用。→常见问题
chat 和 generate 到底该先用哪个?
做对话、问答、需要模型记住前文的,直接用 chat;做单次文本处理比如改写、摘要、续写,用 generate。拿不准就先上 chat,它的消息结构更不容易把输入搞乱,调通之后再考虑要不要为省事换成 generate。
为什么我改了参数,输出一点没变?
多数是参数没落在接口认的那一层。有的选项要写在请求体的 options 里,有的在顶层,照抄别的接口示例就会失效。先发一条最短请求,只改一个参数对比输出,变了说明位置对,不变就换一处再试。
本地跑得好好的,接上远程服务就报错?
先分清是连不上还是被拒。超时、连接被拒是地址和端口的问题;返回鉴权类错误是请求头没按对方要求写。本机默认不校验,代码里常带着空凭据也能跑,换环境就露馅,把地址和鉴权两行单独拎出来核对最快。