ollama chat generate对比,先别急着写代码:两条接口的适用场景不一样

模型与算力

讲清 Ollama 的 chat 和 generate 两条接口各自适合什么活,给出选型判断标准和排查顺序,避免把单轮补全和多轮对话写混。

很多人第一次调 Ollama 的 API,是照着某个示例复制过来的,跑通了就继续往下写。等到要给对话加多轮上下文、或者反过来只想让模型做一次纯补全,才发现结果不对劲——回答里冒出奇怪的续写、角色串了、历史没生效。问题多半不在模型,而在一开始就把 chat 和 generate 用混了。这篇把两条接口的分工、判断标准和动手顺序摊开说。

很多人第一次调 Ollama 的 API,是照着某个示例复制过来的,跑通了就继续往下写。等到要给对话加多轮上下文、或者反过来只想让模型做一次纯补全,才发现结果不对劲——回答里冒出奇怪的续写、角色串了、历史没生效。问题多半不在模型,而在一开始就把 chat 和 generate 用混了。

这篇不吹概念,只讲两件事:什么时候该选哪条接口,以及结果不对的时候按什么顺序排查。看完你应该能自己判断,而不是每次翻文档猜。

两条接口到底差在哪一层

先把这个说清楚:generate 和 chat 调的是同一个模型,能力上没有谁强谁弱。差别在请求怎么组织。generate 你递进去的是一整段文本,模型把它当连续内容接着往下写;chat 你递进去的是一个消息数组,每条带角色和内容,模型按「谁在说、上一句是什么」来回应。

对比项generatechat
输入形态一整段 prompt 字符串消息数组,每条带角色和内容
上下文组织自己拼进 prompt自己拼进数组,接口不替你记
适合的活一次性补全、续写、批量处理多轮对话、区分系统提示与用户输入
解析时容易踩的坑以为返回里会有消息结构照着 generate 的字段名去取,拿不到内容

还有一个常被忽略的点:响应结构的字段名不一样。照着一方的示例去解析另一方,经常是代码没报错,但取出来的内容是空的,然后你以为是模型没回。这事儿麻烦在它不报错,只是安静地给你一个空字符串。

按活儿选,不是按顺手选

判断标准其实不复杂,看你手里这件事的本质:是不是有「轮次」和「角色」的概念。有,就用 chat;没有,就是一段文本进去、一段文本出来,generate 更省事,不用自己包一层消息数组。

  • 要保留多轮历史、要区分系统提示和用户输入、后面可能接前端聊天窗口:chat
  • 做一次性补全、文本续写、批量生成、把整段材料丢进去要一个结果:generate 更直接
  • 看着像补全,其实需要系统提示来约束输出格式(比如固定输出成某种结构):这时候 chat 反而更省事
  • 不确定就各写一个最小请求跑一遍,比对返回内容的结构,比看文档猜快得多

有个例外得提一句:如果你的补全任务需要强约束输出格式,用 generate 就得把约束全塞进那段 prompt 里,写起来啰嗦还容易漏。这种情况用 chat,把约束放进系统消息,代码反而干净。所以别死守「补全就必须用 generate」这条。

多轮上下文是自己拼的,接口不替你记

这是新手最容易误判的地方。chat 接口不会在服务端保存你的会话历史。你以为聊了三轮它应该记得,实际上每次请求都是独立的,历史得你自己带上。只发当前这一轮用户消息,模型表现就像失忆,这不是接口坏了,是你没给它前文。

generate 那边更直白:你给多少文本,它就接多少。想让它记得前文,就把前文拼进 prompt。两种方式本质是一回事,只是一个用数组组织,一个用字符串组织。越聊越长的时候都得自己裁,不能无限往里堆。

长度上限这件事别凭记忆,各模型不一样,超了会被截断或者直接报错。具体数值到 /models 里对应模型的资料页核对当时的数字,别拿旧的印象写死在上限判断里。

结果不对时的排查顺序

别一上来就怀疑模型效果。按下面这个顺序走,大部分问题在前两步就能定位。

  1. 先看返回结构字段名对不上,多半是把两条接口的响应格式搞混了。打印完整返回体,确认你取内容的字段确实存在于这次响应里。
  2. 再看请求体chat 却只发了一条用户消息、或者消息数组格式写错(角色名拼错、少了内容字段),表现通常是答非所问或者干脆空回。
  3. 然后确认模型状态模型没加载起来、或者实际加载的是另一个,报错和内容异常都会冒出来。先确认你请求的模型名和本地实际拉下来的一致。
  4. 最后才怀疑效果和参数到这一步再去看是不是上下文被截断、或者温度之类的参数调得离谱。顺序反了,会在前面几步白耗时间。

我见过一次典型误判:有人在 chat 请求里只塞了用户消息,没给系统提示,然后抱怨模型不听话、输出格式老跑偏。查了半天以为是模型问题,其实是系统提示压根没发出去。这种错误不看请求体根本发现不了。

上手第一周可以这么试

光看文档记不住,动手跑一遍手感立刻就来了。下面这几件事花不了多少时间,但能帮你把两条接口的区别钉进脑子里。

  • 先用 chat 发一条系统消息加一条用户消息,确认系统提示确实生效了,输出风格按你的约束走
  • 再用 generate 发同一段文本,对比两者输出风格的差异,你会直观感受到「接着写」和「对话」的不同
  • 把两条请求都写成小脚本存下来,后面接工具、接前端时直接改参数,不用每次翻文档
  • 顺手到 /tools/speed-test 量一下延迟基线,之后觉得慢的时候有得比,不至于凭感觉下结论
  • 把返回体的结构各打印一次存成注释,下次解析拿不准时对照着看

这套动作做完,你对两条接口的边界就有数了。之后遇到结果不对,先翻自己存的那两个脚本比对请求体,比重新读一遍文档快。

下一步想确认某个模型在两条接口下的实际表现和延迟,到站内的接口测速页跑一次就有基线;模型的具体参数和上下文上限,去模型资料库核对当时的数值,别凭记忆下判断。

常见问题

同一个模型,两条接口出来的结果不一样,是正常的吗?

正常。输入结构不同,模型看到的上下文形态就不同,尤其 chat 里带了系统提示和角色标记,输出风格会跟着变。想对比模型本身的能力,尽量让输入内容接近,再看差异。

我只想要多轮对话,是不是只能用 chat?

绝大多数情况是的,chat 的消息数组就是为这个设计的。硬用 generate 也能做,但要自己拼角色标记和历史文本,维护成本高,还容易在拼接处出错,不建议。

调 chat 接口时历史越传越长,会有什么后果?

最直接的后果是触到上下文上限,被截断或者请求失败;其次是每次请求的输入变长,本地跑的话耗时也会上去。常见做法是只保留最近若干轮,或者把早期内容做个摘要再带进去。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。