很多人问 prompt 和上下文哪个好,其实是把两件不同层级的事放在一起比。prompt 是你每次写的那段指令,上下文是模型这一次能看到的全部内容。卡住的场景通常是:调了半天措辞没变化,或者一味加长资料反而更乱。这篇给一套先分清、再取舍的判断顺序。
很多人把 prompt 和上下文放在一起比高低,其实这俩压根不是一个层级的东西。prompt 是你每次动手敲的那段指令,决定任务边界、输出长什么样、用什么语气。上下文是模型这一次请求里能读到的全部内容,prompt 只是其中一小块。你贴的文档、历史对话、工具返回的结果、系统预设,这些你一个字没写,它们也在悄悄起作用。
所以「哪个好」这个问题问偏了。真正卡住你的时候只有两种:要么指令没说清,要么手头的材料不够或者太脏。调半天措辞输出还是不对味,继续套形容词没用;反过来一味往上下文里塞资料,答案反而更乱。先把这两件事拆开看,预算和精力才知道往哪边放。
先分清层级:一个是你写的,一个是模型看到的
遇到答案跑偏,先别急着加料。回头看看指令里有没有写清给谁看、要多长、不能出现什么,这三样缺一项,补再多资料也救不回来。我见过有人对着一份报表问了三轮,每次都换措辞,结果问题出在压根没说清要输出成表格还是段落,模型每轮都在猜。
- prompt
- 你主动敲进去的那段指令,管的是任务边界、输出格式和语气
- 上下文
- 这次请求里模型能读到的全部内容,prompt 只是其中一部分
- 容易漏的上下文
- 历史对话、贴进去的文档、工具返回结果、系统预设,不写也在生效
判断方法很简单:把你这次请求里所有模型能读到的内容列一遍,看看哪些是你写的,哪些是系统或历史带进来的。如果模型答的内容明显超出你给的材料,多半是上下文里混进了不相关的东西;如果答案格式每次都飘,问题则在 prompt 上。
什么时候该把力气花在 prompt 上
任务本身清楚、资料你手上就有,只是输出不像样,这基本就是 prompt 的问题。典型症状很好认:格式每次都变、该简短的地方写成长篇、该严肃的场合语气跳脱。这种时候改指令的收益最快,而且几乎不花钱,只花你一点时间。
- 格式不稳定:把输出结构一条条写死,比如「先给结论一行,再列三条依据」
- 长度失控:直接写清字数或条数上限,别用「简洁一点」这种形容词
- 语气跑偏:说明读者是谁、场合是什么,比堆「专业」「正式」有用
- 内容越界:明确「只能引用我给的材料,没提到的部分写不确定」
写约束的时候用清单式,一条一行,明确必须出现什么、禁止出现什么。形容词堆得再多,不如一句「不要出现感叹号」来得直接。改完跑两版对比,差异在哪一眼能看出来。
什么时候该加上下文,以及加多少才不算浪费
任务依赖具体材料,比如对着一份合同、一段日志、一份报表提问,这时候上下文才是瓶颈。加之前先做减法:把无关段落删掉,只留相关章节。长不代表好,噪声会把重点稀释掉,模型反而抓不住关键。
| 症状 | 大概率问题 | 先动哪边 |
|---|---|---|
| 格式每次不一样 | 指令没写死输出结构 | prompt |
| 答案编造没给的细节 | 材料里没有这段信息 | 上下文 |
| 贴了长文档反而更乱 | 上下文里噪声太多 | 先删再补 |
| 语气和场合对不上 | 指令没交代读者和场景 | prompt |
上下文变长会直接抬高按量计费的花费,具体单价去 /official-api 对照当时的数字,别凭印象估。判断够不够用有个笨办法:删掉某段材料,答案质量没变,那段就是白花钱。这个减法做过一轮,你对什么该留什么该删就有感觉了。
一个能落地的排查顺序
- 先做对照实验同一段材料配两版 prompt,一版只写任务,一版加格式和禁止项,跑完对比输出差异出在哪。
- 再补最相关的一段两版都答不准时补上下文,先补最相关的那一段,观察输出变化,再决定要不要继续加。
- 记录效果和花费每次改动后记下输出质量和大致的用量,用量大的话去 /price-watch 看价格有没有变动,别拿旧印象算账。
- 稳定后固化成模板把定稿的 prompt 存成模板,上下文用固定流程拼装,下次直接复用,比每次从头写省事也更容易比较。
这套顺序的关键是先动几乎不花钱的那一边。很多人反过来,一上来就往上堆文档,堆到最后连自己都说不清哪段起了作用,排查都无从下手。
预算有限时的取舍
指令类改进只花你的时间,优先级应该排在加料前面。上下文扩容是持续性支出,每次请求都按量算,适合高频但任务明确的场景;低频的长文档任务偶尔贴一次,成本影响其实有限,不用太纠结。
如果是团队共用一套调用,先统一 prompt 模板再谈上下文策略,否则每个人各写一版,调出来的结果没法互相比较。这事儿麻烦在人多的时候没人愿意先改,但拖着的代价是后面所有对比都白做。
先问是话说得不够清楚,还是料给得不对,再谈花多少钱。下一步不确定自己卡在哪一层,先去基础词条把 Token、上下文这几个概念过一遍,判断会清楚很多。→
常见问题
prompt 写得好,是不是就不需要长上下文了?
不是。prompt 决定模型怎么答,上下文决定它知道什么。任务依赖你手上的具体材料时,指令再准也补不出资料本身。反过来,资料给全了但没交代格式和边界,输出照样不能直接用。两边是配合关系。
上下文越长,回答质量一定越好吗?
不一定。塞进无关内容会稀释重点,还可能让模型抓错依据。更稳的做法是先筛出真正相关的段落,再决定长度。判断标准是删掉某段后答案有没有变差,没变差就是可以删的。
我怎么知道问题出在 prompt 还是上下文?
做个对照:同一段材料,一版只写任务,一版补上格式和禁止项。若差异明显,问题在 prompt;若两版都答不准或答偏,说明材料不够或不对,该在上下文上想办法。跑两遍就能定位,比空想快。