prompt和上下文有什么哪个好?先看你是要改口还是补料

入门与上手

把 prompt 和上下文当成两笔不同的投入:一个改说法,一个喂材料。给出判断顺序、常见误判和不适用的情况,帮你在同一预算下决定先动哪一头。

搜「prompt和上下文有什么哪个好」的人,通常已经卡在某个具体动作上:要么是改了半天提示词,输出还是不对;要么是塞了一大堆资料,模型反而抓不住重点。这两件事花的钱和精力不一样,改错方向就是白忙。下面按「你要的是改口还是补料」给一套判断顺序,最后附一份动手前的检查清单。

先把这两件事分开:一个管说法,一个管材料

先把两件事拆开看。prompt 是你这次怎么开口:任务是什么、输出成什么格式、用什么语气、哪些话不能说。上下文是你往这一轮里塞了哪些材料:聊天记录、文档、检索出来的片段、上一轮的结论。一个管说法,一个管材料。混在一起谈,就容易变成「都不满意,全改一遍」,白花力气。

prompt上下文
管什么这次怎么交代任务、格式、语气、禁区这轮能看到哪些材料
改动成本几乎不花钱,只花你几分钟重写按 token 计费,还占窗口容量
改错的后果顶多这轮答偏,重写一句再来塞多了挤掉重点,塞错了把模型带偏
典型症状格式乱、太长太短、语气不对、答非所问格式没问题、答得也顺,但不懂你家业务

看症状比看概念管用。输出格式乱七八糟、该列清单却写成大段散文、说好了不要客套还在那儿寒暄,这基本是 prompt 没交代清楚,跟材料多少没关系。反过来,格式规矩、句子也通顺,就是不知道你们内部怎么叫这个产品、不清楚这条流程卡在哪一步,那多半是上下文没给够。先认症状,再决定动哪边。

  • 格式乱、结构散:先改 prompt,把输出形状写死,比如「三列表格,每列不超过十个字」
  • 答得对但飘:检查是不是上下文里没有业务名词和内部约定
  • 同一段材料反复解释还反复问:材料没放进去,或者放进去被截断了
  • 回答突然变短变糙:上下文塞太满,把关键指令挤到后面去了
  • 两个症状都有:别一起改,先修 prompt,再补材料

顺序上有个实用原则:先修便宜的。改 prompt 一分钟的事,补上下文往往要重新翻文档、摘段落、整理成模型能吃的形状,可能半小时起步。所以先花一分钟把说法修对,看输出有没有起色;还是不懂业务,再去补材料。反着来很常见:一上来就狂贴文档,结果格式照样乱,因为压根没人告诉它要输出成什么样。

三个问题定方向,别一上来就换模型

别急着打开模型下拉框换一个「更聪明」的。先花二十分钟做三个小测试,方向基本就出来了。这三个问题的顺序别调,因为第二问最容易被跳过,而它恰恰是最能省时间的那个。

问题怎么测结果指向
同一段材料,两种写法差别大不大材料不变,prompt 写两版:一版把要求写死(给谁看、多长、不能出现什么),一版只写一句「帮我处理一下」。两版各跑两三次,横向比差别明显 → 先修 prompt,别动材料
prompt 固定,只换材料同一版 prompt 一个字不改,先喂一份粗糙材料,再喂一份补全了背景、术语、边界的材料输出明显变好 → 瓶颈在上下文,补料优先
这活儿需不需要外部事实问自己:答案里的关键信息,模型靠训练记忆能不能可靠给出?比如内部流程、当期政策、自家产品参数需要却只靠记忆 → 补料比改口管用
  1. 先做第一问:两版 prompt 对撞材料原封不动,只改指令。两版输出并排放,看差在结构、口径还是漏项。差得多说明指令没交代清楚,这时候换模型是浪费钱。差得少,说明指令已经够用,往下走。
  2. 再做第二问:锁死 prompt 换材料这一问最容易被跳过。prompt 一个字不改,先给薄材料,再给厚材料——补上背景、术语解释、几条硬约束。如果厚材料那版明显更准更贴,问题从来不在措辞上,你缺的是料。
  3. 最后做第三问:判断事实来源任务里但凡涉及具体数字、内部规定、时效性信息,就别指望模型记忆。这类内容必须由你喂进去,或者在站内资料库核对后再用。判断标准很简单:答错了会不会有人被误导。

常见的误判是把第二问的失败当成第一问的问题。有人对着 prompt 反复改措辞,加「请严格」「务必」「一步一步想」,改了七八版,输出还是偏——因为输入材料里压根没写清楚业务背景,模型只能猜。这种时候再怎么打磨措辞都是原地打转。

哪些情况下这套判断不成立

前面那套「改口还是补料」的判断,大体上能覆盖多数日常场景。但它有边界,有些情况你硬套,反而会绕远路。这一节就把四种不成立的情形挑出来讲清楚,遇到了别犹豫,直接换做法。

情形为什么原判断失效该换的做法
任务极短,一问就结束上下文里几乎没有可补的东西,补了也是噪音只调 prompt,把要求写清楚就收工
材料本身脏或互相打架补得越多,矛盾越多,模型更晕先清洗、对齐口径,再决定走哪条路
窗口装不下你的材料继续加料会把前面的内容挤出去,反而丢信息拆任务、分批喂,或改成检索式取用
模型不支持你要的输出结构这是能力边界,措辞改不动底层降级输出要求,或换能结构化的调用方式

先说短任务。翻译一句话、改个标题、把一个词换成更口语的说法,这类活儿上下文几乎没得补——你总不能为了翻一句话先塞三千字背景。这时候折腾上下文是白费劲,把 prompt 里的约束写准就够了:给谁看、什么语气、哪些词不能出现。做完就完,别自我加戏。

再说材料质量。这是最容易被忽略的一种误判:有人发现模型答得不对,第一反应是「上下文不够」,于是拼命补料。可如果补进去的资料本身就前后矛盾、口径不一、缺关键字段,补得越多模型越晕。这种情况先别谈选哪条路,回头把资料洗干净、把冲突的地方定一个准,再来看是改口还是补料。

窗口装不下,也是个硬约束。你以为在加料,实际是在挤掉前面的内容,模型看到的反而更少。这时候继续堆是负收益,得换思路:把任务拆成几段分别做,或者改成检索——需要哪段取哪段,而不是一次性全塞进去。判断信号很直接:你发现关键信息开始「消失」而不是「变多」,就该停手了。

  • 任务一句话能说完,就别补上下文,只抠 prompt 的约束条件
  • 材料有冲突或缺失,先清洗对齐,再谈改口还是补料
  • 加料后关键信息反而丢了,说明窗口吃紧,改拆任务或检索
  • 模型压根不支持某种输出结构,改 prompt 只能缓解,别指望根治
  • 遇到这四种情形,先停一下问自己:我是在解决真问题,还是在自我安慰

动手前的清单:按这个顺序花那笔钱

这笔钱该花在 prompt 上还是花在上下文上,不用先吵,先按顺序花。顺序错了的代价是:本来一句话能改好的事,你先去扩上下文窗口、换更贵的模型,钱花了问题还在。下面这五步是我想让同事照着走的排查顺序,越靠前越便宜,越靠后越贵。

  1. 抄一份基线把现在的 prompt 原样复制出来单独存一份,别在线上直接改。开头三句话写清:给谁看、要多长、不能出现什么。比如「给不懂技术的客户看,控制在几段以内,不要出现内部代号」。这是整条链上最便宜的一刀,改完先别动上下文。
  2. 同一批输入跑三到五次拿真实输入跑三到五次,别只跑一次就下结论。看输出稳不稳:格式会不会飘、长度会不会差一倍、该有的字段会不会漏。不稳的时候先收窄格式要求,把「输出 JSON,字段固定这三个」这类约束写死,而不是急着往里塞更多材料。
  3. 材料超过一两屏再动结构材料短的时候,堆结构是浪费。真超过一两屏了,先分块、给每块打标题、把无关段落删掉,再看还剩多少要塞。删掉的东西往往比加进去的更有用——很多上下文问题其实是没人清理旧材料。
  4. 估算用量再决定加多少同一任务里材料多塞一倍,token 就多花一份,这是实打实的钱。去站内的成本计算器按当时的单价算一遍,把「多塞这些材料换来多少稳定性」和「多花多少」摆在一起看。算完经常发现,加料不如把格式要求写死。
  5. 跑不通再考虑换模型或换接入前三步都试过还跑不通,再动模型和接入方式。换模型不是第一反应,是最后一张牌。换之前想清楚:是任务本身要更强的推理,还是只是接入层超时、限流、返回被截断?后者换模型解决不了。
先做什么花的是什么什么情况下不适用
改 prompt 基线几乎不花钱,只花改的时间任务本身需要外部事实,prompt 写得再好也变不出来
固定格式要求少量 token输出要自由创作、格式约束会伤内容时,别硬收
清理和分块上下文少量 token 和时间材料本身就短,分了反而增加噪声
加材料 / 扩窗口按量计费,长期成本加进去的材料和任务无关,只会稀释重点
换模型或换接入单价和迁移成本都更高问题出在输入或格式上,换什么都没用

这五步不是必须全走完。多数任务在第二步或第三步就解决了,根本走不到换模型。真走到第五步,也建议先把前四步的改动留成记录,否则换了模型出问题,你分不清是模型的锅还是自己改坏的。基线那份 prompt 别删,它是你回滚的唯一依据。

常见问题

prompt 写得好,是不是就不需要给上下文了?

不成立。prompt 决定模型怎么组织回答,不提供它不知道的事实。凡涉及你公司内部资料、最新数据、私有文档,prompt 写得再漂亮也只能让它编得更像真的。

上下文塞得越多,效果一定越好吗?

不一定。材料里混进无关段落会稀释重点,还会挤压窗口里其他内容的位置。先做筛选和分块,比单纯加量更划算;至于具体能塞多少,去上下文长度相关页面看当时的数字。

预算有限,先投哪边?

先投 prompt,因为它只花时间不花 token。改完还不行,再按任务是否需要外部事实决定补什么材料。想把两边花费放在一起对比,可以到站内的成本计算器按当时的单价算一遍。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。