搜「prompt和上下文有什么哪个好」的人,通常已经卡在某个具体动作上:要么是改了半天提示词,输出还是不对;要么是塞了一大堆资料,模型反而抓不住重点。这两件事花的钱和精力不一样,改错方向就是白忙。下面按「你要的是改口还是补料」给一套判断顺序,最后附一份动手前的检查清单。
先把这两件事分开:一个管说法,一个管材料
先把两件事拆开看。prompt 是你这次怎么开口:任务是什么、输出成什么格式、用什么语气、哪些话不能说。上下文是你往这一轮里塞了哪些材料:聊天记录、文档、检索出来的片段、上一轮的结论。一个管说法,一个管材料。混在一起谈,就容易变成「都不满意,全改一遍」,白花力气。
| prompt | 上下文 | |
|---|---|---|
| 管什么 | 这次怎么交代任务、格式、语气、禁区 | 这轮能看到哪些材料 |
| 改动成本 | 几乎不花钱,只花你几分钟重写 | 按 token 计费,还占窗口容量 |
| 改错的后果 | 顶多这轮答偏,重写一句再来 | 塞多了挤掉重点,塞错了把模型带偏 |
| 典型症状 | 格式乱、太长太短、语气不对、答非所问 | 格式没问题、答得也顺,但不懂你家业务 |
看症状比看概念管用。输出格式乱七八糟、该列清单却写成大段散文、说好了不要客套还在那儿寒暄,这基本是 prompt 没交代清楚,跟材料多少没关系。反过来,格式规矩、句子也通顺,就是不知道你们内部怎么叫这个产品、不清楚这条流程卡在哪一步,那多半是上下文没给够。先认症状,再决定动哪边。
- 格式乱、结构散:先改 prompt,把输出形状写死,比如「三列表格,每列不超过十个字」
- 答得对但飘:检查是不是上下文里没有业务名词和内部约定
- 同一段材料反复解释还反复问:材料没放进去,或者放进去被截断了
- 回答突然变短变糙:上下文塞太满,把关键指令挤到后面去了
- 两个症状都有:别一起改,先修 prompt,再补材料
顺序上有个实用原则:先修便宜的。改 prompt 一分钟的事,补上下文往往要重新翻文档、摘段落、整理成模型能吃的形状,可能半小时起步。所以先花一分钟把说法修对,看输出有没有起色;还是不懂业务,再去补材料。反着来很常见:一上来就狂贴文档,结果格式照样乱,因为压根没人告诉它要输出成什么样。
三个问题定方向,别一上来就换模型
别急着打开模型下拉框换一个「更聪明」的。先花二十分钟做三个小测试,方向基本就出来了。这三个问题的顺序别调,因为第二问最容易被跳过,而它恰恰是最能省时间的那个。
| 问题 | 怎么测 | 结果指向 |
|---|---|---|
| 同一段材料,两种写法差别大不大 | 材料不变,prompt 写两版:一版把要求写死(给谁看、多长、不能出现什么),一版只写一句「帮我处理一下」。两版各跑两三次,横向比 | 差别明显 → 先修 prompt,别动材料 |
| prompt 固定,只换材料 | 同一版 prompt 一个字不改,先喂一份粗糙材料,再喂一份补全了背景、术语、边界的材料 | 输出明显变好 → 瓶颈在上下文,补料优先 |
| 这活儿需不需要外部事实 | 问自己:答案里的关键信息,模型靠训练记忆能不能可靠给出?比如内部流程、当期政策、自家产品参数 | 需要却只靠记忆 → 补料比改口管用 |
- 先做第一问:两版 prompt 对撞材料原封不动,只改指令。两版输出并排放,看差在结构、口径还是漏项。差得多说明指令没交代清楚,这时候换模型是浪费钱。差得少,说明指令已经够用,往下走。
- 再做第二问:锁死 prompt 换材料这一问最容易被跳过。prompt 一个字不改,先给薄材料,再给厚材料——补上背景、术语解释、几条硬约束。如果厚材料那版明显更准更贴,问题从来不在措辞上,你缺的是料。
- 最后做第三问:判断事实来源任务里但凡涉及具体数字、内部规定、时效性信息,就别指望模型记忆。这类内容必须由你喂进去,或者在站内资料库核对后再用。判断标准很简单:答错了会不会有人被误导。
常见的误判是把第二问的失败当成第一问的问题。有人对着 prompt 反复改措辞,加「请严格」「务必」「一步一步想」,改了七八版,输出还是偏——因为输入材料里压根没写清楚业务背景,模型只能猜。这种时候再怎么打磨措辞都是原地打转。
哪些情况下这套判断不成立
前面那套「改口还是补料」的判断,大体上能覆盖多数日常场景。但它有边界,有些情况你硬套,反而会绕远路。这一节就把四种不成立的情形挑出来讲清楚,遇到了别犹豫,直接换做法。
| 情形 | 为什么原判断失效 | 该换的做法 |
|---|---|---|
| 任务极短,一问就结束 | 上下文里几乎没有可补的东西,补了也是噪音 | 只调 prompt,把要求写清楚就收工 |
| 材料本身脏或互相打架 | 补得越多,矛盾越多,模型更晕 | 先清洗、对齐口径,再决定走哪条路 |
| 窗口装不下你的材料 | 继续加料会把前面的内容挤出去,反而丢信息 | 拆任务、分批喂,或改成检索式取用 |
| 模型不支持你要的输出结构 | 这是能力边界,措辞改不动底层 | 降级输出要求,或换能结构化的调用方式 |
先说短任务。翻译一句话、改个标题、把一个词换成更口语的说法,这类活儿上下文几乎没得补——你总不能为了翻一句话先塞三千字背景。这时候折腾上下文是白费劲,把 prompt 里的约束写准就够了:给谁看、什么语气、哪些词不能出现。做完就完,别自我加戏。
再说材料质量。这是最容易被忽略的一种误判:有人发现模型答得不对,第一反应是「上下文不够」,于是拼命补料。可如果补进去的资料本身就前后矛盾、口径不一、缺关键字段,补得越多模型越晕。这种情况先别谈选哪条路,回头把资料洗干净、把冲突的地方定一个准,再来看是改口还是补料。
窗口装不下,也是个硬约束。你以为在加料,实际是在挤掉前面的内容,模型看到的反而更少。这时候继续堆是负收益,得换思路:把任务拆成几段分别做,或者改成检索——需要哪段取哪段,而不是一次性全塞进去。判断信号很直接:你发现关键信息开始「消失」而不是「变多」,就该停手了。
- 任务一句话能说完,就别补上下文,只抠 prompt 的约束条件
- 材料有冲突或缺失,先清洗对齐,再谈改口还是补料
- 加料后关键信息反而丢了,说明窗口吃紧,改拆任务或检索
- 模型压根不支持某种输出结构,改 prompt 只能缓解,别指望根治
- 遇到这四种情形,先停一下问自己:我是在解决真问题,还是在自我安慰
动手前的清单:按这个顺序花那笔钱
这笔钱该花在 prompt 上还是花在上下文上,不用先吵,先按顺序花。顺序错了的代价是:本来一句话能改好的事,你先去扩上下文窗口、换更贵的模型,钱花了问题还在。下面这五步是我想让同事照着走的排查顺序,越靠前越便宜,越靠后越贵。
- 抄一份基线把现在的 prompt 原样复制出来单独存一份,别在线上直接改。开头三句话写清:给谁看、要多长、不能出现什么。比如「给不懂技术的客户看,控制在几段以内,不要出现内部代号」。这是整条链上最便宜的一刀,改完先别动上下文。
- 同一批输入跑三到五次拿真实输入跑三到五次,别只跑一次就下结论。看输出稳不稳:格式会不会飘、长度会不会差一倍、该有的字段会不会漏。不稳的时候先收窄格式要求,把「输出 JSON,字段固定这三个」这类约束写死,而不是急着往里塞更多材料。
- 材料超过一两屏再动结构材料短的时候,堆结构是浪费。真超过一两屏了,先分块、给每块打标题、把无关段落删掉,再看还剩多少要塞。删掉的东西往往比加进去的更有用——很多上下文问题其实是没人清理旧材料。
- 估算用量再决定加多少同一任务里材料多塞一倍,token 就多花一份,这是实打实的钱。去站内的成本计算器按当时的单价算一遍,把「多塞这些材料换来多少稳定性」和「多花多少」摆在一起看。算完经常发现,加料不如把格式要求写死。
- 跑不通再考虑换模型或换接入前三步都试过还跑不通,再动模型和接入方式。换模型不是第一反应,是最后一张牌。换之前想清楚:是任务本身要更强的推理,还是只是接入层超时、限流、返回被截断?后者换模型解决不了。
| 先做什么 | 花的是什么 | 什么情况下不适用 |
|---|---|---|
| 改 prompt 基线 | 几乎不花钱,只花改的时间 | 任务本身需要外部事实,prompt 写得再好也变不出来 |
| 固定格式要求 | 少量 token | 输出要自由创作、格式约束会伤内容时,别硬收 |
| 清理和分块上下文 | 少量 token 和时间 | 材料本身就短,分了反而增加噪声 |
| 加材料 / 扩窗口 | 按量计费,长期成本 | 加进去的材料和任务无关,只会稀释重点 |
| 换模型或换接入 | 单价和迁移成本都更高 | 问题出在输入或格式上,换什么都没用 |
这五步不是必须全走完。多数任务在第二步或第三步就解决了,根本走不到换模型。真走到第五步,也建议先把前四步的改动留成记录,否则换了模型出问题,你分不清是模型的锅还是自己改坏的。基线那份 prompt 别删,它是你回滚的唯一依据。
常见问题
prompt 写得好,是不是就不需要给上下文了?
不成立。prompt 决定模型怎么组织回答,不提供它不知道的事实。凡涉及你公司内部资料、最新数据、私有文档,prompt 写得再漂亮也只能让它编得更像真的。
上下文塞得越多,效果一定越好吗?
不一定。材料里混进无关段落会稀释重点,还会挤压窗口里其他内容的位置。先做筛选和分块,比单纯加量更划算;至于具体能塞多少,去上下文长度相关页面看当时的数字。
预算有限,先投哪边?
先投 prompt,因为它只花时间不花 token。改完还不行,再按任务是否需要外部事实决定补什么材料。想把两边花费放在一起对比,可以到站内的成本计算器按当时的单价算一遍。