你贴了一段长文档或聊了很久,接口突然返回「上下文长度已超过最大限制」,网页端则提示对话太长。这篇不讲上下文是什么,只讲卡住之后怎么一步步定位、怎么把请求救回来,以及哪些做法只是临时止血。
你正贴一段长文档,或者在一个会话里聊了几十轮,接口忽然返回「上下文长度已超过最大限制」,网页端则提示对话太长。这篇不解释上下文是什么,只讲卡住之后怎么定位、怎么把这次的请求救回来,以及哪些做法只是临时止血。
核心思路只有一句话:先判断是哪一类超限,再按从省事到费事的顺序逐项减输入或换路。顺序反了会很折腾,比如一上来就换更大的模型,结果发现只是历史对话没清。
先分清是哪种超限
同样是这条报错,背后至少三种情形,处理动作完全不同。先分类再动手,比直接砍内容省时间。看报错里有没有给出「请求多少 token、上限多少」两个数字,有就做减法算差额;没有就先用站内工具本地估一遍,别凭感觉猜。
| 超限情形 | 典型症状 | 优先动作 |
|---|---|---|
| 单次输入本身超了 | 新开一个会话、只发这一段,照样报错 | 切块或摘要这条输入 |
| 输入加历史累积超了 | 新问题不长,但会话聊了很久 | 清空历史或新开会话 |
| 输入加预期输出超了 | 输入刚好踩线,调低输出上限就好了 | 先调小最大输出参数 |
网页端提示「对话太长」的,绝大多数是第二种:历史累积,不是你这次问得太长。所以别急着重写提问,先换个新会话验证一下。这一条判断错了,后面所有排查都是白费劲。
五步排查顺序,从最省事的开始
下面这个顺序是按操作成本排的,从头往下走,哪一步不报了就在那一步停下。别跳步,尤其别一上来就换模型,那是最贵的一步。
- 清历史新开会话或清空上下文,只发当前这一段内容。还报错,说明是单次输入超了;不报错,问题在历史。
- 切长材料把材料切成几块,一次只喂一块。表格、代码块、PDF 直接复制出来的文本最容易撑爆,优先怀疑这几段。
- 压输出预留把最大输出长度参数调小再试。很多超限是输入刚好踩线、再给输出留出一大截共同造成的。
- 删冗余提示去掉重复的格式说明、复述过的要求、没用的示例,只留必要部分,再发一次。
- 换更大上下文上面四步都不行才走这条:换上下文更大的模型或渠道。成本和迁移麻烦都最高,放最后。
把输入压下去的几个实用手法
如果确认是单次输入太长,真正要做的是减法。下面这几招按效果从大到小排,日常够用。原则是:能只拿要点做二次提问,就不要整篇塞进去。
- 先摘要再提问:让模型分段读、逐段给要点,最后只拿要点做第二次提问,别把原文再喂一遍
- 结构化代替自然语言:列表、字段名、短句,比一段带重复描述的话省很多位置
- 文件格式两种都试:PDF 走文本抽取有时更省,但扫描件和复杂排版抽取后可能出现大量无用字符,反而膨胀
- 固定说明做成模板:长期在跑的项目,把系统提示、项目背景写成模板复用,每次别重贴
这些手法都有不适用的地方:摘要会丢细节,需要逐字核对原文的任务(合同条款、报错原文比对)就别先摘要,改成只切相关的几段送进去。结构化也一样,需要模型理解行文语气的写作类任务,硬压成列表反而效果差。
什么时候该换模型或换思路
换路不是万能药。判断标准很简单:任务本质是「一次性读完一份超长材料再回答」,而不是多轮对话,那长上下文模型才值得花钱;只是偶尔撞一次线,压缩输入便宜得多。
换渠道时有个坑要注意:同一个模型名,在不同厂商或中转渠道给的上下文上限可能并不一致,接口文档写的和实际生效的也可能有差别。接入前到 /models 与 /official-api 核对当时的规格,别拿一个渠道的经验套另一个渠道。
还有一种思路是外挂检索:把长材料放进检索库,每次只取相关片段。它能绕开超限,但改变的是整个工作方式,等于换了一套流程,不是把这条报错消掉。团队小、任务轻的场景,不值得为偶尔一次超限上这套东西。
下次别再撞上:日常习惯清单
超限这事,大部分是习惯问题。把下面几条当成日常检查项,撞线的次数会明显下来。尤其最后一条,记几次自己的请求长度,比看任何教程都管用。
- 长任务开新会话,别在一个会话里滚几十轮才想起来
- 调用前用站内换算工具估一遍 token,给输出留出余量
- 把「最大输出」和「上下文上限」当两个独立参数分别设置,别只盯一个
- 换模型或换渠道前,先看一眼该渠道标的上下文上限
- 把每次超限的请求长度记下来,攒出自己的红线经验
这套习惯也有边界:如果团队里多人共用同一套调用配置,个人习惯管不住,得在调用层统一做长度检查,超了就拒绝或自动切块,而不是靠谁记得清历史。
需要核对某个模型或渠道当前标的上下文上限、价格和接入规格时,去 /models 与 /official-api 看当时的数字,不要用记忆里的旧数据做判断。
下一步想先确认是不是渠道规格和你以为的不一样,到模型资料库核对当前上下文上限,再决定压缩输入还是换路。→常见问题
上下文超限是不是说明模型太差?
多数情况不是。超限是硬性容量问题,跟你问得好不好没关系。同一句话换更长的会话历史发出去就可能爆,换成新会话立刻正常,这属于用法问题而不是模型能力问题。
把长文档分段发,模型还能记住前面的内容吗?
能记住的是你显式放回当前请求里的部分,分开发送后前面那段默认不在了。要么每段都让模型产出摘要你再拼起来,要么把摘要当成新的输入带上,否则它会断片。
换一个上下文更大的模型就一劳永逸了吗?
不一定。上限变大,单次请求的费用和延迟也跟着涨,而且超长输入里靠后的信息未必被稳定利用。先按任务性质判断要不要那么长,再决定换不换,规格到 /models 查当时的数字。