模型上下文限制怎么设置

入门与上手

讲清调用接口时上下文长度上限该怎么设:先量再算后留余量,给出一套可照做的设置与排查顺序

写接口时把 max_tokens 或上下文上限随手填一个大数,结果要么报超限,要么账单比预期高,要么模型把前面的话忘光——这类问题基本都是设置方式不对,不是模型不行。这篇只讲一件事:调用时上下文上限怎么定、怎么留余量、超了按什么顺序排查。数字口径请以站内页面当时的数据为准。

写接口的时候把 max_tokens 或者上下文上限随手填一个大数,是很常见的偷懒做法。后果一般有三种:请求直接报超限、账单比预期高一截、或者模型聊到一半把前面说的话忘干净了。这三个现象看着像模型不行,其实绝大多数是设置方式的问题。

这篇只讲一件事:调用接口时上下文上限该怎么定、余量留多少、超了按什么顺序排查。所有具体数字口径,比如某个模型的上限到底是多少、单价怎么算,都以站内页面当时的数据为准,别照着记忆里的旧值填。

先分清你设的到底是哪个值

很多人吃亏就吃在把三个不同的量当成一个。上下文上限、单次输出上限、实际可用的输入长度,是三个独立的东西,填错字段位置,后面怎么调都别扭。尤其是上下文上限,它是输入加输出一起算的,不是你塞了多少字提示词,就还能要回同样多的字回答。

上下文上限
这一轮请求里输入加输出的总量天花板,超过就报错
单次输出上限
只约束模型这次生成多少,不约束你塞进去多少
可用输入长度
上下文上限减掉你准备留给输出的那部分,才是你真正能塞进去的量

还有个容易忽略的点:同一个模型名,在不同厂商、不同中转渠道下的上限口径可能不一样。动手之前先到 /models 和 /official-api 对照当时的说明,确认你手上这条链路按哪套算,别拿 A 家的数字去填 B 家的参数。

动手量三个数,再决定留多少余量

设置之前先量,不要凭感觉。凭字数估算是最容易翻车的做法,中文、英文、代码、带图片占位的请求,token 折算比例差得很远。用一段你自己的真实业务文本跑一次,看它实际消耗多少 token,这个数才是你的起点。

  1. 量基准输入拿一段真实业务里的提示词加一轮问题,跑一次看 token 消耗。换算思路参考 token-count-estimation 那篇,也可以直接用 /tools 里的换算工具对一下。
  2. 切输出预算先想清楚你希望模型答多长,从上限里把这块切出来留给输出。切少了模型话没说完就被截断,切多了输入预算就紧张。
  3. 估多轮膨胀多轮对话每一轮都要把历史重发一遍,第三轮之后的输入量往往是最初的几倍。先到 /tools/speed-test 摸一遍延迟基线,再决定单次塞多少历史进去。

三个数都量完之后,余量的判断标准就清楚了:你算出来刚好能塞满,那就说明没有余量,实际跑起来大概率在边缘抖。判断标准是留出一档保守值,让正常请求离上限有明显距离,而不是贴着天花板走。

要量什么怎么量量完用来干什么
真实输入的 token 量拿业务文本跑一次,或用 /tools 里的换算工具定输入预算的起点
希望的回答长度按业务要求估,别按最大值估从上限里切出输出预算
多轮后的历史膨胀倍数模拟第三轮、第五轮的完整请求决定历史要截断还是摘要
渠道延迟基线到 /tools/speed-test 跑一遍决定单次塞多少历史更稳

按这个顺序设置,出错概率最低

顺序反了是最常见的坑。很多人先填总上限,再想着从里面抠输出,抠着抠着就发现放不下。正确顺序是先定输出,再倒推输入,最后才落总上限,这样每一步都有明确的约束对象。

  • 先定单次输出上限,这是最不该省的一步,它决定模型能答多完整
  • 再用总上限减掉输出上限,倒推出你这轮能塞多少输入
  • 把系统提示、历史对话、当前问题分开算,分别限长,别混在一起算一个总量
  • 历史部分优先做截断或摘要,而不是硬删中间那几轮,长任务里中间信息往往才是关键
  • 算出来刚好塞满的话,再降一档,避免不同 tokenizer 之间的误差把请求顶出边界
  • 参数改完拿边界样本试:一段刚好超限的输入、一段刚好不超的输入,确认报错和成功都符合预期

超了以后按这个顺序排查

报超限的时候不要第一反应就去换模型。先把原因定位清楚,顺序错了会白折腾半天。判断标准很简单:先分清是纯输入就超了,还是输入加输出一起超了,这两种的处理方式完全不一样。

  1. 分清超的是哪一段把输出上限临时压到很小再试一次。如果这样就过了,说明是输入加输出一起超;如果照样报错,说明纯输入就已经越界。
  2. 查历史累积多轮场景先砍历史再试。能过就说明是历史膨胀导致的,回去做截断或摘要,而不是继续调大上限。
  3. 换口径再试还不行就换渠道或换模型接入口。同一个模型在不同接入口径下限制不一样,这是很常见的原因,可到 /sites 和 /rankings 比对当时的可用情况。
  4. 看报错本身状态码和报错文本层面的含义,对着 api-errors 那篇互链看,这篇不重复讲。

几种常见的错设,别踩

下面这几种做法在代码里很常见,短期看不出问题,量一上来就集中爆雷。判断标准是:只要你的设置让请求贴着上限走,或者让上下文的质量随轮次下降,就说明设错了。

  • 不要把上限直接顶格填最大值,多数业务场景根本用不到,还可能把单价和延迟一起拉高
  • 不要用固定字数替代 token 估算,中英文、代码、图片占位的折算差异很大
  • 不要为了省事把历史整体丢掉,长任务里丢历史等于丢上下文,该摘要就摘要
  • 不要在多轮场景里只调总上限、不动截断策略,上限再大也会被历史吃满

还有一点要说清楚:这套做法不适用于需要长期记忆的业务。那种场景靠的是外部存储或者检索,把该记的东西放到库里去取,不是靠把上限调大来解决。上下文上限解决的是单次请求装得下多少,解决不了跨会话记不记得住。

下一步先到 /models 确认你手上这个模型和渠道当时的上下文口径,再拿着自己的业务文本量一遍实际 token,数字对上了再改参数,比盲调快得多。

常见问题

上下文上限是不是填得越大越好?

不是。填大了通常更贵也更慢,而且超出实际需要的那部分根本不会被用到。合适做法是先量你真实输入的量级,再按输入加输出加余量的方式定值。具体单价和额度口径请到 /official-api 与 /tools/token-price-calculator 看当时的数字。

为什么我提示词没超,接口还是报上下文超限?

多半是把输出预算漏算了。上限一般是输入加输出一起算,你留了很长的回答空间,输入能用的部分就被压缩了。先把输出上限调小再试,能过就说明是这个问题。另外多轮对话里历史会被重复计入,容易越聊越挤。

多轮对话怎么设置才不容易爆?

把历史做分层:最近几轮原文保留,更早的做摘要或只留关键结论,再给整体留一档余量。每轮都按当前实际内容重新估算,而不是沿用第一次的值。真的需要跨很长会话的记忆,建议走外部知识库那条路,而不是一直加长上下文。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。