很多人第一次遇到「它怎么忘了我刚才说的话」,都以为是模型变笨了,其实多半是上下文窗口装满了。这篇不堆术语,只讲清三件事:窗口到底装的是什么、满了以后会怎么表现、你自己能怎么确认。看完你再去翻模型资料,就知道该看哪一栏。
很多人第一次遇到「它怎么忘了我刚才说的话」,第一反应是模型变笨了。实际情况往往更无聊:上下文窗口装满了,前面那些内容被挤出去了。这篇不堆术语,只讲清三件事——窗口里到底装的是什么,满了以后会怎么表现,以及你自己能怎么确认。
弄明白这个机制之后,你再去看各家模型的资料页,就知道该盯哪一栏规格,而不是被一堆数字晃花眼。下面的判断标准和排查顺序都可以直接拿去用。
一句话:它是一次对话里模型能同时「看见」的内容总量
把上下文窗口想成一张桌面。你发的消息、它回的答案、你贴进去的文档和代码,全都摊在这张桌上。桌面上放不下的部分,模型根本看不到,也谈不上理解或记住。它不是存在脑子里的长期记忆,而是一次性摆出来的工作面。
- token
- 模型切分文本的最小单位,不是字数,中文、英文、代码的切法都不一样
- 上下文窗口
- 一次请求里模型能同时读取的 token 总量上限
- 「重新读一遍」
- 每次你发新消息,整张桌子连同新内容一起重新递进去,所以不是记住,是重读
桌面的计量单位是 token 而不是字数。同一段中文和同一段英文,折算出来的 token 数可能差不少,代码和图片又是另一套算法。具体怎么折算,可以去 /ai-dict/category/basics 对照词条,或者拿 /tools 里的换算工具手算一遍,比凭感觉估要靠谱。
- 窗口是「一次能看多少」,不是「一共能记多少」,两者很容易混
- 窗口大小是模型规格的一部分,不同模型口径不一样,别用同一个标准套
- 你贴的长文档会实实在在地占据桌面空间,不是后台悄悄存着
窗口满了以后,典型表现长什么样
窗口满了,各平台的处理方式不太一样,但表现出来就那么几类。认得出这些症状,排查方向基本就定了,不至于一上来就怀疑密钥或余额。
| 表现 | 背后发生了什么 | 容易误判成什么 |
|---|---|---|
| 回答风格突然变了 | 开头的格式、角色、约束被挤出去 | 模型今天状态不好 |
| 直接报错提示超长 | 请求本身被平台拦下 | 密钥失效或余额不足 |
| 越聊越重复、越聊越偏 | 早期细节被截掉,它开始自己补 | 模型变笨了 |
| 把纠正过的错误又犯一遍 | 纠正那轮的内容已经被挤出窗口 | 它不听话 |
还有一类表现是「先对后错」。同一轮对话里,前几个问题答得挺准,聊到后面开始跑偏,这种时间轴上的退化比单次答错更能指向窗口问题。
怎么确认自己是不是撞到窗口了
- 看长度刻度多数客户端会在输入框附近显示本次已用比例,走 API 或中转账的话,就看请求返回里的用量字段。有刻度就先看刻度,比猜快得多。
- 做一次摘要对照把同一段长材料换成压缩过的要点版本重发。如果回答质量明显回升,基本可以确认是窗口占满导致的,而不是模型能力问题。
- 看退化趋势重点观察是不是「开始时对、越往后越偏」。单次答错可能是偶然,整段对话随着轮次增加持续退化,指向性就强很多。
- 换模型验证换个模型再试一次。症状消失,多半是不同模型窗口口径不同,去 /models 看当时那几栏规格说明,以页面上的数字为准,别凭印象猜。
这套顺序的意义在于先排除、再定位。前三步都不需要看任何规格参数,做完基本就能判断方向,最后一步才是去查具体数字。
日常能用的几个应对动作
确认是窗口问题之后,能做的事情其实不多,但都挺有效。核心思路只有一个:把有限的空间留给真正需要它推理的部分。
- 长材料先摘再喂:把文档压成要点清单再贴,省下的空间留给推理
- 关键约束放在消息靠后的位置,新内容靠后进入,被挤掉的概率低一些
- 一件事一个会话,做完一个主题就新开一段,别让上一件事占着位子
- 固定流程的场景考虑用检索或工具调用,把资料放在窗口外按需取,方向可以先看 /ai-dict/category/tech
- 需要跨轮连续推理的任务,别硬清会话,清了反而丢上下文让结果更差
什么情况下上面的做法不适用?一种是任务本身就依赖长程连续性,比如逐步调试一段复杂逻辑,这时候清会话或摘要化都可能让结果变差,更合理的做法是换一个窗口规格更宽裕的方案。另一种是你已经确认问题出在提示词写法而不是长度,那再砍内容也没用,得从提问结构上改。
另外,判断要不要换方案之前,先到 /price-watch 核对当时的实际成本和规格变化,别拿几个月前的印象做决策。窗口规格和价格都会调整,页面上的数字才算数。
下一步把这次确认窗口问题用到的判断顺序记下来,下次遇到类似症状直接套用。想看不同模型在窗口规格和成本上的差别,去 /models 按当时的规格栏逐项对照。→常见问题
上下文窗口和上下文长度是同一个东西吗
基本是同一个概念,只是说法不同。「窗口」偏重容量这个比喻,「长度」偏重可以量化的那个数值。你在各家模型的规格页上看到的一般是长度说法,在客户端里看到的进度条则是窗口用量。想知道各家的具体取值和口径差异,去 /models 按当时页面核对,不要按记忆里的数字下判断。
窗口越大是不是就一定越好用
不一定。窗口大意味着能一次塞更多材料,但同时也会带来几个副作用:单次请求变贵、响应变慢、中间内容容易被忽略。所以更稳的做法是按任务挑,短任务用短窗口模型反而更利索。真要处理长文档,先确认你的任务是不是必须一次性读完全文,很多场景分段处理效果更好也便宜。
为什么我贴了一份长文档,它只回答了其中一小段
常见原因是文档已经超过窗口,被截掉的部分它根本没读到;另一个原因是文档太长导致注意力分散,它抓了开头一句就作答。可以先把文档拆成几段分别提问,再让它汇总;或者直接问它「文档一共几节」,用这个回答反推它实际读到了多少内容,很快就能判断是截断还是漏读。