很多人第一次看到模型介绍里的「128k 上下文」「256k 上下文」是懵的:这串数字跟我打字有什么关系?我发给它的那篇长报告塞得进去吗?聊久了它开始忘事是不是因为这个?这篇不重复 Token 和计费的全貌,只把上下文窗口这一件事掰开:它是什么、长度怎么换算成中文字数、什么情况下够用、什么情况下会撑爆,以及撑爆前你能做哪些动作。
很多人第一次看到模型介绍里的「128k 上下文」「256k 上下文」是懵的:这串数字跟我打字有什么关系?我发给它的那篇长报告塞得进去吗?聊久了它开始忘事是不是因为这个?这篇不重复 Token 和计费的全貌,只把上下文窗口这一件事掰开:它是什么、长度怎么换算成中文字数、什么情况下够用、什么情况下会撑爆,以及撑爆前你能做哪些动作。
先给个直观感受:上下文窗口不是「额度」,更像一张一次性的桌子。你这轮要问的东西,全都得摊在这张桌子上。桌子多大,决定了你能一次性摊开多少材料。桌子换不了,但你可以决定摊什么、怎么摊。
上下文窗口到底指什么
把它理解成一次对话里模型能同时「看见」的全部内容:系统提示、历史消息、你这次的提问、附带的文档,全算在一起。它是单次上限,不是累计额度——上一轮聊过的内容只要还留在会话里,就一直占着位置。窗口是输入侧的容量概念,跟模型能输出多长是两码事,输出上限通常单独限制。
- 系统提示
- 平台或你自己塞进去的固定指令,每轮都在占用窗口
- 历史消息
- 之前每一轮的问答,只要没被清理就一直在桌上
- 待处理材料
- 这次要它读的文档、代码、表格,最占地方的部分
- 输出预留
- 模型写完答案要占的位置,写长答案时得提前留出来
128k、256k 换成中文大概多少字
先记住一条粗糙比例:中文大约一个字占一个多 Token,英文一个单词大概一到两个 Token,数字和代码符号更费。所以标称长度先除以一到一点五,才是比较保守的中文字数估计,别按一比一硬算。换算出来的只是「塞得进」的上限,实际还要扣掉系统提示、历史对话和输出预留,能留给正文的更少。
| 标称口径 | 中文保守估计 | 说明 |
|---|---|---|
| 较小窗口 | 数万字以内 | 适合单篇短文档、日常问答 |
| 中等窗口 | 十万字上下 | 能放一份中等长度的报告加少量历史 |
| 较大窗口 | 数十万字 | 多份长材料或长会议记录,但仍要留余量 |
| 超大窗口 | 看平台实际口径 | 很可能是裁剪或分片实现,别按标称硬推 |
真要精确到你的那篇文档,用站内换算工具跑一遍,比背比例靠谱;各家 Token 口径的差异到 /ai-dict/category/basics 对照。换算完再拿实际文档试一次,比任何估算都准。
窗口长度主要影响什么
影响能一次处理的材料体量:长报告、合同、代码仓库、多轮会议记录,短窗口就得分批喂。影响长对话的稳定性:窗口越挤,早期内容越容易被挤出或被压缩,表现为「聊到一半开始忘事」。影响成本与延迟:窗口用得越满,单次请求消耗越大、首字响应越慢,这两项到 /usage 和 /tools/speed-test 看当时的实测。
- 材料体量:够不够一次读完,决定你要不要分批
- 对话稳定性:聊久了还记得前面说过什么吗
- 响应速度:材料越满,首字出来得越慢
- 花费:窗口越满,单次请求消耗越大
- 输出空间:输入占太多,答案能写多长就被压缩
什么情况下不适用:任务本身很短、每轮都是独立提问时,大窗口对你几乎没有收益,纯属多花钱。反过来,如果你的场景是「一次性丢一份长合同、问几个具体条款」,那窗口大小就是决定性的。
上手前怎么确认够不够用
别等到跑了才发现塞不下。下面这套顺序,五分钟能过一遍,能省掉后面反复重试的麻烦。
- 估材料量把材料按类型估个量:纯文字按字数,PDF 加个折扣,表格和代码按更费的口径再上浮。
- 查候选规格从模型库里挑候选,看官方规格页标的上下文长度,再到 /rankings 看看有没有实测口径不一致的反馈。
- 做压力测试把最长的那份材料原样丢进去,问一个只有中段才有的细节,答不出来说明实际不够。
- 留余量给自己留出三成余量,别贴着上限用,多轮对话和输出都要占位置。
窗口不够时的几个动作
确认不够用之后,按代价从低到高排,能不动模型就不动。优先压缩输入:删掉无关章节、把长表格改成摘要、固定提示词写短一点。其次是分段处理:先让模型分块总结,再把几段摘要合并,比硬塞整篇更稳。
| 动作 | 适用情况 | 代价 |
|---|---|---|
| 压缩输入 | 材料里有大量无关内容 | 低,但需要人工判断 |
| 分段总结 | 材料本身就很长且结构清晰 | 中,多几轮调用 |
| 换更大窗口 | 内容都得保留且不能拆 | 高,单价通常更高 |
| 换通道或平台 | 实际窗口被裁剪 | 看具体站点的实际能力说明 |
再不行才换模型或换路线,选窗口更大的规格,代价通常是单价更高,具体数字去 /official-api 和 /inference 核对。万一是平台裁剪导致的窗口变小,到 /tools/verify 和中转站目录看该站的实际能力说明,再决定要不要换通道。
下一步想知道你手上这个模型实际能塞多少、哪条线路的窗口没被砍,把候选模型和通道对着站内实测数据核一遍,比看标称值靠谱。→常见问题
上下文窗口和上下文长度是一回事吗
日常混着说没问题,严格讲窗口偏容量上限,长度偏当前占用的量。选模型时你关心的是窗口上限,排查忘事时你关心的是这轮到底占了多少。
128k 上下文能放下一本小说吗
一本普通长篇大多超出了,换算成中文字数要打折扣,再扣掉系统提示和输出预留,能塞的正文更少。真要做全书问答,先分章总结再逐层合并会更实际。
窗口开得越大是不是越好
不是。窗口越大单价通常越高,多数任务用不上;而且塞得越满,模型对中段内容的注意力越容易稀释。够用加三成余量就够了。