挑模型时看到各家都标上下文长度,数字大小差一截,但真用起来有的塞不满、有的记不住、有的账单突然涨。这篇不堆数字,只讲清楚比哪些维度、去哪查当时的规格、怎么用小样本自测,以及什么情况下长上下文其实帮不上忙。
挑模型时看到各家都标上下文长度,数字大小差一截,但真用起来有的塞不满、有的记不住、有的账单突然涨。问题多半不在数字本身,而在于你比的是哪一层:标称上限、可用上限、计费口径、还是同档位下的实际表现。这四个说的往往不是一回事。
这篇不堆数字,只讲清楚比哪些维度、去哪查当时的规格、怎么用自己的一篇长文档做小样本自测,以及什么情况下长上下文其实帮不上忙。所有具体数值、价格、版本都以站内页面当时的显示为准,别记在脑子里。
比上下文长度,先对齐这 4 个维度
直接按厂商宣传的那个大数字排序,基本会踩坑。先把比较口径统一到下面四个维度上,再去看谁长谁短,结论才站得住。
- 标称上限与可用上限
- 输入与输出常常共享一个总额度,输出预留会吃掉输入空间,标称值不等于你能塞进去的正文量。
- 截断与流式、缓存
- 能不能中途截断、是否支持流式输出、是否对重复前缀计费更便宜,直接决定长文档场景的手感。
- 计费口径
- 分清按输入、按输出还是按缓存命中计费,长上下文最容易在输入侧悄悄烧钱。
- 档位区分
- 同一家不同套餐或接口版本给的额度可能不同,别拿 A 家的高档位去比 B 家的低档位。
- 先确认这个额度是单指输入,还是输入加输出共享;共享的话要减掉你给输出留的余量。
- 再看超长输入时是否分档计费,很多计费规则在某条长度线之后单价会变。
- 确认是否支持前缀缓存,同一份长文档反复提问时,这一项对花费影响很大。
- 问清楚截断行为:超限是直接报错、还是静默截掉开头或结尾,静默截断最坑。
数字从哪来:查当时的规格而不是记数字
规格和计费规则都会变,写在文章里的数字过一阵就不可信。正确做法是每次选型都回站内查一遍当时的规格,把它当成查资料而不是背答案。
- 筛模型库到 /models 按厂商筛一遍,看规格字段和备注列,注意哪些字段标了「共享」「最大」这类限定词。
- 核对计费再到 /official-api 官方 API 价格,确认计费口径是否随输入长度变化,是否区分缓存命中。
- 看长文入口页长文本类需求可以顺路翻翻 /official-api/providers/moonshotai 这类以长文为卖点的入口页,看它对长输入有没有额外说明。
- 术语对齐拿不准某个词先查 /ai-dict/category/basics,别把「上下文」和「窗口」混着用,混了后面全错。
查的时候顺手截个图或记下你查的是哪一天,因为下游如果拿另一天的数据跟你对,很容易吵起来。
用一篇自己的长文档做小样本自测
规格是厂商给的,表现得自己测。不要用极限长度去测,那只能告诉你会不会报错;要用你日常任务的中位长度,那才反映真实体验。
- 准备一份真实素材,长度取你日常任务的中位值,别挑最长的那份。
- 全文直接喂进去,问三个只有读到中段才能答对的问题,看漏不漏。
- 换成先分段摘要再拼接,同样三个问题再问一遍,对比哪个更稳。
- 记录每轮的耗时和花费,用 /tools/token-price-calculator 和 /tools/model-cost-calculator 换算成你熟悉的单位。
- 把结果记成一张小表,标注测试日期;规格会变,结论要带时间戳。
| 测法 | 适合什么任务 | 主要看什么 |
|---|---|---|
| 全文直塞 | 结构松散的素材、一次性问答 | 关键信息有没有被漏掉或张冠李戴 |
| 分段摘要 | 超长文档、多轮追问 | 多轮之后还记不记得前面的结论 |
| 检索后拼接 | 需要精确到原文出处 | 拼接是否引入矛盾、引用是否准确 |
| 重复前缀复用 | 同一份素材反复提问 | 缓存是否生效、花费是否明显下降 |
这些情况下别硬比长度
长上下文不是万能钥匙,有些任务换更长的模型反而更慢更贵,效果还不一定好。下面几种情况,先想想有没有别的路子。
- 任务本身只需要短输入短输出,比如分类、改写、格式转换,长上下文纯属浪费。
- 素材里有大量重复内容,先去重再喂,比换更长上下文的模型更划算。
- 需要精确到原文出处时,靠检索拼接通常比整篇塞进去更稳,也更好回溯。
- 合规敏感的数据别为了对比方便就整份贴进第三方接口,先过 /safety 看能不能脱敏。
- 只是想让模型「记住」几句固定设定,用系统提示或缓存前缀往往就够了。
看到差距数字时怎么下判断
假设你查完发现两家的额度差了好几倍,别急着选大的。按下面的顺序过一遍,多数时候结论会变。
- 先定位差距落在哪看这个倍数是在输入上限上,还是总上限上,差别很大。
- 再看计费是否分档确认超出某条长度线之后单价有没有变,变了就把你的中位长度代进去算。
- 最后换算成你能接受的花费和延迟超出区间就用分段或检索替代,别为用不上的额度买单。
- 交叉验证输出质量同一任务换两家跑一遍,按 /tools/quality-check 的思路比对输出是否达标,长度够但答不对等于没用。
- 遇到报错先确认是不是服务侧问题提示长度超限但你没超标,可以去 /ai-status 看是不是服务侧临时收紧。
整个流程的产出应该是一张带日期的对比小表,而不是一个记在脑子里的数字。下次选型直接翻表,比重新查一遍快得多。
下一步把你手上这份长文档的实测结果,对着站内当时的规格表核一遍,看看额度差距到底落在哪一层。→常见问题
上下文长度越长就一定越好吗?
不一定。长度只是上限,能不能用好取决于素材质量、检索方式和输出目标。短任务用长上下文往往只是多花钱、多等几秒,还更容易把无关内容带进答案。判断标准是:你的任务里有没有一段必须整体理解的连续材料,有才值得上长上下文。
各家标称的上下文长度可以直接横向比大小吗?
不能直接比。要看清是输入上限还是输入输出合计、是否分档位、计费是否随长度跳档。更稳的做法是到站内模型库和官方 API 页面看当时的规格与计费口径,再拿同一份素材各跑一轮,比实测而不是比标称。
我该按多长来准备素材?
按任务的中位长度准备,别按极限。先统计你日常会喂进去的材料一般多长,取略高于中位的值做自测。超过这个长度的少数任务单独处理,用分段摘要或检索拼接,这样既不浪费额度,也不用为了个别长任务整体换模型。