很多人挑中转站时会盯着页面上标的超时时间比大小,结果接进去还是动不动就报超时。问题在于你要的往往不是那个数字大,而是它超时之后怎么处理。这篇不比较谁家参数好看,讲的是接到自己项目里以后,怎么定每一档超时、怎么判断这次超时是中转站的问题还是自己代码的问题。
挑中转站的时候,页面上一般都会挂一个超时时间,看着数字大的就觉得稳,数字小的直接跳过。接进去用两天才发现,报超时的时候跟那个数字关系不大。真正决定体验的,是它超时之后怎么收场:是干脆断开让你重试,还是挂在那里你也不知道跑到哪一步了。
这篇不排谁家参数好看。讲的是接进自己项目以后,每一档超时怎么定,以及某次超时到底该算在中转站头上还是自己代码头上。很多人第一步就搞错了方向,把两边超时当成同一个东西在比。
中转站标的超时,和你客户端设的超时不是一回事
中转站页面上写的超时,通常是它往上游转发时愿意等多久;你代码里设的超时,是你自己愿意等多久。这两个数字谁小谁先触发,谁先触发就以谁为准。所以你去比两家中转站的超时参数,比的是它们各自的耐心,不是你的请求能不能跑完。
一条请求至少经过三段等待:你的客户端发出去、中转站网关转发、上游模型生成。任何一段先放弃,你看到的都是同一个「超时」。光看日志里那句 timeout 判断不了是谁先松的手,得先知道自己这条链路上每一段大概耗多久。
- 先用站内测速工具量一遍本地到中转站的延迟基线,别凭体感猜;
- 再拿一个最简单的短请求打一次,看纯网络加转发要多久;
- 然后换一个长输出请求,看生成阶段多出来多少时间;
- 把这三个数字记下来,后面定超时才有参照,不然全是拍脑袋。
按请求类型分档,别用一个数字打天下
很多人图省事,全局一个超时值走到底。结果短对话等太久,链路明明已经卡死了还在那干等;长文生成又等不够,正常在跑也被掐断。正确的做法是按请求类型分档,每一档对应一种等待预期。
| 请求类型 | 超时怎么设 | 为什么 |
|---|---|---|
| 短对话、分类、结构化输出 | 给短超时,失败就重试 | 这类请求本身很快,等太久说明链路有问题,早失败早发现 |
| 长文生成、多轮带工具调用 | 给长超时,按输出长度留余量 | 生成时间随 token 数增长,卡太紧会误杀正常请求 |
| 流式输出 | 拆成首字节超时加空闲超时 | 流式没有整体结束点,只看总时长判断不了卡没卡 |
| 批量任务里的单条 | 比交互场景更宽松,配合重试 | 批处理不怕慢,怕的是整批被一条拖死 |
拿不准就先从保守值起步,把每次请求的真实耗时打进日志,跑几天看分布再往上调。别一上来就设一个很大的数,那样出问题时你连它是真慢还是假死都分不清。
超时了先别换站,按顺序把慢的那一段找出来
- 先看范围是所有请求都超时,还是个别请求超时。全都超时多半是网络、密钥或余额的问题,跟生成长度无关;个别超时才往请求内容上想。
- 流式非流式各打一次用同样的 prompt,一次非流式一次流式。非流式超而流式正常,基本就是整体等待时长设短了,把那一档调大即可。
- 检查客户端配置翻一下连接超时和读取超时是不是被设成了同一个值。这一步能排掉相当一部分「看起来是中转站慢」的误判。
- 换模型或换线路重试同一账号下只有某类模型超时,问题在上游不在你,也别在中转站参数上继续折腾,直接去站内模型库核对那类模型的调用特征。
这套顺序的价值在于每一步都能排除掉一类原因,不用靠猜。真按这个走一遍,大部分「是不是中转站不行」的疑问当场就有答案了,省得反复换站试错。
这几种情况,超时数字调多大都没用
有些超时压根不是等待上限的问题。中转站排队严重的时候,你的请求还没开始跑,超时反映的是它前面堆了多少活;上游高峰期限速时,你等再久也等不到结果,只是白占一个连接。
还有一种更隐蔽:客户端用同步阻塞写法串行发请求,单次超时叠加起来,整批任务看起来全都超时了,其实每条都在正常范围内。这种情况该动的是并发控制和退避重试,不是把超时改成一个更大的数。
超时是个信号,不是个旋钮。信号指向哪里,就该去修哪里,拧大数字只是把问题往后推。下一步把你现在用的中转站延迟基线量出来,再回头对照上面那张分档表,看看自己每一档是不是设得合理。站内测速页可以直接跑一遍,拿到的数字比体感靠谱。→
常见问题
中转站标的超时时间越长就越好吗?
不一定。标得长只说明它愿意等上游,不代表它回得快。真正该问的是它超时之后会不会自动换通道重试、会不会把错误码明确告诉你。数字长但错误提示含糊的站,排查起来更费劲。
客户端超时和中转站超时该设成一样吗?
不建议。你侧的超时应该比中转站侧略长一点,这样中转站先放弃时你能收到一个明确的错误响应,而不是自己的连接被掐断看不出原因。反过来设,你永远不知道是它慢还是你等不及。
流式请求一直不断但不返回内容,算超时吗?
算,但要用首字节超时而不是总时长来判断。流式下请求可能长时间保持连接却迟迟不出第一个 token,卡总时长会把正常的慢启动误杀,卡首字节才抓得住真正的卡死。