30分钟提示词缓存
AI TERM术语词条30-minute prompt caching
术语释义
提示词缓存的一种默认时长选项,缓存保留三十分钟,适合短时间内的连续对话,成本较低但命中窗口较短。
30分钟提示词缓存是提示词缓存的一种默认时长设置,缓存内容会保留三十分钟。它面向的是短时间内快速、连续进行的对话场景,让相同或相似的提示词在缓存有效期内被重复利用,从而减少重复处理带来的开销。
主要特点
- 缓存保留时长为三十分钟,属于较短的命中窗口。
- 是提示词缓存的默认选项,无需额外选择即可使用。
- 整体成本较低,适合对开销敏感的日常使用。
适用场景
- 用户在一段时间内连续提问、多轮对话。
- 提示词内容重复度较高、需要反复调用的短时任务。
需要注意
由于缓存命中窗口短,一旦超过三十分钟,之前的缓存便不再生效,后续请求可能需要重新处理。因此它更适合节奏紧凑的连续交互,而不适合间隔较长、零散发生的使用方式。若对话间隔较大,可考虑其他缓存时长选项。