30分钟提示词缓存

AI TERM术语词条

30-minute prompt caching

基础设施 概念

术语释义

提示词缓存的一种默认时长选项,缓存保留三十分钟,适合短时间内的连续对话,成本较低但命中窗口较短。

30分钟提示词缓存是提示词缓存的一种默认时长设置,缓存内容会保留三十分钟。它面向的是短时间内快速、连续进行的对话场景,让相同或相似的提示词在缓存有效期内被重复利用,从而减少重复处理带来的开销。

主要特点

  • 缓存保留时长为三十分钟,属于较短的命中窗口。
  • 是提示词缓存的默认选项,无需额外选择即可使用。
  • 整体成本较低,适合对开销敏感的日常使用。

适用场景

  • 用户在一段时间内连续提问、多轮对话。
  • 提示词内容重复度较高、需要反复调用的短时任务。

需要注意

由于缓存命中窗口短,一旦超过三十分钟,之前的缓存便不再生效,后续请求可能需要重新处理。因此它更适合节奏紧凑的连续交互,而不适合间隔较长、零散发生的使用方式。若对话间隔较大,可考虑其他缓存时长选项。

查看全部 763 条 →
共 9 条