gpt-6的prompt cache自动启用,需确保共享前缀≥1024 token且稳定(含system prompt、tools等),避免动态修改;通过dashboard验证缓存命中率,用显式断点划分可复用边界,并可动态调优reasoning effort而不影响缓存。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

确保共享前缀足够长且稳定
缓存只对「合格共享前缀」生效——必须是连续、完全一致的输入开头部分,且长度 ≥1024 个可见 token。这包括 system prompt、工具定义(tools)、function call schema、消息顺序,甚至图片或文档的 base64 片段。
常见踩坑点:
- 每次请求都动态改 system prompt 的末尾(比如加时间戳、随机ID),导致前缀不一致
- 工具列表顺序变了,或某个 tool 的 parameters 字段增删字段
- 把不需要工具的请求设为 tool_choice: "none",而不是直接删掉 tools 字段——后者会破坏前缀稳定性
- 混用不同模型(如 gpt-6-astra 和 gpt-6-sol),缓存不跨模型共享
用 Dashboard 和 diagnostics 验证是否真在用缓存
别只看账单——缓存折扣只作用于复用的输入 token,首次写入反而贵 25%(按普通价 1.25 倍计费)。真正省不省钱,取决于复用次数。
关键动作:
- 登录 Prompt Caching Dashboard,看「Cached input tokens %」曲线是否稳定在高位(比如 >60%)
- 对比「Input composition chart」里 cached vs uncached token 分布,确认大段法条、文档或指令确实被标为 cached
- 遇到未命中时,用 diagnostics 工具上传当前请求和最近一次成功响应,它会告诉你 reason 是 toolschanged、modelmismatch 还是 inputmodified,并标出受影响的 token 数(例如 cachemissedtokens: 5629)
用显式断点精准控制缓存边界
默认机制靠自动识别共享前缀,但你可以主动划界:在 prompt 中插入显式缓存断点(explicit cache breakpoint),告诉模型“这部分之前的内容允许复用,之后的不算”。适合系统指令+工具定义固定、但用户提问多变的场景。
操作要点:
- 断点必须放在 messages 数组中一个独立的 message 里,role 设为 "system" 或 "user",content 为特殊标记(具体格式见 OpenAI 最新 guide)
- 断点后的内容(如用户实时提问、临时文件)不会进入缓存,但不影响前面稳定块的复用
- 带断点的前缀,在 30 分钟窗口内被复用仍可享受折扣;复用行为本身会刷新该缓存项的生命周期
调整推理强度而不破坏缓存
同一个 agent 连续处理简单追问和复杂分析时,可以动态调节 reasoning effort——通过追加 configuration_update 字段,提升某次响应的思考深度,同时保持 request-level 的 effort 设置不变。这样既满足任务需求,又不打断已建立的缓存链。
适用场景:
- 常规问答用低 effort,节省延迟
- 代码审查或法律条款比对等重任务,临时提高 effort
- 所有操作都不改动共享前缀,缓存持续有效











