缓存读一折写加价：你被省钱的幻觉骗了

如果你团队的 AI 账单里有 Claude 或 GPT，你大概率已经听过一句话："开 Prompt Caching 啊，能省九成。"于是你在请求里塞了 cache_control，看着 dashboard 上"cached tokens"那一栏往上涨，觉得自己是个精打细算的架构师。

但这里有个让无数团队踩坑的真相：缓存的"读"确实打一折，可"写"不仅不打折，还要加价 25% 到 100%。更要命的是，你以为"半价 Batch + 九折缓存"可以叠加成骨折价——在 Anthropic 上，这俩根本不能同时用。

今天这篇，我把官方定价表里的隐藏账本拆给你看。读完你会知道：为什么有人开了缓存反而更贵、Batch 和缓存到底该选哪个、以及那层 90% 团队都漏掉的"语义缓存"该怎么补。

真相一：缓存读取打一折，写入却要加价

先看 Anthropic 官方定价表里最容易忽略的一栏。我直接从他们文档抄的真实数字（每百万 token 价格）：

看出门道了吗？三个被多数人忽略的非对称：

1. 缓存读取 = 基础价的 0.1 倍（官方原话："Cache read tokens are 0.1 times the base input tokens price"）。这是实打实的九折 off，没有水分。
2. 5 分钟缓存写入 = 基础价的 1.25 倍。第一次把前缀写进缓存，比正常调用还贵 25%。
3. 1 小时缓存写入 = 基础价的 2 倍。想缓存留更久，写入直接翻倍。

这意味着缓存不是"开了就赚"，而是"被反复读才赚"。我们来算个盈亏平衡点：

• 5 分钟 TTL：写一次 1.25，之后每次读 0.1。只要这个前缀被读超过 0.28 次就回本——基本上写完立刻被读一次就赚了。所以短缓存几乎无脑赚，前提是 5 分钟内有第二个人问同样的事。
• 1 小时 TTL：写一次 2.0，读 0.1。要被读超过 1.1 次才回本，也就是至少得有两次复用。流量稀疏的场景开 1 小时缓存，反而亏。

信息差就在这里：很多人在低频后台任务上开了 1 小时缓存，写入翻倍，却根本没人复用，账单不降反升。

还有一个被严重低估的事实：输出 token 永远不能缓存。看 Opus 4.8——输入 $5，输出 $25，输出是输入的 5 倍。你把输入缓存到极致只省了一半的钱，真正的大头输出原封不动。所以省钱的第二个杠杆根本不是缓存，而是 max_tokens 上限、结构化输出（强制 JSON 而不是让模型唠叨）、和 stop sequence。这点国内几乎没有文章讲。

真相二：Batch 半价和缓存，在 Anthropic 上不能叠加

这是最大的认知误区。Batch API（批量接口）确实诱人——官方白纸黑字："reducing costs by 50%"，绝大多数任务 1 小时内跑完，最慢 24 小时，单个 batch 最多塞 10 万条请求或 256MB。很多团队的第一反应是："那我 Batch 半价 + 缓存九折，岂不是打 0.5×0.1 = 0.05 折？"

不能。 Anthropic 文档里有一句被埋得很深的话：

Each batched request must have max_tokens of at least 1. () is not supported inside a batch, since an ephemeral cache entry written during batch processing would likely expire before the follow-up request runs.

翻译成人话：ephemeral 缓存（就是上面那个 cache_control）在 Batch 里根本不生效，因为批量任务是异步并发跑的，你写入的缓存在下一条请求轮到之前早就过期了。所以在 Anthropic 上，Batch 和 Prompt Caching 是二选一，不是叠加。

那该选谁？给你一个清晰的决策矩阵：

这里还有个跨厂商的认知差值得记下：OpenAI 的 Prompt Caching 是"免费午餐"，Anthropic 的不是。 OpenAI 文档明说缓存"automatic""no code changes""no additional fees"——也就是写入不加价，自动缓存，前缀 1024 token 以上就生效，还能用 prompt_cache_key 主动提高命中率。所以同样的省钱动作，在 OpenAI 上是无脑开，在 Anthropic 上要先想清楚复用率够不够撑过那个 1.25 倍写入溢价。

另外 OpenAI 还有招国内少有人提的：Extended Prompt Caching，设 prompt_cache_retention: "24h" 可以把缓存从默认 5–10 分钟拉到最长 24 小时，把 KV 张量卸到 GPU 本地存储。对那种"白天高峰、晚上低峰但隔天还有人问"的场景，这个 24 小时保留能把命中率顶上去。Anthropic 对应的是 1 小时 TTL（要付 2 倍写入价），保留时长明显短一截。

真相三：缓存只认"完全相同前缀"，语义缓存补上漏洞

前面两种缓存——无论 Anthropic 还是 OpenAI——都有一个共同硬伤：只认精确的前缀匹配。OpenAI 原话是"Cache hits are only possible for exact prefix matches within a prompt"。换一个字、多一个空格、用户把"怎么退款"说成"如何申请退款"，缓存就 miss，你的钱又流给了 LLM。

而真实业务里，客服场景有大量"问法不同、意思一样"的重复问题。这部分 exact-match 缓存根本吃不到，得靠第三层：语义缓存（Semantic Cache）。

代表工具是开源的 GPTCache（Zilliz 出品），README 第一行就写着"Slash Your LLM API Costs by 10x, Boost Speed by 100x"。它的原理不复杂：

1. 每条 query 先过 embedding 模型，变成向量；
2. 去向量库里找"语义相似度超阈值"的历史 query；
3. 命中就直接返回缓存的答案，完全不调用 LLM；
4. 未命中才调 API，然后把这次问答也存进缓存。

它已经和 LangChain 集成，提供 Docker 镜像，任何语言都能接。关键它是"近似匹配"——前缀缓存漏掉的"换了说法的同一问题"，它能接住。

但语义缓存也不是万能，有它的坑要躲： - 阈值设太松（比如相似度 0.75 就返回），会把"怎么退款"和"怎么换货"判成一类，返回错误答案。客服、医疗、法律这类容错低的场景，阈值要卡到 0.92 以上，宁可少命中也别答错。 - 时效性问题会过期——"今天的股价""现在几点"这类答案不能缓存，要在 query 进来前先做意图识别过滤掉。 - 冷启动期命中率为零，得积累够历史数据才显效。

决策流程：到底该叠哪几层

把上面三层理清楚后，一条请求进来该走哪条路，看这张图：

flowchart TD
    A[一条请求进来] --> B{需要秒级实时响应?}
    B -->|否, 可等几分钟到几小时| D[走 Batch API<br/>整体直接半价]
    B -->|是, 必须快| C{prompt 里有大量<br/>静态前缀且会被反复读?}
    C -->|是| E[开 Prompt Caching<br/>缓存读取打一折]
    C -->|否, 每次全新内容| F[别开缓存<br/>写入加价反而亏]
    E --> G{用户问题大量<br/>重复或换说法重复?}
    G -->|是| H[叠加语义缓存 GPTCache<br/>命中直接返回, 不调 API]
    G -->|否| I[只保留 Prompt Caching]
    D --> J[注意: Anthropic Batch<br/>不支持 ephemeral 缓存<br/>和缓存是二选一]

一句话总结：实时流量的钱靠"缓存读取一折"省，离线批量的钱靠"Batch 半价"省，重复语义的钱靠"GPTCache 直接不调用"省——三条路各管一段，别想着用一个开关通吃。

实战算账：一个客服机器人的账本

把数字落到一个真实场景。假设你用 Claude Sonnet 4.6（$3/M 输入，$0.30/M 缓存读，$15/M 输出）跑客服，月 100 万次对话，每次静态前缀（system prompt + 知识库 + 工具定义）8000 token，动态用户输入 500 token，平均输出 800 token。

什么都没做（裸奔）： - 输入：100 万 × 8500 × $3/M = $25,500 - 输出：100 万 × 800 × $15/M = $12,000 - 合计：$37,500/月

只开 Prompt Caching（缓存 8000 静态前缀，假设 5 分钟内都能复用）： - 缓存读取：100 万 × 8000 × $0.30/M = $2,400（替代了原本的 $24,000 静态输入） - 动态输入：100 万 × 500 × $3/M = $1,500 - 输出（缓存动不了它）：$12,000 - 合计：$15,900/月 → 省了 $21,600，降幅约 58%

再叠语义缓存（假设 25% 的用户问题是换说法的重复问题，GPTCache 直接返回）： - 25 万次完全不调 LLM → 在 $15,900 基础上再砍约 25% - 合计：约 $11,900/月 → 省了 $25,600，降幅约 68%

对比一下离线路线：如果这 100 万次是 overnight 批处理、不要求实时，直接走 Batch 半价 = $37,500 × 0.5 = $18,750。注意——这个数比"实时 + 缓存"的 $15,900 还贵，因为 Batch 吃不到缓存那九折读取。所以"静态前缀复用率极高"的场景，缓存比半价更划算；"复用率低但能异步"的场景，Batch 才是正解。

信息差总结

行动指南：今晚就能做的四步

1. 先审计输出 token 占比。去 dashboard 看 input/output 花费比例。如果输出占大头（很可能），先收紧 max_tokens、强制结构化输出、加 stop sequence——这比折腾缓存见效更快。
2. 盘点静态前缀的复用率。把 system prompt、知识库、工具定义这些算出来。如果 5 分钟内能被读 2 次以上，开 5 分钟 Prompt Caching，几乎稳赚；流量稀疏就别开 1 小时 TTL（2 倍写入价会亏）。
3. 区分实时流和离线批。打标签、分类、清洗这类 overnight 任务，全部切到 Batch API 享受半价，别和实时流量挤同一个同步接口。
4. 在客服/搜索场景前置语义缓存。接 GPTCache 或 Redis 向量库，相似度阈值卡 0.92 起步，配合意图识别过滤掉时效性问题。这一层吃的是前两层都漏掉的"换说法重复"。

记住核心心法：省钱的本质不是"找一个开关打开"，而是"分清楚这笔调用该让哪一层去接"——读取一折管静态、Batch 半价管批量、语义缓存管近似、收紧输出管真大头。四层各司其职，账单才有真正的大幅下降。

参考来源

• Anthropic 官方 Prompt Caching 文档与定价表（含各模型缓存读/写定价、TTL、自动缓存机制）
• Anthropic Message Batches API 文档（50% 折扣、24 小时限制、不支持 ephemeral 缓存的明确说明）
• OpenAI Batch API 指南（50% 折扣、24 小时周转、独立更高限速）
• OpenAI Prompt Caching 指南（自动免费、最高省 90% 输入、Extended 24 小时保留、prompt_cache_key）
• GPTCache 开源仓库（Zilliz）（语义缓存、精确 + 近似匹配、LangChain 集成）

本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。