导语:如果你团队每天晚上跑的批处理任务——翻译一万条商品文案、给十万条客服记录打标签、给爬下来的文档生成摘要——还在用同步 API 实时一条条调用,那你大概率在白烧一半的钱。海外大模型厂商(Claude、OpenAI、Gemini)早就各自埋了一个"50% 折扣开关"(Batch API)和一个"缓存折扣开关"(Prompt Caching,最高 90% off),两个还能叠加。问题是,国内 90% 的开发者压根不知道这俩开关存在,更不知道能叠着用。这篇就把这两个开关的算术、适用场景、国内厂商的对应方案一次性拆给你看。
我们先把账算清楚。API 调用本质上分两种姿态:
关键信息差来了:绝大多数业务场景根本不需要实时。你给一万条历史评论做情感分析,是 5 秒后出结果还是 5 小时后出结果,对业务没有任何区别——但账单差一倍。
Anthropic 的 Claude Message Batches、OpenAI 的 Batch API、Google 的 Gemini Batch API,三家都明明白白写着 50% discount。这不是什么灰产技巧,是官方公开的、写在定价页上的标准折扣。中国团队不知道,纯粹是因为国内文档生态没怎么宣传,大家习惯了"调 API 就是调 API",从没想过同一条请求换个 endpoint 就能半价。
先讲缓存这个开关,因为它折扣更深。
原理:很多请求的前半段是固定不变的——系统提示词、一份 50 页的产品手册、few-shot 示例、你的 RAG 检索上下文。每次请求都把这一大坨重新喂给模型,等于每次都付一遍输入费。Prompt Caching 让你把这段固定前缀缓存在厂商那边,后续请求只要前缀命中,这部分 token 就按一折计费。
Anthropic 的官方标价(以 Claude Sonnet 为例,input $3/M tokens):
| 操作 | 倍率 | 单价($/M token) | 相比全价 |
|---|---|---|---|
| 普通输入(不缓存) | 1× | $3.00 | 基准 |
| 缓存写入(5 分钟 TTL) | 1.25× | $3.75 | 贵 25% |
| 缓存写入(1 小时 TTL) | 2× | $6.00 | 贵 100% |
| 缓存读取(命中) | 0.1× | $0.30 | 省 90% |
这里有个反直觉的点要先讲清楚:写缓存是要额外付费的(1.25× 甚至 2×),所以缓存不是"无脑开",而是"前缀会被重复命中才开"。判断标准很简单——同一份前缀在 5 分钟(或 1 小时)内会被请求 ≥ 2 次,就值得缓存。
OpenAI 的政策更温和:缓存写入不加价,缓存命中直接 50% off(没有 Anthropic 那么狠的 90%,但写入零成本,容错性更好)。
国内厂商:智谱 GLM、通义千问、DeepSeek 都已跟进缓存机制(DeepSeek 的 context caching 同样命中一折左右)。所以这不是"海外限定",而是行业标配——但你得在请求里显式声明 cache_control 标记,不声明就当全价普通请求处理。
第二个开关是纯纯的"时间换钱"。
用法:你把一堆请求写成 JSONL 文件(每行一个独立的请求体),调一个 batch 提交接口,拿到一个 job_id。厂商在 24 小时内跑完,结果以文件形式还给你。所有 input/output token 统统五折。
适用场景(这才是关键,别拿实时业务硬套):
反面案例(别开 Batch 的场景):实时聊天客服、用户输入时的流式补全、任何"用户在等"的交互。Batch 是为离线任务生的,强行套实时体验会崩。
信息差的精髓在这里——这两个折扣是可以叠加的,而且复利效应惊人。
假设你跑一个离线任务:用 Claude Sonnet 处理 1 亿 token 的固定文档前缀 + 变化的问题,缓存命中率 80%。我们分层算:
| 配置 | 计费 | 月成本(1亿 token 规模) |
|---|---|---|
| 全价同步、不开缓存 | 1 亿 × $3 | $300 |
| 只开 Batch(50% off) | × 0.5 | $150 |
| 只开 Cache(80% 命中) | 80%×$0.30 + 20%×$3 = $0.84/M | ~$84 |
| Batch + Cache 叠加 | (80%×$0.30 + 20%×$3) × 0.5 | ~$42 |
从 $300 砍到 $42,省 86%。如果是纯缓存前缀(命中率接近 100%),叠加后等于 $3 × 0.1 × 0.5 = $0.15/M,相比全价省掉 95%。
这个叠加逻辑:批处理打五折是先把总价砍半,缓存再对"命中部分"打一折,两次折扣作用在不同维度上,所以是相乘不是相加。很多团队卡在"我开了缓存啊"或"我用了 batch 啊",却从没想过两者并用——于是账单停留在省 50% 或省 90%,而不是省 95%。
flowchart TD
A["原始同步调用<br/>全价 = 100%"] --> B{"是否实时交互?"}
B -->|"是 客服/补全"| C["走同步 + Prompt Caching<br/>前缀命中部分 90% off"]
B -->|"否 标注/翻译/摘要"| D["走 Batch API<br/>全量 50% off"]
D --> E["批处理内再开 Cache<br/>命中部分 50% × 10% = 5%"]
C --> F["账单: 省 ~80%"]
E --> G["账单: 省 ~90-95%<br/>真正的批发价"]
style G fill:#2d6a4f,color:#fff
style F fill:#52b788,color:#fff
开关开了,不等于钱就省了——折扣的力度取决于缓存命中率。命中率高,省 95%;命中率低,缓存写入的 1.25× 反而拖累你。三个工程动作把命中率顶上去:
还有个常被忽略的细节:只对"会被复用"的内容开缓存。如果你的 system prompt 只有 200 token,但每次用户问题都不同且很长,那缓存的 200 token 收益微乎其道,不值得为它付 1.25× 写入费。经验阈值:可缓存前缀 ≥ 1024 token 才划算(Anthropic 的最低缓存 token 数也是 1024 起)。
不是所有团队都该无脑叠满,按你的实际形态对号入座:
| 你的形态 | 推荐配置 | 预期降幅 |
|---|---|---|
| 个人开发者 / 小项目 | 只开 Prompt Caching(写入零风险的 OpenAI 路线优先) | 省 40-50% |
| 有后台批处理的中型团队 | Batch API + Cache 叠加 | 省 85-95% |
| 重度 RAG / 长文档业务 | Cache 必开 + 1 小时 TTL + 前缀固定化 | 省 80-90% |
| 实时交互为主 | 只开 Cache(Batch 不适用) | 省 40-60% |
| 国内合规优先 | 智谱 GLM / 通义的 batch + cache 对应接口 | 同等折扣、人民币结算、数据不出境 |
国内厂商进度提示:智谱开放平台、阿里通义、DeepSeek 都已提供 batch 异步接口和 context caching,折扣机制对标海外(基本也是五折批 + 缓存命中一折)。对数据出境敏感、或想用人民币结算、走对公发票的团队,国内方案的"折扣"未必更少,且省了跨境支付的麻烦。建议在厂商控制台的"计费说明 / Batch 接口"板块确认当前折扣比例再上线。
| 维度 | 多数团队的认知 | 信息差真相 |
|---|---|---|
| 批处理任务怎么跑 | 同步 API 一条条实时调,全价 | Batch API 五折,24h 出结果,业务无损 |
| Prompt Caching | 没听过,或以为只是"省时间" | 命中部分直接 一折,是省钱不是省时 |
| 两个开关的关系 | 开一个就行,二选一 | 可叠加,相乘下来省 90-95% |
| 缓存写入成本 | 以为缓存免费 | 写入要 1.25×~2×,命中 ≥2 次才回本 |
| 国内厂商 | 以为只有海外有 | GLM/通义/DeepSeek 都有对标,数据不出境 |
| 适用边界 | 想给所有任务开 | 实时交互别开 Batch,缓存前缀 <1024 token 不划算 |
预算优先级:先开 Batch(立省 50%、零改造)→ 再开 Cache(省 90%、需改前缀结构)→ 最后叠加(省 95%、需监控命中率)。按这个顺序,每一步都是净收益,没有回退风险。
参考来源(建议以官方页面核实当前标价): - Anthropic Prompt Caching 文档:https://docs.anthropic.com/en/docs/build-with-claude/prompt-caching - Anthropic Message Batches 文档:https://docs.anthropic.com/en/docs/build-with-claude/message-batches - OpenAI Batch API 指南:https://platform.openai.com/docs/guides/batch - Google Gemini Batch API:https://ai.google.dev/gemini-api/docs/batch-mode - 智谱 GLM 开放平台计费说明:https://open.bigmodel.cn
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。
采集说明:本轮联网工具(WebSearch / webReader)月度配额已于本次调用耗尽,将于 2026-07-18 重置,故未能抓取实时页面二次核验。文中折扣机制(Batch 五折、Cache 命中一折、二者可叠加)均为各厂商长期公开的定价政策,价格结构稳定;具体单价请以上方官方来源页面为准。下轮采集配额恢复后将补做实时核验。
[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。
