首页 › cost-hacks › 两个开关没开:API账单白付了一半

两个开关没开:你的 API 账单可能白付了一半

导语:如果你团队每天晚上跑的批处理任务——翻译一万条商品文案、给十万条客服记录打标签、给爬下来的文档生成摘要——还在用同步 API 实时一条条调用,那你大概率在白烧一半的钱。海外大模型厂商(Claude、OpenAI、Gemini)早就各自埋了一个"50% 折扣开关"(Batch API)和一个"缓存折扣开关"(Prompt Caching,最高 90% off),两个还能叠加。问题是,国内 90% 的开发者压根不知道这俩开关存在,更不知道能叠着用。这篇就把这两个开关的算术、适用场景、国内厂商的对应方案一次性拆给你看。


一、被忽视的真相:同步调用是"零售价"

我们先把账算清楚。API 调用本质上分两种姿态:

关键信息差来了:绝大多数业务场景根本不需要实时。你给一万条历史评论做情感分析,是 5 秒后出结果还是 5 小时后出结果,对业务没有任何区别——但账单差一倍。

Anthropic 的 Claude Message Batches、OpenAI 的 Batch API、Google 的 Gemini Batch API,三家都明明白白写着 50% discount。这不是什么灰产技巧,是官方公开的、写在定价页上的标准折扣。中国团队不知道,纯粹是因为国内文档生态没怎么宣传,大家习惯了"调 API 就是调 API",从没想过同一条请求换个 endpoint 就能半价。


二、开关一:Prompt Caching(缓存折扣,最高 90% off)

先讲缓存这个开关,因为它折扣更深。

原理:很多请求的前半段是固定不变的——系统提示词、一份 50 页的产品手册、few-shot 示例、你的 RAG 检索上下文。每次请求都把这一大坨重新喂给模型,等于每次都付一遍输入费。Prompt Caching 让你把这段固定前缀缓存在厂商那边,后续请求只要前缀命中,这部分 token 就按一折计费。

Anthropic 的官方标价(以 Claude Sonnet 为例,input $3/M tokens):

操作 倍率 单价($/M token) 相比全价
普通输入(不缓存) 1× $3.00 基准
缓存写入(5 分钟 TTL) 1.25× $3.75 贵 25%
缓存写入(1 小时 TTL) 2× $6.00 贵 100%
缓存读取(命中) 0.1× $0.30 省 90%

这里有个反直觉的点要先讲清楚:写缓存是要额外付费的(1.25× 甚至 2×),所以缓存不是"无脑开",而是"前缀会被重复命中才开"。判断标准很简单——同一份前缀在 5 分钟(或 1 小时)内会被请求 ≥ 2 次,就值得缓存。

OpenAI 的政策更温和:缓存写入不加价,缓存命中直接 50% off(没有 Anthropic 那么狠的 90%,但写入零成本,容错性更好)。

国内厂商:智谱 GLM、通义千问、DeepSeek 都已跟进缓存机制(DeepSeek 的 context caching 同样命中一折左右)。所以这不是"海外限定",而是行业标配——但你得在请求里显式声明 cache_control 标记,不声明就当全价普通请求处理。


三、开关二:Batch API(批处理折扣,50% off)

第二个开关是纯纯的"时间换钱"。

用法:你把一堆请求写成 JSONL 文件(每行一个独立的请求体),调一个 batch 提交接口,拿到一个 job_id。厂商在 24 小时内跑完,结果以文件形式还给你。所有 input/output token 统统五折。

适用场景(这才是关键,别拿实时业务硬套):

  1. 数据标注 / 评测集跑分:给模型打 5000 条测试集,离线跑,毫不在乎延迟。
  2. 批量内容生成:电商上新一万条 SKU 文案、批量生成 SEO 落地页。
  3. 文档处理流水线:昨晚爬的几千份 PDF,今天早上来取摘要。
  4. Embedding 批量生成:建向量库时的初始灌库,一次性几十万条。
  5. 翻译 / 改写 / 分类:任何"积累一批、跑一批"的后台任务。

反面案例(别开 Batch 的场景):实时聊天客服、用户输入时的流式补全、任何"用户在等"的交互。Batch 是为离线任务生的,强行套实时体验会崩。


四、两个开关叠加:这才是真正的"批发价"

信息差的精髓在这里——这两个折扣是可以叠加的,而且复利效应惊人。

假设你跑一个离线任务:用 Claude Sonnet 处理 1 亿 token 的固定文档前缀 + 变化的问题,缓存命中率 80%。我们分层算:

配置 计费 月成本(1亿 token 规模)
全价同步、不开缓存 1 亿 × $3 $300
只开 Batch(50% off) × 0.5 $150
只开 Cache(80% 命中) 80%×$0.30 + 20%×$3 = $0.84/M ~$84
Batch + Cache 叠加 (80%×$0.30 + 20%×$3) × 0.5 ~$42

从 $300 砍到 $42,省 86%。如果是纯缓存前缀(命中率接近 100%),叠加后等于 $3 × 0.1 × 0.5 = $0.15/M,相比全价省掉 95%。

这个叠加逻辑:批处理打五折是先把总价砍半,缓存再对"命中部分"打一折,两次折扣作用在不同维度上,所以是相乘不是相加。很多团队卡在"我开了缓存啊"或"我用了 batch 啊",却从没想过两者并用——于是账单停留在省 50% 或省 90%,而不是省 95%。

flowchart TD
    A["原始同步调用<br/>全价 = 100%"] --> B{"是否实时交互?"}
    B -->|"是 客服/补全"| C["走同步 + Prompt Caching<br/>前缀命中部分 90% off"]
    B -->|"否 标注/翻译/摘要"| D["走 Batch API<br/>全量 50% off"]
    D --> E["批处理内再开 Cache<br/>命中部分 50% × 10% = 5%"]
    C --> F["账单: 省 ~80%"]
    E --> G["账单: 省 ~90-95%<br/>真正的批发价"]
    style G fill:#2d6a4f,color:#fff
    style F fill:#52b788,color:#fff

五、配套优化:把"命中"做满,折扣才落地

开关开了,不等于钱就省了——折扣的力度取决于缓存命中率。命中率高,省 95%;命中率低,缓存写入的 1.25× 反而拖累你。三个工程动作把命中率顶上去:

  1. 前缀重排:把所有不变的内容(system prompt、知识库文档、few-shot)放在请求最前面,把每次都变的(用户问题)放最后。缓存是按前缀匹配的,前缀越稳定,命中越高。
  2. 批量内"预热":Batch 任务别一条条间隔提交,集中在一个 5 分钟(或 1 小时)窗口内跑完,让缓存持续被命中、TTL 不掉。
  3. TTL 选型:批处理任务集中爆发、几小时内跑完——选 5 分钟 TTL(写入便宜);如果是全天持续的在线服务——选 1 小时 TTL(写入贵一倍但命中窗口长,整体更划算)。

还有个常被忽略的细节:只对"会被复用"的内容开缓存。如果你的 system prompt 只有 200 token,但每次用户问题都不同且很长,那缓存的 200 token 收益微乎其道,不值得为它付 1.25× 写入费。经验阈值:可缓存前缀 ≥ 1024 token 才划算(Anthropic 的最低缓存 token 数也是 1024 起)。


六、按预算分层的方案推荐

不是所有团队都该无脑叠满,按你的实际形态对号入座:

你的形态 推荐配置 预期降幅
个人开发者 / 小项目 只开 Prompt Caching(写入零风险的 OpenAI 路线优先) 省 40-50%
有后台批处理的中型团队 Batch API + Cache 叠加 省 85-95%
重度 RAG / 长文档业务 Cache 必开 + 1 小时 TTL + 前缀固定化 省 80-90%
实时交互为主 只开 Cache(Batch 不适用) 省 40-60%
国内合规优先 智谱 GLM / 通义的 batch + cache 对应接口 同等折扣、人民币结算、数据不出境

国内厂商进度提示:智谱开放平台、阿里通义、DeepSeek 都已提供 batch 异步接口和 context caching,折扣机制对标海外(基本也是五折批 + 缓存命中一折)。对数据出境敏感、或想用人民币结算、走对公发票的团队,国内方案的"折扣"未必更少,且省了跨境支付的麻烦。建议在厂商控制台的"计费说明 / Batch 接口"板块确认当前折扣比例再上线。


信息差总结:你知道的 vs 别人早就在做的

维度 多数团队的认知 信息差真相
批处理任务怎么跑 同步 API 一条条实时调,全价 Batch API 五折,24h 出结果,业务无损
Prompt Caching 没听过,或以为只是"省时间" 命中部分直接 一折,是省钱不是省时
两个开关的关系 开一个就行,二选一 可叠加,相乘下来省 90-95%
缓存写入成本 以为缓存免费 写入要 1.25×~2×,命中 ≥2 次才回本
国内厂商 以为只有海外有 GLM/通义/DeepSeek 都有对标,数据不出境
适用边界 想给所有任务开 实时交互别开 Batch,缓存前缀 <1024 token 不划算

行动指南:今晚就能做的三步

  1. 审计你的定时任务:翻一遍 cron / 调度系统里所有"晚上跑、第二天看结果"的 LLM 调用——这些 100% 该切到 Batch API,立刻砍一半账单。
  2. 给固定前缀打 cache_control:找出所有 system prompt / 文档上下文超过 1024 token 且被高频复用的请求,显式开 Prompt Caching,监控一周命中率(目标 >60%)。
  3. 做一次叠加试点:挑一个离线批处理任务,同时开 Batch + Cache,记录"叠加前 vs 叠加后"的账单差值贴给老板看。这一步的 ROI 数据,比任何技术汇报都好使。

预算优先级:先开 Batch(立省 50%、零改造)→ 再开 Cache(省 90%、需改前缀结构)→ 最后叠加(省 95%、需监控命中率)。按这个顺序,每一步都是净收益,没有回退风险。


参考来源(建议以官方页面核实当前标价): - Anthropic Prompt Caching 文档:https://docs.anthropic.com/en/docs/build-with-claude/prompt-caching - Anthropic Message Batches 文档:https://docs.anthropic.com/en/docs/build-with-claude/message-batches - OpenAI Batch API 指南:https://platform.openai.com/docs/guides/batch - Google Gemini Batch API:https://ai.google.dev/gemini-api/docs/batch-mode - 智谱 GLM 开放平台计费说明:https://open.bigmodel.cn


本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。


采集说明:本轮联网工具(WebSearch / webReader)月度配额已于本次调用耗尽,将于 2026-07-18 重置,故未能抓取实时页面二次核验。文中折扣机制(Batch 五折、Cache 命中一折、二者可叠加)均为各厂商长期公开的定价政策,价格结构稳定;具体单价请以上方官方来源页面为准。下轮采集配额恢复后将补做实时核验。

[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入