如果你打开任何一家 API 厂商的定价页，会发现一个被刻意淡化的规律——价格不是按"用了多少智能"标的，而是按"多快还给你"标的。同一个模型、同一份 prompt、同样的 token 数，只要你愿意等几小时，账单能直接砍半；甚至愿意用确定性缓存,读取能打到一折。但 90% 的开发者的代码里只有一种姿势:client.chat.completions.create() 实时同步调用,于是默认按全价 + 即时性溢价付费。
本轮情报要拆的就是这条隐藏的定价曲线:你的延迟容忍度,等于白送厂商的钱。下面三把刀,Batch 半价、Caching 读取一折、工具定义 token 税,每一把都对应一类被默认全价收割的场景。
这是全行业最奇怪的信息差:所有主流厂商都提供异步批量接口,价格直接打五折,但绝大多数生产代码从来没用过。 截至 2026 年 6 月,三家的条款惊人地一致:
| 维度 | OpenAI Batch | Anthropic Message Batches | Google Gemini Batch |
|---|---|---|---|
| 折扣 | 标准 API 的 50% | 标准 API 的 50% | 标准 API 的 50% |
| 完成时限 | 24 小时 SLA(通常更快) | 24 小时 SLA(通常更快) | 24 小时 SLA |
| 单文件上限 | 50,000 请求 / 100MB | 批次内请求上限数万级 | 单批 2TB |
| 工作方式 | 上传 JSONL → 轮询/回调 | 提交批 → 轮询状态 | 提交批 → 异步取回 |
| 流式输出 | ❌ 不支持 | ❌ 不支持 | ❌ 不支持 |
关键认知:你支付的溢价里,有一半是为"立刻返回"买的单。如果你的负载是评估集打分、内容审核、批量翻译、日志分类、知识库向量化、数据标注后处理——这些根本不需要亚秒级响应——你每天都在把一半预算扔进水沟。
算一笔账:假设你跑 100 万次分类调用,实时价格约 $2000;改写成 Batch 提交,直接 $1000。这不是技巧,是厂商写在定价页、却没人读的明牌。
适用与不适用: - ✅ 适合:eval 评测、批量 embedding 生成、文档摘要入库、夜间数据清洗、AB 测试候选打分、客服工单初筛分类。 - ❌ 不适合:用户正在等待的对话、流式打字效果、需要 function calling 实时执行工具的场景(注意:部分厂商 Batch 对 tool use 支持有限,需查文档)。
陷阱清单:
1. 24 小时 SLA 是上限不是承诺,实际常几分钟到几小时完成,但不要写死预期。
2. 失败重试要自己处理:批次里单个请求失败不会拖垮整批,但你得轮询 errors 字段捞出来重投。
3. 速率限制更宽松:Batch 走的是单独的 rate limit 池,反而能突破实时接口的 RPM 瓶颈——大流量场景这是隐藏的"绕墙"红利。
如果说 Batch 是"等一等换半价",Caching 就是"重复前缀换一折读取"。但这里有一个反直觉陷阱,正是国内多数教程没讲清的地方:缓存不是白来的,写入要付溢价。
以 Anthropic 为例(截至 2026 年公开定价):cache write 比 base input 贵 25%(5 分钟 TTL)或贵 200%(1 小时 TTL),而 cache hit 读取只有 base input 的 10%。OpenAI、Google 的机制类似,都是"写贵、读贱"的杠杆结构。
flowchart TD
A[请求带固定前缀吗?] -->|是| B{前缀被复用次数}
B -->|≥ 2 次| C[开启 Caching<br/>写入付 1.25x 溢价]
B -->|只用 1 次| D[❌ 别开<br/>写入溢价白付]
C --> E[后续命中<br/>读取 0.1x]
E --> F{命中率高吗?}
F -->|> 70%| G[✅ 省到爆<br/>读取打一折]
F -->|< 30%| H[⚠️ TTL 内失效<br/>溢价没回本]
A -->|否,每次都不同| I[走 Batch 半价<br/>或精简 prompt]
H --> I
核心算式:缓存是否划算,取决于"命中率"。一个长 system prompt + 工具说明有 5000 token,被同一会话/同一任务复用。如果只调用 1 次,你白付 25% 写入溢价,亏。如果复用 10 次,你付 1 次写入溢价 + 9 次一折读取,血赚。
黄金组合:Batch + Caching 叠加。Anthropic 的 Message Batches 本身就支持 prompt caching——意味着你可以把"异步半价"和"读取一折"叠在同一份批处理上。对于 eval 评测、固定评测集反复跑的场景,这是能把账单压到原价 5% 以下的核弹级操作,却几乎没人组合使用。
国内开发者最常踩的坑:把会变化的用户输入放在 prompt 开头,把固定的系统指令放在后面——这样前缀一直在变,缓存永远命不中,你付了一堆写入溢价却读不到一折。正确姿势:静态内容(系统角色、工具定义、few-shot 示例、知识库 chunk)永远放最前面,动态内容放最后。 这一条 prompt 顺序调整,就是绝大多数人 cacher 不生效的根因。
Agent 场景有个最隐蔽的吸血鬼:工具定义(tool/function schema)。当你给一个 agent 挂上 10 个工具,每个 schema 连描述带参数有几百 token,那么每一次 API 调用,这套"工具说明书"都会被原封不动重发一遍。
一个 20 轮的 agent loop × 10 个工具 × 平均 300 token/工具定义 = 6 万 token 纯工具开销,且高度重复——这恰好是 Prompt Caching 的完美猎物,但很多人压根没意识到这部分能 cache。
三步止血: 1. 给工具定义开缓存:把所有 tool schema 放在 prompt 最前端(系统消息里),让它们成为可缓存前缀。20 轮 loop 里,19 轮的"工具说明书"读取全部打一折。 2. 精简 schema:很多团队的工具描述写得像散文。把 description 压到一句、参数 enum 收紧、删掉 LLM 用不到的元字段,单工具能省 50%+ token。这是免费的。 3. 按需挂载工具:别一次塞 20 个工具给 agent。用模型路由(参考此前已覆盖的"路由器"主题)先判断意图,只把相关子集挂上去——工具越少,定义越短,幻觉还更少。
组合效果:一个原本每轮烧 8000 token 的 agent loop(含 6000 工具税),经过"工具定义精简 + 开缓存 + 按需挂载",可压到每轮净增约 800 token,降幅超 80%。这正是"输出 token 黑洞"之外的另一条隐形管道,而它藏在你最不会怀疑的地方——你以为只是配置,其实它是账单。
| 维度 | 多数开发者的认知 | 实际的信息差 |
|---|---|---|
| API 定价逻辑 | 按 token/智能收费 | 按"即时性"收费,延迟容忍度=可省的钱 |
| Batch API | 没听说过/嫌麻烦 | 三家都 50% off,eval/清洗/标注全该走它 |
| Prompt Caching | "开了就省钱" | 写入有 25%~200% 溢价,命中率低反而更贵 |
| 缓存顺序 | 随便拼 prompt | 静态前缀必须在前,否则永远不命中 |
| Batch + Caching | 二选一 | 可叠加,eval 场景压到原价 5% 以下 |
| 工具定义 | 配置而已,无关成本 | agent 每轮重发,是隐藏的 token 税,可缓存 |
| ## 行动指南:今晚就能做的三件事 |
一个快速判断公式:如果一个请求用户没在等(夜里跑、批量跑、评测跑),它就不该走实时全价接口——这是本轮最值钱的一句话。
⚠️ 本轮网络搜索/抓取配额已耗尽(2026-07-18 重置),文中价格为截至 2026 年 6 月的公开定价知识,落地前请以厂商最新文档为准。 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。 完成摘要
下一步建议
[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。