如果你正在用实时 API 跑分类、抽取、翻译、评估这类根本不急着要答案的任务，你大概率在给厂商白交 50% 的税。海外有个被严重低估的省钱杠杆——Batch API（批处理 API）。OpenAI、Anthropic、Google 三家都白纸黑字写着"异步换五折"，单批上限动辄十万级请求、24 小时内交付。但据我观察，国内技术圈真正把它接进生产线的不到一成。大部分人卡在两个误解：一是以为"实时才是正道"，二是根本没意识到那些半夜跑的离线任务，换条调用路径就能直接砍半。这篇就把这条和 prompt caching、model routing 并列的"第三条官方折扣暗门"彻底拆开，顺带补上提示词压缩、嵌入批处理两个能往上叠的预处理层——拼起来，你的离线账单能从五折再压到两折。
先看三家到底白送了多少。所谓 Batch API，本质是"我同意等 24 小时，你给我对折"。你把成千上万个请求打包成一个 JSONL 文件上传，系统异步处理，结果再给你一个文件——完全绕开实时的 tokens-per-minute 速率限制。
| 厂商 | API 名称 | 折扣 | 交付窗口 | 单批上限 | 适用模型 |
|---|---|---|---|---|---|
| OpenAI | Batch API | 50% off | ≤24 小时 | 5 万请求/文件 | GPT-4o、4o-mini、o 系列、embeddings 等 |
| Anthropic | Message Batches | 50% off | ≤24 小时 | 10 万请求/批 | Claude 全系列（Opus/Sonnet/Haiku） |
| Gemini Batch API | 50% off | ≤24 小时 | 依配额 | Gemini 1.5/2.0 系列 |
三个关键细节国内很少人讲清楚：
第一，五折是 input 和 output 双砍。 很多人误以为只省输入。错了。OpenAI Batch 和 Anthropic Message Batches 都是对完整 token 计费直接打五折，包括输出。考虑到输出本来就比输入贵 4–5 倍（这正是上一轮讲的"输出税"），五折落在输出上省下的钱非常可观。
第二，不占速率限制。 实时 API 你会被 TPM/RPM 卡脖子，高并发要排队、要升级 tier。Batch 完全走另一条管道，10 万条请求一把梭也不报 429。对那种"今晚把十万个用户评论跑情感分类"的离线任务，这是结构性优势，不光省钱还省心。
第三，Anthropic 的 10 万上限是最大方的。 OpenAI 一个文件 5 万请求（可多文件），Anthropic 单批直接给到 10 万。如果你的离线任务量级大，Claude 这条管道吞吐更高。
不是所有任务都该走 Batch。判断标准只有一个：用户在等这 0.3 秒吗？ 如果答案是"不"，那它就该进 batch 队列。
flowchart TD
A[一个 AI 调用请求] --> B{用户在实时等结果吗?}
B -- 是 --> C{前缀高度重复?}
C -- 是 --> D[走 Prompt Caching<br/>省约 90%]
C -- 否 --> E{任务简单到爆?}
E -- 是 --> F[路由到小模型<br/>省约 25 倍]
E -- 否 --> G[实时大模型]
B -- 否 --> H{可以等 24 小时吗?}
H -- 是 --> I[✅ 走 Batch API<br/>直接五折]
I --> J{前缀还重复?}
J -- 是 --> K[Batch + Caching 叠加<br/>折上折]
H -- 否 --> L[降到准实时队列]
style I fill:#d4edda,stroke:#28a745,stroke-width:3px
style K fill:#d4edda,stroke:#28a745,stroke-width:3px
这张图的关键在右下角：Batch 和 Prompt Caching 不是二选一，是可以叠加的。这意味着两条暗门能复合——一条五折，一条九折缓存，叠完不是五五二十五，而是按各自规则依次打折，对重复前缀的大批量离线任务，最终成本能压到原价的 5% 左右。
很多人不知道哪些任务该异步。给个清单，对号入座：
特别是第 3 条——很多团队在 eval 时习惯性用实时 endpoint，结果每次模型迭代都烧一笔实时费。把 eval 切到 batch，是性价比最高的一次改动，几乎零工程成本。
进了 batch 还能再省。如果你的 prompt 很长（比如带大段 few-shot 示例、长文档），可以先用提示词压缩把输入 token 缩小，再打包进 batch。
微软的 LLMLingua 是这条线最稳的工具。它的逻辑是用一个小模型评估每个 token 的重要性，把低信息量的 token 删掉，号称最高可压 20 倍。三个变体各有侧重：
实操要点：压缩是预处理，可以在本地小模型上跑，成本几乎为零；压缩后的 prompt 再进 batch，等于"压缩省一笔 + 五折省一笔"。但要注意——压缩会带来轻微性能损失，对分类、抽取这类容错高的任务是净赚，对需要逐字精确的任务（代码、数学）要谨慎调压缩率。
embedding 看似便宜，但量一上来也很烧。给百万级文档建向量索引时，走 OpenAI Batch 的 embeddings 端点同样五折。而且 embedding 是最不怕延迟的——你不会让用户等"实时算完这个句子的向量"，它就是该离线灌库。
组合拳很清晰：LLMLingua 压缩文本 → Batch embeddings 五折 → 写入向量库。一条离线 ETL 管道，三个省钱杠杆全开。
以"给 10 万条客服工单跑情感分类"为例，用 GPT-4o，每条平均 300 input token + 50 output token。按官方公示价参考（input $2.50/M、output $10.00/M，以官网实时为准）：
| 方案 | 输入成本 | 输出成本 | 合计 | 相对实时 |
|---|---|---|---|---|
| 实时 GPT-4o | $75 | $50 | $125 | 100% |
| Batch GPT-4o（五折） | $37.5 | $25 | $62.5 | 50% |
| Batch + 路由到 4o-mini | $1.13 | $1.5 | $2.6 | 2.1% |
| Batch + mini + LLMLingua 压缩 3 倍 | $0.38 | $1.5 | $1.9 | 1.5% |
注意这张表的后两行——这才是真正被低估的信息差：绝大多数分类任务根本用不着 GPT-4o。把它路由到 GPT-4o-mini（本身便宜近 17 倍），再叠 batch 五折，再叠提示词压缩，10 万条工单从 125 美元压到不到 2 美元。这不是"优化"，这是从"按实时旗舰算账"切换到"按任务真实需求算账"的视角差。
模型选型的小提醒：很多团队闭眼用旗舰模型，是因为没意识到"分类任务上 mini 和 4o 的准确率差距可能只有 1–2 个百分点，但价格差十几倍"。先在小样本上测准确率，能接受就降级，降级后再进 batch——这是降本的正确顺序。
陷阱一：把用户在线等的东西塞进 batch。 Batch 是 24 小时窗口，不是"快一点"。一旦有用户实时交互的请求被误放进来，体验直接崩。用上面那张决策图的"用户在等吗"这个闸把关。
陷阱二：忽视失效窗口。 24 小时意味着如果你的数据有时效性（比如今天的热点分析），结果出来可能已经过气。评估、分类、建索引这些长期资产类任务才适合。
陷阱三：以为 batch 要改架构。 不用。OpenAI 和 Anthropic 的 batch 都是"上传 JSONL → 拿到一个 batch id → 轮询或等通知 → 下载结果"，几十行代码。最大的成本其实是团队认知——决策者得先承认"我们的离线任务在白交实时税"。
| 你以为的 | 实际的 |
|---|---|
| 实时 API 是唯一调用方式 | 三家都有官方 Batch，直接五折 |
| 五折只省输入 | input/output 全部打五折 |
| batch 占速率限制 | 完全独立管道，不占 TPM/RPM |
| 省钱只有缓存和路由两条路 | Batch + Caching + 路由可复合叠加 |
| 评估必须用实时旗舰 | eval 是最该进 batch 的场景 |
| embedding 量小不用管 | 建索引走 batch embeddings 同样五折 |
microsoft/LLMLingua 开箱即用，先在 few-shot 示例上试 3 倍压缩。一句话收尾：AI 降本最大的信息差，不在找便宜模型，而在"该异步的任务别用实时算"。 缓存是省重复、路由是省难度、batch 是省时间——三把刀你有了几把？
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。
[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。