如果你做过任何正经体量的 LLM 调用，账单大概率是按"实时、按 token、用多少付多少"的默认档结的。这个默认档是各家最贵的那一档。问题是——OpenAI、Anthropic、Google、AWS Bedrock 在它旁边，悄悄摆了一排折扣档：批处理 50% off、承诺量 30–60% off、蒸馏后换小模型再砍 90%。这些折扣不是促销活动，是常驻的定价结构，注册即享、不需要申请、不影响质量。可大多数团队从第一天起就走默认档，从来没抬头看一眼菜单。
这一篇拆四把刀：批处理 API、模型级联路由、承诺吞吐量、蒸馏微调。它们共同的特点是——不是"省着用"，而是"换一个计费入口用"。同样的活儿，账单可以直接砍掉一半到九成，且输出质量分毫不差。
这是四把刀里最干净的一把，也是信息差最大的一把。
原理：把一批请求一次性打包提交，平台在 24 小时内异步跑完，价格直接打五折。延迟从秒级变成小时级，换来的是 50% 的硬折扣。
三家主流厂商都常驻开放：
| 平台 | 接口 | 折扣 | 单批上限 | 完成窗口 |
|---|---|---|---|---|
| OpenAI | Batch API | 50% off | 50,000 请求 / 100MB | 24h 内 |
| Anthropic | Message Batches | 50% off | 100,000 请求 / 批 | 24h 内 |
| Google Vertex AI | Batch Prediction | 按模型有批处理价 | 大规模 | 数小时级 |
| AWS Bedrock | Batch Inference | 50% off | 大规模 | 24h 内 |
关键点：打折的是"排队时间"，不是模型本身。 你跑的还是 GPT-4o、Claude Sonnet 4.x、Gemini 2.5 Pro 同款权重，输出 token 分布、推理深度、工具调用能力完全一致。这一点很多人有误解，以为"批处理=阉割版模型"，于是白白放弃五折。
算笔账（单价为示意，以官网 Pricing 为准）：
| 模型（实时档） | 输入/输出 每 1M token | 批处理档（五折） |
|---|---|---|
| GPT-4o 类 | $2.5 / $10 | $1.25 / $5 |
| GPT-4o-mini 类 | $0.15 / $0.60 | $0.075 / $0.30 |
| Claude Sonnet 4.x 类 | $3 / $15 | $1.50 / $7.50 |
| Claude Haiku 3.5 类 | $0.80 / $4 | $0.40 / $2 |
一个跑评估集、数据标注、批量翻译、文档摘要的活儿，实时档烧 $2000，批处理档 $1000，省下的 $1000 是纯利润。
哪些活儿适合丢进批处理：
哪些活儿不能进批处理：
OpenAI Batch 的最小操作链（伪代码）：
# 1. 生成 JSONL，每行一个请求
lines = [json.dumps({
"custom_id": f"req-{i}",
"method": "POST",
"url": "/v1/chat/completions",
"body": {"model": "gpt-4o", "messages": [...]}
}) for i, sample in enumerate(dataset)]
# 2. 上传文件 → 创建批任务 → 24h 内取回
file = openai.files.create(file=io.BytesIO("\n".join(lines).encode()), purpose="batch")
job = openai.batches.create(input_file_id=file.id, endpoint="/v1/chat/completions", completion_window="24h")
# 状态变化：validating → in_progress → completed → 拉结果文件
Anthropic Message Batches 的链路几乎一样：batches.create() 提交，轮询状态，最后拉结果。一夜之间把上万条请求跑完，账单只认五折价。
一个隐藏认知：很多人觉得"批处理不就是等一天嘛，谁受得了"。但实际上，一个团队里至少有 30–50% 的 token 消耗是离线任务产生的（eval、标注、回填、索引）。这半壁江山天然属于批处理，只是默认接到了实时 endpoint 上。
第二把刀针对的是"杀鸡用牛刀"——所有请求都打到最贵的旗舰模型，而其中八成其实是个便宜小模型就能搞定的。
原理：在请求和模型之间加一层路由器。简单的请求（分类、抽取、FAQ）丢给 Haiku / 4o-mini / Gemini Flash 这类百倍便宜的小模型；只有路由器判定"搞不定"的硬骨头，才上发给 Sonnet / Opus / GPT-4o / Gemini Pro。
请求进来
↓
[路由判断] 难度评估
├─ 简单(约80%) → Haiku/4o-mini/Flash 单价 $0.25–0.8/1M
└─ 困难(约20%) → Sonnet/Opus/Pro 单价 $3–15/1M
核心工具：
算笔账：假设日均 100 万次请求，全部打 Sonnet（$3/$15）：
质量上，只要路由器阈值调好，整体准确率基本贴着全 Sonnet 跑。这是一笔几乎免费的 58% 折扣——成本花在"加一层路由"，收益是模型账单直接腰斩。
进阶玩法：加一层语义缓存。请求先过 embedding 相似度检索，命中过的直接返回缓存结果，连小模型都不调用。三者叠加——缓存命中 + 级联 + 批处理——能把账单压到原价的 5–10%。
flowchart TD
A[请求进入] --> B{语义缓存命中?}
B -- 是 --> C[直接返回, 零 token 费]
B -- 否 --> D{延迟敏感?}
D -- 否 --> E[丢进 Batch API, 五折]
D -- 是 --> F{路由器判定难度}
F -- 简单, 约80% --> G[便宜小模型<br/>Haiku/4o-mini/Flash]
F -- 困难, 约20% --> H[旗舰模型<br/>Sonnet/Opus/Pro]
E --> I[24h 内取回结果]
G --> I
H --> I
C --> I
style C fill:#d4edda
style E fill:#cce5ff
style G fill:#fff3cd
style H fill:#f8d7da
前两把刀适合"间歇性、可延迟"的负载。如果你的生产负载是高且稳定的——比如一个每天稳定跑量的客服 agent、一个恒定吞吐的文档处理管线——第三把刀专门给你：承诺吞吐量（Provisioned Throughput / Committed Use）。
原理：跟云厂商签一个承诺期（按月或按年），锁定一定的吞吐量配额，换取显著折扣（常见 30–60% off）。本质是你用"承诺一定用量"换"单价下调 + 容量保障"。
| 平台 | 机制 | 形态 |
|---|---|---|
| AWS Bedrock | Provisioned Throughput | 按 Model Unit，小时/月级承诺 |
| Azure OpenAI | Provisioned (PTU) | 预留单位，按小时计 |
| Google Vertex AI | Committed Use Discount (CUD) | 承诺期折扣 |
| Anthropic | Reserved Capacity | 承诺 token/spend，换折扣 |
经验法则：如果你的预留容量稳定利用率能超过 60–70%，承诺档稳赢按量档。低于这个利用率，说明负载太抖，老老实实按量付费更划算——因为承诺档"用不满也得付"。
适合谁：
不适合谁：
算笔账：一个日均稳定 5 亿 token 输入的文档处理 SaaS，按量档月烧约 $15000。签一年承诺档（假设 45% off），月成本约 $8250，一年省 $81000。代价是绑定承诺期——但如果负载真稳定，这笔绑定几乎零风险。
提醒：承诺档是把"单价"锁下来，不是把"总账"锁下来。签之前先拿历史 30 天的 token 曲线算清楚利用率，别被销售一忽悠就签长约。
第四把刀针对的是重复性强的窄任务——比如固定格式的字段抽取、特定领域的分类、标准化的格式转换。这类任务，你其实不需要旗舰模型的通用智能，你需要的是一个"在窄领域里被旗舰模型教过的小模型"。
原理（蒸馏，distillation）：
结果：窄任务上，微调小模型的准确率往往能逼近甚至追平未微调的旗舰模型，而推理单价只有旗舰的 1/30 到 1/50。
工具支撑：
算笔账：一个发票字段抽取任务，日均 50 万次，原本走 Sonnet：
适合的窄任务（这类任务的共性是"重复、格式固定、判断范围小"）：
不适合：开放式创作、长链推理、需要泛化到新领域的任务——这些蒸馏压不住，还是得上旗舰。
认知差：很多人把"微调"理解成"让模型变聪明"，于是拿通用 benchmark 去衡量微调小模型，得出"不如旗舰"的结论。蒸馏的正确心智是——微调不是为了通用变强，是为了在窄任务上把旗舰的局部能力"搬"到便宜底座上。评判标准应该用你自己的窄任务 eval，不是 MMLU。
| 维度 | 默认认知（贵） | 信息差认知（省） | 差距 |
|---|---|---|---|
| 计费入口 | 全部走实时按量 endpoint | 离线任务走 Batch API | 省 50% |
| 模型选择 | 所有请求打旗舰模型 | 级联路由，80% 打小模型 | 省 50–60% |
| 长期负载 | 按量付费 | 承诺吞吐量锁价 | 省 30–60% |
| 重复窄任务 | 永远调旗舰 | 蒸馏成微调小模型 | 省 90–95% |
| 命中过的请求 | 每次重新算 | 语义缓存直接返回 | 省 100% |
| 整体策略 | 单点抠 token | 按"任务画像"分流到不同折扣档 | 综合 50–90% |
核心心智：省钱不是"少用"，是"换计费入口"。同样一个请求，丢进批处理队列就五折，过个路由器就走小模型，签个承诺量就锁价，蒸馏一下就换成便宜底座。token 数没变，账单砍半。
审计你的调用，按"延迟敏感度"分流。拉最近 7 天的调用日志，给每类请求打标签：在线交互 / 离线任务。把所有离线任务（eval、标注、回填、索引）的 endpoint 换成 Batch API。这一步通常立刻省掉 30–50%。
加一层路由器。用 LiteLLM 或 RouteLLM 在请求前加一层，简单请求走 Haiku/4o-mini/Flash，难请求才上旗舰。先用 10% 流量灰度，盯住质量指标，逐步放大。目标：80% 流量压到小模型。
算稳定负载的利用率。拿历史 30 天 token 曲线，算日均/峰值比。如果稳定利用率 > 60%，找你的 provider 销售谈承诺档报价，对比按量价算回本周期。
找你的热路径窄任务做蒸馏。挑一个重复性最强、格式最固定的任务（通常是抽取/分类），用旗舰模型跑 1–5 万样本，蒸馏到小模型，A/B 验证质量不掉后全量切换。这一个动作往往省掉单任务 90% 成本。
一句话优先级：先 Batch（零风险、当天上线）→ 再路由（一周灰度）→ 再蒸馏（针对最大窄任务）→ 负载跑稳后谈承诺量。
说明：本轮检索触发了平台月度配额上限（限流至 2026-07-18 重置），以上单价为基于历史文档的示意值，各平台 2026 年现行价格请以官方 Pricing 页为准。机制（50% 批处理折扣、路由级联、承诺量折扣、蒸馏）均为各家常驻定价结构，非促销。
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。
[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。