# 慢一拍省一半：AI推理三把砍价刀 **导语**：很多人不知道，海外三大模型厂商（OpenAI、Anthropic、Google）的定价表里藏着一个隐形开关——只要你愿意放弃"立刻给我结果"，价格直接对半砍。再加上"先让便宜模型试试"和"能检索就别生成"这两招，把一条 API 流水线的成本压到原来的 10%~20% 完全可能。这篇拆解的就是这套**"放弃即时性换价格"**的套利玩法，每把刀都有具体模型名、价格数字和操作步骤，看完能直接套到自己的项目上。 --- ## 一、信息差的本质：定价表是按你的"急迫程度"分层卖的 先讲一个被国内开发者严重忽略的事实：**模型厂商不是按"一个模型一个价"在卖，而是按"你要等多久、要多聪明的脑子、要不要现写现编"这三个维度分层定价。** 绝大多数人只买最贵的那档（实时 + 最强模型 + 现场生成），等于每次都点外卖加急 + 米其林 + 现做。 你只要肯分别松开这三个旋钮里的任意一个，账单就降一档： - 松开**延迟**旋钮（接受 24 小时内出结果）→ **价格直接 5 折**（Batch API） - 松开**模型档位**旋钮（80% 的请求让小模型先扛）→ **再砍 50%~70%**（路由级联） - 松开"**必须现场生成**"旋钮（能查就别写）→ **降一两个数量级**（嵌入检索替代生成） 三把刀叠加，是一个相乘关系，不是相加。下面逐个拆。 --- ## 二、第一把刀：批处理半价（Batch API） ### 1. 这是真的半价，不是优惠券 OpenAI、Anthropic、Google 三家都有一条"批发通道"： - **OpenAI Batch API**：把请求打成 JSONL 文件提交，**24 小时内**处理完返回结果，**全部费用按标准价的 50% 结算**。单批最多 50,000 个请求、文件最大约 256 MB。 - **Anthropic Message Batches API**：同样 **50% off**，单批最多 100,000 个请求，24 小时 SLA。 - **Google Vertex AI Batch Prediction（Gemini Batch API）**：同样 **50% off**。 也就是说，**同一个 GPT-4o、同一个 Claude Opus，只要你不要求它秒回，就一律半价**。这不是促销活动，是常设定价（OpenAI 自 2024 年中上线起就这么定）。 ### 2. 折后到底便宜多少（以标准公开价为基准） | 模型 | 标准价（输入/输出，每百万 token） | Batch 折后价 | 省幅 | |---|---|---|---| | GPT-4o | $2.50 / $10.00 | $1.25 / $5.00 | 50% | | GPT-4o mini | $0.150 / $0.600 | $0.075 / $0.300 | 50% | | Claude Opus | $15 / $75 | $7.50 / $37.50 | 50% | | Claude Sonnet | $3 / $15 | $1.50 / $7.50 | 50% | | Claude Haiku | $0.25 / $1.25 | $0.125 / $0.625 | 50% | > ⚠️ 以上为公开标准价基准，模型厂商会不定期调价，下单前务必去官方 pricing 页核对最新数字。 ### 3. 哪些场景适合、哪些不适合 **适合（赚翻）**：批量分类、批量打标签、批量摘要、批量翻译、数据集标注、embedding 生成、文档库问答的前置预处理、情感分析、合规审查。这些活儿共同点是——**不需要 24 小时内，甚至明天出结果都行**。 **不适合（别用）**：实时聊天机器人、用户正在等的代码补全、对话式搜索。这些场景你没法等。 ### 4. 三步走通（以 OpenAI 为例） 1. **打包**：把 N 条请求写成 JSONL，每行一个标准 chat/completions 请求体，上传到 Files 接口。 2. **建批**：调 `batches` 接口，指定 endpoint（如 `/v1/chat/completions`）和这个文件，提交。 3. **取货**：去后台或轮询状态，`completed` 后下载结果 JSONL。Anthropic 和 Gemini 流程几乎一样。 一个常见的坑：**别把需要实时上下文的请求混进去**。Batch 是无状态、互相独立的，你不能在 batch 里让第 5 条请求依赖第 4 条的输出。要做依赖链的，先在本地跑成扁平任务再批量。 --- ## 三、第二把刀：模型级联路由（Router / Cascade） ### 1. 一个被反复验证的结论：你的请求里 80% 是"简单题" lm-sys（就是做 Chatbot Arena 的那群人）做了开源项目 **RouteLLM**，斯坦福更早提出了 **FrugalGPT**，微软有 **Hybrid LLM**。它们的核心结论惊人地一致：**真实流量里，绝大多数请求其实小模型就能答对，只有少数难题才需要最强模型。** 如果不分难易一律上 Opus/GPT-4o，等于每次打苍蝇都用大炮。 级联（Cascade）的逻辑很简单： - 来一个请求 → **先让最便宜的小模型答 + 给一个置信度** - 置信度高 → **直接用，结案** - 置信度低 / 检测到是难题 → **升级到中档模型** - 还不行 → **升到最强模型** 各家论文报的省钱幅度普遍在 **50%~80%**，同时基本不掉答题质量。 ### 2. 三种落地姿势，按工程复杂度排 - **最朴素（无脑阈值）**：用关键词/长度/正则先分。比如"翻译这 3 个词"直接走 Haiku；"帮我重构这段 200 行并发代码"走 Opus。零依赖，半天能上线。 - **嵌入分类器（推荐）**：把每个请求算一次 embedding（极便宜），喂给一个轻量分类器（甚至就是个余弦相似度 + 几条标杆向量），预测该走哪档。成本低、速度快。 - **开源 Router**：直接接 **RouteLLM**（GitHub: `lm-sys/RouteLLM`）或走 **OpenRouter**（`openrouter.ai`，一个 API key 调全家桶，自带模型选择）。想自己训就参考 FrugalGPT 的 score-based cascade。 ### 3. 国产模型天然适合当"第一层" 这层刀的关键是第一层要**够便宜**。国内有小模型几乎白送的好选项，正好拿来当挡箭牌： - **GLM-4-Flash**（智谱）：有免费额度，轻量任务零成本。 - **DeepSeek + context cache**：命中缓存时输入价直接打折，做高频固定前缀（如 system prompt）特别香。 - **通义千问 Qwen-Turbo / Flash 系列**：按量极低，中文场景质量够用。 第一层让它们扛 80%，只有那 20% 的硬骨头才升级，整体成本能再砍一半以上。 ### 4. 一个容易踩的雷 路由不是万能——**对"答错代价极高"的链路别省钱**（比如医疗、法律、金额计算）。给 Router 设一个白名单：某些意图 / 某些关键词出现，**强制走最强模型**，绕过一切省钱逻辑。 --- ## 四、第三把刀：检索替代生成（Embedding Retrieval over Generation） ### 1. 很多"问 AI"其实是"匹配"问题，根本不需要生成 这是最容易被忽略、也最省钱的一刀。很多时候你以为要"让大模型回答"，其实任务本质是"**在已知答案库里找一条最像的**"——这种活儿，**embedding 检索比 LLM 生成便宜一两个数量级**。 举几个典型： - 客服 FAQ：用户问"怎么退款"，根本不需要 GPT 现场写一段，去 FAQ 库里向量检索最近的一条标准答案，直接返回。 - 知识库问答：先检索 top-k 文档片段，再让小模型做一次"有依据的精简回答"，而不是让大模型从头生成。 - 重复问题去重：来一条新工单，先 embedding 比对，如果是历史问题的近义句，直接复用旧答案。 ### 2. 价格差有多大（直观感受） - 用 **text-embedding-3-small**（OpenAI）给一条文本建索引：约 **$0.02 / 百万 token**，建一次、查无数次。 - 而一次 LLM 生成哪怕用最便宜的 mini 模型，也是按"每条都重新算"收费，还要算上输出 token（输出永远比输入贵好几倍）。 也就是说：**一次 embedding 查询的成本，可能是一次 mini 生成的 1/10 到 1/100，是 Opus 生成的万分之一级别。** 当你的 QPS 上去，这个差距会被放大成账单上的天文数字。 ### 3. 和前两把刀叠加的威力 最佳姿势是三刀连用：先把 FAQ 做成 **Batch + Embedding** 一次性建好索引库（半价建库），运行时用 **Embedding 检索**挡住能匹配的，命中不了的再走 **Router 级联**让模型生成。这样一条用户请求的"平均成本路径"会非常低，只有真正复杂的少数请求才会一路烧到最强模型。 --- ## 五、三刀联动全景图 ```mermaid flowchart TD A[用户请求 / 批量任务] --> B{能否延迟?} B -- 能(非实时) --> C[🔪第一刀: Batch API
半价 5 折] B -- 不能(实时) --> D{能检索命中?} D -- 能 --> E[🔪第三刀: Embedding 检索
成本降 1~2 个数量级] D -- 不能 --> F[🔪第二刀: 模型级联] F --> G[小模型先答] G --> H{置信度高?} H -- 是 --> I[直接返回
省 50%~70%] H -- 否 --> J[升级中档模型] J --> K{够好吗?} K -- 是 --> I K -- 否 --> L[最强模型兜底
仅 20% 流量走到这] C --> M[24h 内批量取回] E --> I I --> Z[返回用户] M --> Z style C fill:#ffe0b2 style E fill:#c8e6c9 style G fill:#bbdefb style L fill:#ffcdd2 ``` --- ## 六、算账：一条流水线压成零头是什么概念 假设你有一个**每日 100 万次 API 调用**的业务（比如电商商品评论批量打标签 + 客服问答），全程无脑用 Claude Sonnet 标准实时接口，粗算每月烧到几万美元很正常。 套上三把刀后的成本路径大致变成： - 其中 60% 是离线打标签 → 走 **Batch（5 折）**。 - 实时部分里 70% 是 FAQ → 走 **Embedding 检索**（几乎不花生成钱）。 - 剩下的"真要生成"里，80% 走 **小模型第一层**直接结案。 - 最后只有极小比例升级到 Sonnet。 **整体账单可以从"100%"压到"10%~20% 左右"**——省下的不是百分之十几，是一个数量级。这就是为什么海外的 indie 开发者能扛住流量、国内同行同样的业务却喊 API 贵。 --- ## 七、信息差总结：你知道的 vs 别人早就在做的 | 维度 | 大多数人的做法（贵） | 信息差玩家（便宜） | |---|---|---| | 离线大批任务 | 实时接口全价跑 | Batch API 半价 | | 简单请求 | 一律上最强模型 | Router 让小模型先扛 | | FAQ/知识库 | 每次让 LLM 现场生成 | Embedding 检索复用 | | 模型选择 | 单家绑死 | OpenRouter 一键全家桶 | | 高频固定前缀 | 每次全量计费 | Prompt caching / context cache 命中打折 | | 第一层小模型 | 没有 | 国产 Flash/Turbo 近乎白送兜底 | --- ## 八、行动指南（按优先级排，今天就能动） 1. **盘点你的 API 账单里"非实时"那部分**（占比往往过半）。把分类、打标、摘要、embedding 生成这些活儿，今天起改成 **Batch API** 提交，**当场省 50%**。这是 ROI 最高、改动最小的一刀。 2. **给实时流量加一层 Router**。先用最朴素的"关键词/意图"分流上线，跑两周看分布；再逐步上 embedding 分类器或接 RouteLLM。目标把 80% 流量截在小模型。 3. **建一个 FAQ / 知识库的 embedding 检索层**，挡在 LLM 前面。能命中的别生成，命不中的再走模型。 4. **设白名单护城河**：高代价场景（金额、医疗、法律）强制走最强模型，别让省钱逻辑误伤。 5. **每月对账时拆到任务级**看分布，别只看总额——哪一刀没生效，账单结构会直接告诉你。 > ⚠️ **风险提示**：Batch 的 24 小时 SLA 意味着遇到链路依赖时不能盲目批；Router 对"答错代价高"的场景要设硬白名单；embedding 检索对"开放性创作"任务不适用，别一刀切。具体定价请以各厂商最新官方页面为准。 --- ## 参考来源 - OpenAI Batch API 官方文档（50% 折扣说明与 JSONL 规范）：https://platform.openai.com/docs/guides/batch - Anthropic Message Batches API 文档（50% off，单批 10 万请求）：https://docs.anthropic.com/en/docs/build-with-claude/batch-processing - Google Vertex AI Gemini Batch Prediction 文档：https://cloud.google.com/vertex-ai/generative-ai/docs/batch-prediction-overview - RouteLLM 开源路由项目（GitHub：lm-sys/RouteLLM）：https://github.com/lm-sys/RouteLLM - FrugalGPT 论文（Stanford，score-based cascade，省 50%+ ）：https://arxiv.org/abs/2305.05176 - OpenRouter（一个 key 调多模型，自带模型路由）：https://openrouter.ai --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护。 > 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。