> 如果你打开了提示词缓存（Prompt Caching）就觉得账单稳了，这篇要给你泼盆冷水：**缓存开错，账单不降反升**。海外一篇 2026 年 6 月的成本工程长文扒出了一个被 90% 团队忽略的真相——缓存写入（cache write）比正常输入**贵 25%~100%**，命中率不够就是纯亏。今天这篇拆解一套在 Reddit、HN 和工程博客上反复被验证的「五层叠加」成本削减栈：profile → cache → route → batch → compress，配合一个国内开发者可能还没玩熟的**用 GLM-4.6 顶替 Claude 跑 Claude Code** 的价格差杀招，把 API 账单从原价压到 5%。
## 一、先看清楚问题有多大：你的账单为什么失控
海外成本工程师 Ilir Ivezaj 在 2026 年 6 月那篇被广泛转发的《AI API Cost Optimization》里给了一个刺眼的数字：**未优化的 LLM 系统会在 6~9 个月内超支 2~4 倍**（引用 PremAI 的 2026 成本指南）。三股力量在悄悄烧钱：
1. **冗余请求**：没有缓存，每次都把同样的系统提示词、工具定义、检索文档重新喂一遍。
2. **大炮打蚊子**：用 Opus / GPT-5 这种旗舰模型去分类、提取、回答 yes/no。
3. **工具上下文膨胀**：agentic 工作流里每个请求都把完整的工具目录（tool catalog）打包进去，输入 token 悄悄爆炸。
更隐蔽的是**输出 token 是输入 token 的 3~5 倍贵**。Claude Sonnet 4.6 输入 \$3/百万、输出 \$15/百万，差整整 5 倍。所以「把输出砍短一截」比「把输入砍短一截」划算得多——这是后面第四层的关键。
下面这张流程图就是整套五层栈，每一层都独立省钱，而且**会叠加**（不是取最大值，是相乘）。
```mermaid
flowchart TD
A["原始请求
假设原价 100%"] --> B{"第0层：先埋点测量"}
B -->|"统计 模型/token/成本
找出烧掉80%的2-3个端点"| C{"第1层：缓存"}
C -->|"精确命中(亚毫秒)"| R["0.1x 返回
直接省90%"]
C -->|"未命中"| D{"第2层：路由分级"}
D -->|"简单: 分类/提取"| E1["本地 Qwen/GLM 0$ 或
Haiku/4o-mini 0.25-1$/M"]
D -->|"中等: 总结/写作"| E2["Sonnet 4.6 3$/M"]
D -->|"复杂: 架构/推理"| E3["Opus 4.8 5$/M"]
E1 --> F{"实时返回?"}
E2 --> F
E3 --> F
F -->|"否: 离线批处理"| G["第3层: Batch API
直降50%"]
F -->|"是"| H["第4层: 压缩+结构化输出"]
G --> H
H -->|"LLMLingua + JSON
输出砍60-80%"| Z["最终 ≈ 原价5%"]
R --> Z
```
## 二、第一层：缓存——最便宜也最容易被玩砸
海外 2026 年 5 月那篇《How to Cut Your AI API Bill by 90%》给了一张各家缓存折扣的对照表，这就是你要先背下来的信息差底牌：
| 厂商 | 缓存支持 | 命中折扣 | **最低缓存门槛** | 触发方式 |
|------|---------|---------|----------------|---------|
| Google Gemini | 是 | ~90% off（Flash 约 \$0.05/M） | **32,768 tokens** | 手动 |
| OpenAI | 是 | ~75% off（\$0.50/M 取代 \$2.00/M） | **1,024 tokens** | 自动 |
| Anthropic Claude | 是 | ~90% off（Sonnet 约 \$0.30/M） | **8,192 tokens** | 手动 |
| xAI Grok | 是 | ~90% off（Grok 4.3 约 \$0.13/M） | **1,024 tokens** | 自动 |
**认知差就在这张表里**：很多人以为「我开了缓存就省了」，结果三类静默翻车：
**翻车点 1：前缀没到最低门槛，缓存根本没生效。** 你在 Gemini 上缓存一个 2 万 token 的提示词——它要求 **32,768** 起步，差一点，全价照付，日志里不会有任何警告。Anthropic 要 8,192，OpenAI 只要 1,024。**先量你的系统提示词够不够门槛，再谈缓存。**
**翻车点 2：缓存写入比正常输入还贵。** 这是最反直觉的一点。按 Anthropic 6 月的定价分解，缓存倍率是：
| 操作 | 相对基础输入价的倍率 | 回本条件 |
|------|---------------------|---------|
| 普通输入 | 1.0× | — |
| 5 分钟缓存写 | **1.25×** | 命中 1 次回本 |
| 1 小时缓存写 | **2.0×** | 命中 2 次回本 |
| 缓存读（命中） | 0.10× | 90% off |
| Batch + 缓存读 | ~0.05× | 折扣叠加 |
也就是说，**命中率低时缓存是负收益**。如果你每次请求都微调系统提示词里的时间戳、用户名、动态参数，前缀永远变，写入成本 1.25~2 倍白付，命中又拿不到。规则只有一条：**把会变的内容（用户查询）放在缓存前缀之后，绝不能塞进前缀里。改一个字符，整块缓存全失效，重新全价。**
**翻车点 3：以为缓存和 Batch 能随便叠。** 实践中这俩经常打架——批处理时写入的缓存条目，往往在后续请求跑之前就过期了。真要叠，按表里那个 ~0.05× 算（缓存读再叠 Batch 半价），**一个请求能跑到原价 5%**，但前提是离线任务、命中稳定。
实操三层缓存代码（精确哈希 → 语义相似 → 厂商前缀），命中就走第一层零成本返回，是这套栈里 ROI 最高的单点。
## 三、第二层：路由分级——单点就能砍掉六成
海外把这一层叫「highest-leverage win」。Zen Van Riel 的 2026 定价对比显示，旗舰模型和快速模型的价差是 **5~50 倍**。把简单流量路由到便宜模型，**这一层单独就能省 40~60%**。
四层模型梯队（按 6 月平台定价验证）：
| 梯队 | 模型 | 输入 \$/百万 | 典型用途 | 流量占比 |
|------|------|------------|---------|---------|
| 本地 | Qwen3.5-35B（llama.cpp） | \$0 | 开发、测试、简单查询 | 20% |
| 快速 | Haiku 4.5 / GPT-4o-mini | \$0.25~1 | 分类、提取、路由 | 40% |
| 标准 | Sonnet 4.6 / GPT-4o | \$3 | 代码、分析、写作 | 30% |
| 旗舰 | Opus 4.8 / GPT-5 | \$5~15 | 规划、复杂推理 | 10% |
关键工程铁律：**路由决策要用免费启发式规则做，绝不能用模型来决定用哪个模型**（用模型选模型，等于自废武功）。按任务类型、输入长度、是否需要工具调用，亚毫秒就能分流。
还要懂两种路由风格——**分类器路由**（提前定模型）和**级联路由**（cascading，便宜模型先上、置信度不够再升级，FrugalGPT 普及）。级联据说比单一方式成本-质量权衡好约 **14%**。
**质量护栏别省**：采样 3~5% 的路由响应，用旗舰层重跑做参照检查；某类任务的分歧率超过 **3%**，整类升回上一档。没有这层护栏，高流量端点上的静默质量回退能偷偷上线好几周。
## 四、第三层：Batch API——离线任务直接半价
OpenAI、Anthropic、Gemini、Grok 都有 Batch API：把成千上万请求打包成文件，**24 小时内异步处理，输入输出全部 5 折**。日均限额：OpenAI 50M tokens、Gemini 100M、Grok 50M，Anthropic 单批最多 **10 万请求**。
适合一切不需要实时返回的活：文档打标、报告生成、批量分类、数据富化、评估跑分、邮件分类、翻译流水线。代码上 Anthropic 是 `client.messages.batches.create()`，OpenAI 是写 JSONL → `openai.files.create()` → `openai.batches.create()`，三步搞定。
记住前面那个坑：**Batch 和 prompt caching 实战里别强凑**，缓存条目大概率在批处理跑完前就过期了。
## 五、第四层：Token 缩减——别从输入开刀
Hakia 的优化指南点破了顺序：**先砍输出，再砍输入**（输出贵 3~5 倍）。
1. **强制结构化输出**：要 JSON / tool schema，不要散文。一个分类任务，自由文本回答要 ~500 token，强制 JSON 只要 ~50 token，**直接省 90%**。
2. **硬上限 max_tokens**：别让模型絮叨。
3. **对话历史摘要**：超出阈值就用 Haiku 把旧消息压成 200 词摘要，保留最近 4 轮。
4. **程序化压缩 LLMLingua**：微软研究院的 LLMLingua 系列，给每个 token 打重要性分、扔掉低信息量的。**LLMLingua-2 比原版快 3~6 倍**，更适合生产。宣传的 20 倍压缩是峰值不是常态，生产更常见 **4~10 倍**。安全路线：轻度压缩 2~3 倍、精度损失 <5%；中度 5~7 倍、损失 5~15%。LiteLLM 等网关已经把它做成「按租户开启、失败回退」的可选回调，能用消费日志观察。
## 六、第五层（信息差杀招）：用 GLM-4.6 顶替 Claude 跑 Claude Code
这是国内技术人最该知道的**价格差**。Cirra 的技术分析（2025 年 10 月发布）扒得很细：
> GLM-4.6 是 355B MoE、200K 上下文、**MIT 协议开源**。在「CC-Bench」多轮编码评测里，人类评审给出它对 Claude Sonnet 4 **48.6% 的胜率**——也就是说近一半多轮开发任务它比 Sonnet 4 干得更好。GLM-4.6 比 GLM-4.5 少用约 **15% 的 token**，定价约 **\$0.60/\$2 每百万**（输入/输出），对 Claude 的 \$3/\$15——**每 token 便宜约 90%**。
公开基准还更炸：AIME-25 数学推理 GLM 93.9% vs Sonnet 74.3%；LiveCodeBench GLM 82.8% vs 48.9%。Sonnet 4.5 仍在 SWE-bench Verified 单轮补全上领先（77.2% vs 68.0%），所以**关键代码任务仍留旗舰**。
**关键来了——一行环境变量就能让 Claude Code 在终端里默默调用 GLM-4.6**（通过 Novita AI 的 Anthropic 兼容端点）：
```bash
export ANTHROPIC_BASE_URL=https://api.novita.ai/anthropic
export ANTHROPIC_MODEL=zai-org/glm-4.6
```
Claude Code 工具本身不动、IDE 工作流不变，底层 LLM 已换成便宜九成的开源模型。对一个每天烧数百万 token 的 code agent，这就是数量级的省钱。这是典型的「工具就在那里，但 90% 的人只用了原厂贵模型」的**认知差**。
## 七、五层叠加的真实算账
举个具体例子，一支团队每天在 Sonnet 4.6 上跑 **500 万输入 + 100 万输出 token**：
- **原价**：5M × \$3 + 1M × \$15 = \$15 + \$15 = **\$30/天 = \$900/月**
上五层栈后：
1. **路由**：60% 流量降到 Haiku（\$1/\$5）→ 约砍掉一半 → ~\$15/天
2. **缓存**：80% 输入前缀命中、按 0.1× 算 → 再砍约一半 → ~\$8/天
3. **Batch**：离线部分 5 折 → ~\$5/天
4. **Token 压缩**：结构化输出 + LLMLingua 轻度压缩 → ~\$2~3/天
**从 \$30/天压到约 \$2/天，降幅 ≈ 93%，月度从 \$900 降到约 \$60。** 再叠加 GLM-4.6 顶替，还能再砍一层。
## 八、网关：把五层收进一层
2026 年多数团队不再把缓存、路由、成本日志散落在应用代码里，而是收进一个 **LLM Gateway**（你的应用只调一个稳定接口，网关负责多模型路由、语义缓存、故障转移、成本归属）。三家取向：**LiteLLM 自托管、零加价、完全可控**（有 DevOps 能力首选）；**OpenRouter 一把钥匙、配置最快**（但有信用费）；**Portkey 生产可观测 + 语义缓存**。一个聪明的起手式：**先只为「可观测」部署一个网关**，拿到流量数据后再决定缓存和路由，而不是瞎猜。
## 信息差总结
| 维度 | 你以为的 | 别人已经在做的 |
|------|---------|---------------|
| 缓存 | 开了就省钱 | 写入贵 25~100%，命中率低=负收益，需过最低门槛 |
| 路由 | 全程旗舰保稳 | 启发式路由 40~60% 流量到 Haiku，单点省六成 |
| 离线任务 | 实时跑贵也认 | Batch API 直降 50%，24h 内回 |
| 输出 | 越详细越好 | 输出比输入贵 5 倍，结构化 JSON 省 90% |
| Claude Code | 只能跑 Claude | 一行环境变量换 GLM-4.6，每 token 便宜 90% |
| 优化 | 一招制胜 | 五层相乘，能压到原价 5% |
## 行动指南（今天就能做）
1. **先埋点**：每个 LLM 调用记录 model、input_tokens、output_tokens、估算成本，写 JSONL，先找出烧掉 80% 的那两三个端点。
2. **量前缀**：对照那张最低门槛表，确认你的系统提示词够不够缓存门槛，不够就先合并、加长稳定段。
3. **上路由**：把分类/提取类流量降到 Haiku 或 4o-mini，配 3% 分歧率的质量护栏。
4. **离线搬 Batch**：所有不需要实时返回的活全部进 Batch 队列。
5. **试 GLM 顶替**：在 Claude Code 里设那两行环境变量，A/B 对比一周的成本和效果。
6. **压输出**：把自由文本回答改成强制 JSON / tool schema。
7. **可选上网关**：先 LiteLLM 自托管只做可观测，看清楚再缓存/路由。
## 参考来源
- [AI API Cost Optimization: Caching, Model Routing, Batching & Token Reduction — Ilir Ivezaj（2026.06）](https://ilirivezaj.com/ai/ai-cost-optimization)
- [How to Cut Your AI API Bill by 90% (Prompt Caching + Batch API Guide) — Rogue Marketing（2026.05.25）](https://the-rogue-marketing.github.io/how-to-cut-your-ai-api-bill-by-90-percent/)
- [GLM-4.6 vs Claude Sonnet: A Performance & Cost Analysis — Cirra](https://cirra.ai/articles/glm-4-6-vs-claude-sonnet-comparison)
- [AI API Pricing Comparison (June 2026): 50+ Models Side-by-Side — Devtk](https://devtk.ai/en/blog/ai-api-pricing-comparison-2026/)
- [Reduce AI API Costs by 60%: 7 Proven Strategies for 2026 — OfoxAI](https://ofox.ai/blog/how-to-reduce-ai-api-costs-2026/)
> 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护。
> 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。
### 完成摘要（What was done）
### 下一步计划（What's next）
1. **优先**：下一轮（Round 5，trending 社区热议）——可关注海外对 GLM-4.6 顶替 Claude Code 的真实反馈、或 LLM Gateway（LiteLLM/OpenRouter/Portkey）的社区争论。
2. **备选**：把本文算账模板固化成一个可复用的成本核算脚本/表格 skill。
3. 当前 `/tmp` 和工作目录的 bash 写入/删除被沙箱拦截，研究临时文件残留可手动清理。
### 注意事项（If applicable）
- 所有厂商定价引用自 2026 年 5–6 月第三方工程博客（注明「verify against provider's rate card」），**官方价以各厂商定价页为准**，发布前建议二次核验 GLM-4.6 在 Novita / 智谱当前实际报价。
- GLM-4.6 在非编码任务上「更易幻觉、可靠性略低」（第三方评测），换模型前务必在小流量 A/B 验证质量。
> [!tip] 51学通信知识星球
> **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。
> **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。
> **当前规模**：5200 篇主题 / 990 个回答，198 元/年。
> **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。
> **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。
