如果你打开了提示词缓存（Prompt Caching）就觉得账单稳了，这篇要给你泼盆冷水：缓存开错，账单不降反升。海外一篇 2026 年 6 月的成本工程长文扒出了一个被 90% 团队忽略的真相——缓存写入（cache write）比正常输入贵 25%~100%，命中率不够就是纯亏。今天这篇拆解一套在 Reddit、HN 和工程博客上反复被验证的「五层叠加」成本削减栈：profile → cache → route → batch → compress，配合一个国内开发者可能还没玩熟的用 GLM-4.6 顶替 Claude 跑 Claude Code 的价格差杀招，把 API 账单从原价压到 5%。

一、先看清楚问题有多大：你的账单为什么失控

海外成本工程师 Ilir Ivezaj 在 2026 年 6 月那篇被广泛转发的《AI API Cost Optimization》里给了一个刺眼的数字：未优化的 LLM 系统会在 6~9 个月内超支 2~4 倍（引用 PremAI 的 2026 成本指南）。三股力量在悄悄烧钱：

1. 冗余请求：没有缓存，每次都把同样的系统提示词、工具定义、检索文档重新喂一遍。
2. 大炮打蚊子：用 Opus / GPT-5 这种旗舰模型去分类、提取、回答 yes/no。
3. 工具上下文膨胀：agentic 工作流里每个请求都把完整的工具目录（tool catalog）打包进去，输入 token 悄悄爆炸。

更隐蔽的是输出 token 是输入 token 的 3~5 倍贵。Claude Sonnet 4.6 输入 \$3/百万、输出 \$15/百万，差整整 5 倍。所以「把输出砍短一截」比「把输入砍短一截」划算得多——这是后面第四层的关键。

下面这张流程图就是整套五层栈，每一层都独立省钱，而且会叠加（不是取最大值，是相乘）。

flowchart TD
    A["原始请求<br/>假设原价 100%"] --> B{"第0层：先埋点测量"}
    B -->|"统计 模型/token/成本<br/>找出烧掉80%的2-3个端点"| C{"第1层：缓存"}
    C -->|"精确命中(亚毫秒)"| R["0.1x 返回<br/>直接省90%"]
    C -->|"未命中"| D{"第2层：路由分级"}
    D -->|"简单: 分类/提取"| E1["本地 Qwen/GLM 0$ 或<br/>Haiku/4o-mini 0.25-1$/M"]
    D -->|"中等: 总结/写作"| E2["Sonnet 4.6 3$/M"]
    D -->|"复杂: 架构/推理"| E3["Opus 4.8 5$/M"]
    E1 --> F{"实时返回?"}
    E2 --> F
    E3 --> F
    F -->|"否: 离线批处理"| G["第3层: Batch API<br/>直降50%"]
    F -->|"是"| H["第4层: 压缩+结构化输出"]
    G --> H
    H -->|"LLMLingua + JSON<br/>输出砍60-80%"| Z["最终 ≈ 原价5%"]
    R --> Z

二、第一层：缓存——最便宜也最容易被玩砸

海外 2026 年 5 月那篇《How to Cut Your AI API Bill by 90%》给了一张各家缓存折扣的对照表，这就是你要先背下来的信息差底牌：

认知差就在这张表里：很多人以为「我开了缓存就省了」，结果三类静默翻车：

翻车点 1：前缀没到最低门槛，缓存根本没生效。 你在 Gemini 上缓存一个 2 万 token 的提示词——它要求 32,768 起步，差一点，全价照付，日志里不会有任何警告。Anthropic 要 8,192，OpenAI 只要 1,024。先量你的系统提示词够不够门槛，再谈缓存。

翻车点 2：缓存写入比正常输入还贵。 这是最反直觉的一点。按 Anthropic 6 月的定价分解，缓存倍率是：

也就是说，命中率低时缓存是负收益。如果你每次请求都微调系统提示词里的时间戳、用户名、动态参数，前缀永远变，写入成本 1.25~2 倍白付，命中又拿不到。规则只有一条：把会变的内容（用户查询）放在缓存前缀之后，绝不能塞进前缀里。改一个字符，整块缓存全失效，重新全价。

翻车点 3：以为缓存和 Batch 能随便叠。 实践中这俩经常打架——批处理时写入的缓存条目，往往在后续请求跑之前就过期了。真要叠，按表里那个 ~0.05× 算（缓存读再叠 Batch 半价），一个请求能跑到原价 5%，但前提是离线任务、命中稳定。

实操三层缓存代码（精确哈希 → 语义相似 → 厂商前缀），命中就走第一层零成本返回，是这套栈里 ROI 最高的单点。

三、第二层：路由分级——单点就能砍掉六成

海外把这一层叫「highest-leverage win」。Zen Van Riel 的 2026 定价对比显示，旗舰模型和快速模型的价差是 5~50 倍。把简单流量路由到便宜模型，这一层单独就能省 40~60%。

四层模型梯队（按 6 月平台定价验证）：

关键工程铁律：路由决策要用免费启发式规则做，绝不能用模型来决定用哪个模型（用模型选模型，等于自废武功）。按任务类型、输入长度、是否需要工具调用，亚毫秒就能分流。

还要懂两种路由风格——分类器路由（提前定模型）和级联路由（cascading，便宜模型先上、置信度不够再升级，FrugalGPT 普及）。级联据说比单一方式成本-质量权衡好约 14%。

质量护栏别省：采样 3~5% 的路由响应，用旗舰层重跑做参照检查；某类任务的分歧率超过 3%，整类升回上一档。没有这层护栏，高流量端点上的静默质量回退能偷偷上线好几周。

四、第三层：Batch API——离线任务直接半价

OpenAI、Anthropic、Gemini、Grok 都有 Batch API：把成千上万请求打包成文件，24 小时内异步处理，输入输出全部 5 折。日均限额：OpenAI 50M tokens、Gemini 100M、Grok 50M，Anthropic 单批最多 10 万请求。

适合一切不需要实时返回的活：文档打标、报告生成、批量分类、数据富化、评估跑分、邮件分类、翻译流水线。代码上 Anthropic 是 client.messages.batches.create()，OpenAI 是写 JSONL → openai.files.create() → openai.batches.create()，三步搞定。

记住前面那个坑：Batch 和 prompt caching 实战里别强凑，缓存条目大概率在批处理跑完前就过期了。

五、第四层：Token 缩减——别从输入开刀

Hakia 的优化指南点破了顺序：先砍输出，再砍输入（输出贵 3~5 倍）。

1. 强制结构化输出：要 JSON / tool schema，不要散文。一个分类任务，自由文本回答要 ~500 token，强制 JSON 只要 ~50 token，直接省 90%。
2. 硬上限 max_tokens：别让模型絮叨。
3. 对话历史摘要：超出阈值就用 Haiku 把旧消息压成 200 词摘要，保留最近 4 轮。
4. 程序化压缩 LLMLingua：微软研究院的 LLMLingua 系列，给每个 token 打重要性分、扔掉低信息量的。LLMLingua-2 比原版快 3~6 倍，更适合生产。宣传的 20 倍压缩是峰值不是常态，生产更常见 4~10 倍。安全路线：轻度压缩 2~3 倍、精度损失 <5%；中度 5~7 倍、损失 5~15%。LiteLLM 等网关已经把它做成「按租户开启、失败回退」的可选回调，能用消费日志观察。

六、第五层（信息差杀招）：用 GLM-4.6 顶替 Claude 跑 Claude Code

这是国内技术人最该知道的价格差。Cirra 的技术分析（2025 年 10 月发布）扒得很细：

GLM-4.6 是 355B MoE、200K 上下文、MIT 协议开源。在「CC-Bench」多轮编码评测里，人类评审给出它对 Claude Sonnet 4 48.6% 的胜率——也就是说近一半多轮开发任务它比 Sonnet 4 干得更好。GLM-4.6 比 GLM-4.5 少用约 15% 的 token，定价约 \$0.60/\$2 每百万（输入/输出），对 Claude 的 \$3/\$15——每 token 便宜约 90%。

公开基准还更炸：AIME-25 数学推理 GLM 93.9% vs Sonnet 74.3%；LiveCodeBench GLM 82.8% vs 48.9%。Sonnet 4.5 仍在 SWE-bench Verified 单轮补全上领先（77.2% vs 68.0%），所以关键代码任务仍留旗舰。

关键来了——一行环境变量就能让 Claude Code 在终端里默默调用 GLM-4.6（通过 Novita AI 的 Anthropic 兼容端点）：

export ANTHROPIC_BASE_URL=https://api.novita.ai/anthropic
export ANTHROPIC_MODEL=zai-org/glm-4.6

Claude Code 工具本身不动、IDE 工作流不变，底层 LLM 已换成便宜九成的开源模型。对一个每天烧数百万 token 的 code agent，这就是数量级的省钱。这是典型的「工具就在那里，但 90% 的人只用了原厂贵模型」的认知差。

七、五层叠加的真实算账

举个具体例子，一支团队每天在 Sonnet 4.6 上跑 500 万输入 + 100 万输出 token：

• 原价：5M × \$3 + 1M × \$15 = \$15 + \$15 = \$30/天 = \$900/月

上五层栈后：

1. 路由：60% 流量降到 Haiku（\$1/\$5）→ 约砍掉一半 → ~\$15/天
2. 缓存：80% 输入前缀命中、按 0.1× 算 → 再砍约一半 → ~\$8/天
3. Batch：离线部分 5 折 → ~\$5/天
4. Token 压缩：结构化输出 + LLMLingua 轻度压缩 → ~\$2~3/天

从 \$30/天压到约 \$2/天，降幅 ≈ 93%，月度从 \$900 降到约 \$60。 再叠加 GLM-4.6 顶替，还能再砍一层。

八、网关：把五层收进一层

2026 年多数团队不再把缓存、路由、成本日志散落在应用代码里，而是收进一个 LLM Gateway（你的应用只调一个稳定接口，网关负责多模型路由、语义缓存、故障转移、成本归属）。三家取向：LiteLLM 自托管、零加价、完全可控（有 DevOps 能力首选）；OpenRouter 一把钥匙、配置最快（但有信用费）；Portkey 生产可观测 + 语义缓存。一个聪明的起手式：先只为「可观测」部署一个网关，拿到流量数据后再决定缓存和路由，而不是瞎猜。

信息差总结

行动指南（今天就能做）

1. 先埋点：每个 LLM 调用记录 model、input_tokens、output_tokens、估算成本，写 JSONL，先找出烧掉 80% 的那两三个端点。
2. 量前缀：对照那张最低门槛表，确认你的系统提示词够不够缓存门槛，不够就先合并、加长稳定段。
3. 上路由：把分类/提取类流量降到 Haiku 或 4o-mini，配 3% 分歧率的质量护栏。
4. 离线搬 Batch：所有不需要实时返回的活全部进 Batch 队列。
5. 试 GLM 顶替：在 Claude Code 里设那两行环境变量，A/B 对比一周的成本和效果。
6. 压输出：把自由文本回答改成强制 JSON / tool schema。
7. 可选上网关：先 LiteLLM 自托管只做可观测，看清楚再缓存/路由。

参考来源

• AI API Cost Optimization: Caching, Model Routing, Batching & Token Reduction — Ilir Ivezaj（2026.06）
• How to Cut Your AI API Bill by 90% (Prompt Caching + Batch API Guide) — Rogue Marketing（2026.05.25）
• GLM-4.6 vs Claude Sonnet: A Performance & Cost Analysis — Cirra
• AI API Pricing Comparison (June 2026): 50+ Models Side-by-Side — Devtk
• Reduce AI API Costs by 60%: 7 Proven Strategies for 2026 — OfoxAI

  本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。

完成摘要（What was done）

下一步计划（What's next）

1. 优先：下一轮（Round 5，trending 社区热议）——可关注海外对 GLM-4.6 顶替 Claude Code 的真实反馈、或 LLM Gateway（LiteLLM/OpenRouter/Portkey）的社区争论。
2. 备选：把本文算账模板固化成一个可复用的成本核算脚本/表格 skill。
3. 当前 /tmp 和工作目录的 bash 写入/删除被沙箱拦截，研究临时文件残留可手动清理。

注意事项（If applicable）

• 所有厂商定价引用自 2026 年 5–6 月第三方工程博客（注明「verify against provider's rate card」），官方价以各厂商定价页为准，发布前建议二次核验 GLM-4.6 在 Novita / 智谱当前实际报价。
• GLM-4.6 在非编码任务上「更易幻觉、可靠性略低」（第三方评测），换模型前务必在小流量 A/B 验证质量。

[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。