如果你团队的 AI 应用是这样写的——每一行请求都 client.chat.completions.create(model="旗舰模型")，那么恭喜你，你正在为 80%–90% 的请求支付你不需要的智商税。
举个真实的分布：在一个典型的客服 / 文档问答 / 分类 / 摘要混合负载里，真正需要旗舰模型推理能力（多步逻辑、长链代码、复杂数学）的请求通常只占 5%–15%；剩下的大多是"翻译这段""分类这张工单""总结这封邮件""帮我改个错别字"。这些活，一个便宜 10–20 倍的小模型就能干到几乎一样好。
可问题是：你怎么知道哪个请求该走贵的、哪个该走便宜的？模型路由层（Model Routing） 就是干这件事的。今天这轮情报，我们拆一个在国内还没普及、但在海外已经被一线团队验证过的省钱架构——路由 + 缓存的"两级漏斗"，把账单系统性砍掉 50%–70%，而且用户基本察觉不到质量下降。
很多人把"省钱"理解为"换一个更便宜的模型"——比如从 GPT-4o 换到 GPT-4o-mini，或者从 Claude Sonnet 换到 Haiku。这没错，但这是一刀切，会牺牲掉那些真正需要强模型的硬请求的质量。
路由层（Router）干的是更聪明的事：它先看一眼请求，再决定把它送去哪个模型。简单请求走小模型，难请求走大模型，完全自动。
这套思路在 2024 年被 LMSYS（就是做 Chatbot Arena 的那个组织）一篇名为 RouteLLM: Learning to Route LLMs with Preference Data 的论文系统化、开源化了。它的关键创新是：用人类偏好数据训练一个轻量"路由器"，判断"这个 query 交给弱模型会不会翻车"，翻车风险高才升级到强模型。
论文给出的硬数据：在 MMLU、MT-Bench、Arena-Hard-Auto 等 benchmark 上，路由方案在保持强模型约 95% 质量的前提下，把成本压到原来的不到一半——也就是 2 倍以上的降幅。这是一个经过同行评审级别验证的数字，不是营销话术。
为什么这对中国团队尤其值钱？因为国产/开源小模型（GLM、Qwen、DeepSeek、Llama 系列）现在质量已经相当能打，单价却只有旗舰模型的几分之一到十几分之一。路由层让你既吃到小模型的便宜，又不丢掉关键请求的质量——这正是国内大部分团队还没搭起来的那一层。
光有路由还不够。真正把账单砍到底的，是 路由层 + 语义缓存层 串起来的"两级漏斗"。下面这张图是整个请求的生命周期：
flowchart TD
A[用户请求进入] --> B{第一级: 语义缓存命中?}
B -- 命中相似度阈值 --> C[直接返回缓存答案<br/>成本=0, 延迟~10ms]
B -- 未命中 --> D[第二级: 路由器评估难度]
D --> E{请求是否困难?}
E -- 简单/常规 --> F[送小模型<br/>如 GLM-Flash / GPT-4o-mini / DeepSeek]
E -- 复杂/高风险 --> G[送旗舰模型<br/>如 Claude Sonnet / GPT-4o]
F --> H[生成答案]
G --> H
H --> I[写回语义缓存]
I --> J[返回用户]
style B fill:#d4edda,stroke:#28a745
style C fill:#d4edda,stroke:#28a745
style F fill:#cce5ff,stroke:#007bff
style G fill:#f8d7da,stroke:#dc3545
这个漏斗的每一级都在"过滤"流量：缓存层挡掉重复/相似的请求（成本归零），路由层把剩下的请求按难度分流到不同价位的模型。两层叠加，旗舰模型的调用量能被压到总流量的 10%–20%，账单自然断崖式下降。
普通的缓存（比如 Redis 按 prompt 字符串做 key）命中率极低，因为用户很少会一字不差地问两次。语义缓存不一样：它把每次请求转成 embedding 向量，新请求来了先算向量相似度，超过阈值就当作"同一个问题"，直接返回上次的答案。
这一招在客服、FAQ、文档问答这类场景里威力惊人——因为用户的真实问法千变万化，但意图高度集中：
代表工具：
| 工具 | 类型 | 特点 | 适合谁 |
|---|---|---|---|
| GPTCache（zilliztech 开源） | 开源库 | 接入简单，支持 FAISS/Milvus/Chroma 等向量库，可自托管 | 想完全自己掌控、不上云的团队 |
| Redis 向量 + 语义缓存 | 自建 | 跟现有 Redis 栈无缝集成，毫秒级 | 已经在用 Redis 的中后台 |
| LangChain / LlamaIndex 内置 cache | 框架层 | 一行开关 InMemoryCache / RedisSemanticCache |
用这两套框架的应用 |
实战建议：相似度阈值别设太高也别太低。经验值在 0.85–0.92 区间（余弦相似度）。太低会返回不相关答案（用户察觉到质量下降），太高则命中率上不去（白搭一层）。另外，对时效性强或事实会变的 query 要加白名单绕过缓存，否则会返回过期答案。
真实节省：海外多个生产案例报告，问答类负载的缓存命中率能稳定在 30%–60%，意味着这部分请求的 API 成本直接归零。
缓存挡不住的请求，交给路由器。三个主流选择，按"上手成本从低到高"排：
1. LiteLLM（BerriAI 开源，GitHub 最火的 LLM 网关） 这是最务实的起点。LiteLLM 是一个代理，把 100+ 家模型供应商统一成一个 OpenAI 兼容接口，并且内置 Router 模块。你可以配置一条 fallback 链：
router_settings:
routing_strategy: "simple-shuffle" # 或 cost-based
model_list:
- model_name: "auto" # 对外只暴露这一个名字
litellm_params:
model: "gpt-4o-mini" # 先试便宜的
model_info:
mode: "primary"
- model_name: "auto"
litellm_params:
model: "claude-3-5-sonnet" # 质量不够再升级
model_info:
mode: "fallback"
它还自带按请求的成本统计、预算上限、限流，账单一目了然。国内团队想最快落地，从 LiteLLM 起步几乎是唯一答案——文档在 docs.litellm.ai。
2. RouteLLM（LMSYS 开源）
如果你想用论文里那套"偏好数据训练的路由器"做更精细的难度判断，RouteLLM 提供了现成的 router 权重和 CLI，支持 mf（matrix factorization）、bert 等多种路由器类型，在 GPT-4o + Mixtral 这类强/弱组合上验证过。适合对成本极度敏感、有调参能力的团队。
3. 托管网关：Portkey / OpenRouter / Cloudflare AI Gateway 不想自己运维，就用托管的。OpenRouter 直接按 token 计费聚合几百个模型，Cloudflare AI Gateway 提供 caching + 限流 + 监控，免费起步。代价是会过一道第三方。
下面是一份基于公开价格（截至 2026 年中，实际部署前请到官网核验最新报价）的估算。假设你的应用每月 100 万次请求，平均每次输入 1000 token、输出 300 token：
| 模型档位 | 输入价 ($/M tok) | 输出价 ($/M tok) | 月成本（100万次全走它） |
|---|---|---|---|
| 旗舰（Sonnet/4o 级） | ~$3.0 | ~$15.0 | ≈ $7,500 |
| 中端（Haiku/4o-mini 级） | ~$0.25 | ~$1.25 | ≈ $625 |
| 低价（DeepSeek-V3/GLM-Flash 级） | ~$0.14–0.27 | ~$0.28–1.1 | ≈ $200–400 |
一刀切全走旗舰：$7,500/月。
上了两级漏斗后，假设流量这样分流：
优化后总计 ≈ $1,092/月，省掉约 85%。 即便保守一点（缓存命中率只算 25%、路由更偏向质量），把账单从 $7,500 砍到 $1,500–2,500 也是常规操作——这就是"砍掉六成"的来源。
ROI 视角：搭这套架构一个熟练后端 2–3 天能跑通（LiteLLM + 一个向量库），之后每月省下数千美元，且越放量省越多。对独立开发者和小公司，这往往就是"能不能持续烧得起 AI"的分水岭。
第一步（半天）：先上语义缓存，零改动省钱。
如果你的应用是问答/客服类，直接在 LiteLLM 或框架里开 RedisSemanticCache，设阈值 0.9，看一周命中率。这是回报最快、风险最低的一步——缓存命中 = 白嫖。
第二步（1–2 天）：在前面套 LiteLLM 网关，配置 fallback 链。
对外只暴露一个 model: "auto"，内部先试便宜模型，超时或质量信号差才升级。先按 70% 小模型 / 30% 旗舰的保守比例灰度，观察用户反馈，再逐步把比例压向小模型。
第三步（可选，进阶）：引入 RouteLLM 或基于日志训练专属路由器。 当你的请求量够大、能积累"哪些 query 升级了、哪些其实没必要"的标注数据时，训练一个贴合你业务的专属路由器，把 Pareto 前沿再往外推一截。这是规模化团队才会做的精细化动作。
一个常被忽略的彩蛋：别忘叠加 OpenAI Batch API 的 50% 折扣。凡是允许 24 小时内返回的离线任务（批量打标签、批量摘要、数据清洗），打成 JSONL 走 Batch 端点，直接半价，还能和上面的缓存/路由叠加生效。
| 维度 | 大多数人的做法 | 用了路由层后的做法 |
|---|---|---|
| 请求分发 | 所有请求都喂旗舰模型 | 按难度自动分流，旗舰只接 10%–20% |
| 重复提问 | 每次重新调 API 付钱 | 语义缓存命中，成本归零 |
| 成本可见性 | 月底收到账单才知道贵 | LiteLLM 逐请求统计 + 预算熔断 |
| 模型切换 | 改代码、重新发布 | 改网关配置，零代码改动 |
| 月账单（同负载） | $7,500 | $1,000–2,500 |
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。
[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。