先说一个被海外 SRE 和 AI infra 圈反复验证的结论：真实生产流量里，70%–90% 的请求根本不配上顶配模型。 分类、抽取、改写、短摘要、格式化、意图识别、RAG 的二次重排——这些活在 mini/flash 级别的小模型上就能跑到 95 分以上，但你团队的默认姿势往往是「全部走 GPT-4o / Claude Sonnet / Opus，图省事」。
这就是最贵的反模式：default-to-strongest（默认上最强）。它让你在用顶配做鸡毛蒜皮的事。
2026 年，海外把这套问题做成了一门成熟手艺——模型路由（Model Routing）。核心就一句话：在调用前，先让一个几毫秒、几乎不花钱的小分类器看一眼「这题难不难」，简单的甩给最便宜的模型，只有真正烧脑的才放行给顶配。LMSYS 开源的 RouteLLM 在公开 benchmark 上做到过「质量几乎不掉、成本砍掉一半到七成」。
国内几乎没人系统讲这条线。这篇把路由、级联、网关三层讲透，配真实价格算账和能照抄的落地步骤。读完你能立刻把账单砍掉一截，且评测分数肉眼不掉。
省钱的姿势有两种，别搞混：
路由（事前决策）：请求一进来，分类器先打分判断难度，低于阈值的直接走便宜模型，高于阈值的才进顶配。决策发生在推理之前，延迟地板低。代价是需要一份带标注的难度数据来训练/校准分类器。
级联（事后决策）：便宜模型先硬着头皮答一遍，如果它自己「没把握」（置信度低、logprob 偏低、或显式输出 escalate:true），再升级到顶配。决策发生在推理之后。优点是零训练成本；缺点是每条请求都得先付一次便宜模型的费。
flowchart TD
A["用户请求进来"] --> R{"路由分类器\n难度打分"}
R -->|"简单<br/>(低于阈值)"| C["小模型<br/>mini / flash / 开源小参数"]
R -->|"困难<br/>(高于阈值)"| D["顶配模型<br/>GPT-4o / Sonnet / Opus"]
C --> E{"置信度够吗?"}
E -->|"够"| F["✅ 直接返回"]
E -->|"不够(级联回退)"| D
D --> F
style C fill:#d4f5d4
style D fill:#ffd4d4
style F fill:#d4e5ff
实战里这两种常常叠着用：路由先把 80% 的简单活分流走，剩下 20% 让便宜模型试一把，试不动再升顶配——于是真正触达顶配的可能只有 5%–10%。
路由不必从零造轮子。下面这几个海外已经趟平了：
1. RouteLLM（LMSYS，开源，自托管，免费）
仓库 github.com/lm-sys/RouteLLM。学术圈+工程圈双重认可的开源框架，内置 MF（矩阵分解）、BERT 分类器等多种 router。论文结论是：在 MT-Bench、MMLU、Arena-Hard 上，能以约 50% 的成本逼近强模型质量，激进配置能砍到 30% 成本还保住大部分质量。适合有运维能力、想自控的团队。
2. NotDiamond（托管 API）
官网 notdiamond.ai。你把请求丢给它，它替你路由到「最适合且最便宜」的模型，对外宣称是帮客户省下大笔成本的同时不掉点。适合不想碰 infra、想最快接入的团队。按它路由后的模型用量计费，外加少量路由费。
3. Portkey（AI 网关，带条件路由）
官网 portkey.ai。它是个完整的 AI Gateway，支持条件路由（conditional routing）、回退（fallback）、缓存、限流、可观测性。你可以写规则：「含 SQL 关键字的走模型 A，含 thinking 标记的走模型 B」。国产出海团队用得多，因为它顺手把多家 provider 统一成了 OpenAI 兼容接口。
4. Unify（按速度/成本路由）
官网 unify.ai。同一个模型（比如 Llama 3.1 70B）不同 provider 价差巨大，Unify 帮你在 provider 间路由，选「此刻最便宜/最快」的那家。本质是省「同模型不同货」的差价。
5. OpenRouter（统一入口）
官网 openrouter.ai。最知名的统一网关，聚合了几百家 provider。它的 :auto 和各类模型标识让你快速切档；想省极致延迟用 :nitro，想省钱就显式指定 mini 档。它是大多数小团队的「第一站」。
6. Cloudflare AI Gateway（免费）
文档 developers.cloudflare.com/ai-gateway/。免费、全球边缘节点，自带缓存、限流、重试、请求日志和用量分析。把缓存打开后，重复请求直接 0 成本命中——路由+缓存叠 buff，账单再砍一刀。
国产侧可以怎么搭：便宜档完全可以接 GLM-Flash / Qwen-Turbo / DeepSeek 这类小参数或低价档，顶配档才上 Claude Sonnet / GPT-4o。路由层用 Portkey 或自托管 RouteLLM 即可，国内网络也跑得通。
注：以下单价为公开定价的典型量级，各家频繁调价、且按上下文长度/批次有阶梯，落地前务必到
platform.openai.com/docs/pricing、anthropic.com/pricing、ai.google.dev/pricing核对当日价。
设定：每月 100 万次请求，平均每次 1000 输入 token + 200 输出 token。
| 方案 | 走顶配占比 | 月成本（估算） | 省了 |
|---|---|---|---|
| 全量 GPT-4o | 100% | 约 \$4,500 | — |
| 路由：80% → mini，20% → 4o | 20% | 约 \$1,170 | 约 74% |
| 路由+级联：80%→mini，其中一半再升级 | 约 10% | 约 \$900 | 约 80% |
手算一下「路由」那行，让你看清钱去哪了：
一年下来差出 近 \$4 万。这还只是一个中等体量的服务。换成 Claude 系（Sonnet 输入 \$3 / 输出 \$15）差距更夸张，因为顶配的输出 token 单价是 mini 的 20 倍以上——而输出恰恰是路由之后最该省的地方。
路由不是免费午餐，三个坑必须知道：
1. 路由自身的成本与延迟。 分类器再轻，也是有开销的。好处是它通常跑在本地、毫秒级、几乎不要钱（RouteLLM 的 router 多在 10ms 内）。但如果你用「再调一次大模型当判官」这种笨办法，反而把省钱逻辑玩成了烧钱——判官必须便宜。
2. 路由错误（routing error）才是真风险。 把一道难题误判为简单、甩给小模型，结果答错——这才是质量杀手。对客服、医疗、法律、代码生成这类错了代价高的场景，阈值要往保守调，宁可多送几个到顶配，也别漏。对总结、分类、内部工具这类错了无所谓的场景，阈值可以激进。
3. 没有 eval 就别上路由。 路由省下的钱，可能被「质量掉点导致的客户流失」连本带利吃回去。落地前你必须有一份自己的 golden 评测集（几百到上千条带正确答案的真实请求），画出「成本—质量」曲线，找到那个甜蜜点。RouteLLM 的论文也是这么校准阈值的。先测，再路由。
捷径 A（最快，0 训练）：直接上 OpenRouter 或 Portkey。把现有 OpenAI 兼容客户端的 base_url 改成它们的入口，先写两条规则——「明确是分类/提取的走 mini 档，其余默认走原模型」。一周内就能看到账单变化。再加 Cloudflare AI Gateway 的缓存层，重复请求白嫖。
捷径 B（最省，要运维）：自托管 RouteLLM + LiteLLM/Portkey 网关。便宜档接 GLM-Flash / Qwen-Turbo / DeepSeek，顶配档接 Claude / GPT-4o。自己掌控阈值和评测，长期最划算，也最不怕 provider 锁死。
无论哪条，都记住一个原则：把「选模型」这件事，从用户/代码里挪到一个独立的路由层。 代码里永远只调一个 endpoint，是路由层在背后替你做「便宜的归便宜，顶配的归顶配」。这样后续换模型、调比例，都不用动业务代码。
| 维度 | 大多数团队的认知 | 海外成熟做法（信息差） |
|---|---|---|
| 模型选择 | 全部默认走最强模型「图稳」 | 90% 请求配不上顶配，用路由分流 |
| 省钱手段 | 砍 prompt、求免费额度 | 路由+级联，结构性砍 70% 成本 |
| 决策时机 | 没想过 | 路由=事前打分，级联=事后看置信度 |
| 工具栈 | 手写 if/else | RouteLLM / Portkey / Unify / NotDiamond |
| 质量保障 | 拍脑袋 | 自建 golden eval，画成本-质量曲线 |
| 账单大头 | 盯输入 token | 输出 token 单价是 mini 的 20 倍，路由后最该省 |
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。
[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。