首页 › cost-hacks › 别再手动选模型了：一个路由器砍八成费

别再手动选模型了：一个路由器砍掉八成 API 费

你还在为每个请求纠结"用 GPT-4o 还是 mini"吗？海外早有一批团队把这件事交给一个叫 Router（路由器） 的中间层：它能看一眼请求难度，把 80% 的简单问题自动丢给三毛钱的小模型，只把真正硬骨头留给旗舰。LMSYS（就是搞 Chatbot Arena 那帮人）开源的 RouteLLM 实测能砍掉最高 85% 成本，同时保住 95% 的 GPT-4 质量。这是国内 90% 开发者还没用上的成本杀手锏。

一、信息差在哪：你以为"选对模型"是省钱的终点

打开任何一个中国技术群，聊到 AI 成本，话题永远停在三个地方：换更便宜的 API（DeepSeek/GLM）、上 prompt cache、开 batch 异步。这些我都聊过，确实有用——但它们都犯了一个共同的假设错误：

所有请求，都用同一个模型。

这就像一家医院，不管你来看感冒还是开颅手术，都安排同一个主任医师全程跟诊。问题是，你的请求里有大量"感冒级"任务：分类、抽取、格式转换、简单问答、垃圾过滤。这些任务，GPT-4o 和 Llama-3.1-8B 给出的答案几乎一模一样，但价差是125 倍到 333 倍。

我直接从 OpenRouter 的实时定价接口（openrouter.ai/api/v1/models）拉了一手数据，换算成每百万 token 美元，价差触目惊心：

模型	输入 $/Mtok	输出 $/Mtok	相对 GPT-4o 输出价
Meta Llama 3.1 8B Instruct	$0.02	$0.03	1/333
GPT-4o-mini	$0.15	$0.60	1/17
DeepSeek Chat V3.1	$0.21	$0.79	1/13
Claude 3 Haiku	$0.25	$1.25	1/8
GPT-4o（旗舰）	$2.50	$10.00	基准

注意 Llama-3.1-8B 的输出价：每百万 token 3 美分。一个能在 80% 任务上替代旗舰的模型，便宜了 333 倍。你不是缺便宜模型，你是缺一个在运行时自动切换它们的开关。这个开关，就叫 Model Router（模型路由器）。

补一个时效彩蛋：就在今天（2026-06-17），OpenRouter 模型列表里已经能看到昨天（6 月 16 日）刚上架的 z-ai/glm-5.2（1M 上下文窗口）。这正是路由器的隐藏价值——新模型上线，你一行代码都不用改，路由器自动把它纳入候选池，按价格/质量动态分配。

二、四个能立刻抄的实战工具

1. RouteLLM（开源，论文级硬核）

来自 LMSYS 的开源框架，这是整个赛道的标杆。一手 README 里写得明明白白的两个核心数字：

reduce costs by up to 85% while maintaining 95% GPT-4 performance（在 MT-Bench 等基准上）
达到与商业路由方案相同性能，但便宜 40% 以上

它的原理极简：你配一个"强模型"（如 GPT-4o）和一个"弱模型"（如 Llama-8B / Mixtral），路由器是个训练好的轻量分类器，每个请求打一个难度分，超过阈值才升级到旗舰。官方推荐 mf 路由器（矩阵分解模型，又强又轻）。

四行代码替换你的 OpenAI client：

from routellm.controller import Controller
client = Controller(
  routers=["mf"],
  strong_model="gpt-4o",
  weak_model="openai/gpt-4o-mini",   # 或更狠：Llama-3.1-8B
)
response = client.chat.completions.create(
  model="router-mf-0.5",   # 0.5 是成本阈值
  messages=[{"role": "user", "content": "你好"}]
)

最妙的是阈值可校准：官方提供脚本，基于你的真实流量分布，算出"把 N% 请求留给旗舰"该用哪个阈值：

python -m routellm.calibrate_threshold --routers mf --strong-model-pct 0.5
# 输出：threshold = 0.11593

它底层用的是 LiteLLM，所以 OpenAI、Anthropic、Gemini、Bedrock、Together、本地 Ollama 全都能接。还有一个杀手锏：虽然路由器是用 GPT-4 + Mixtral 训练的，但官方实测泛化到任意强弱模型对，无需重训。

2. LiteLLM Router（生产级网关，有成本追踪）

RouteLLM 适合"研究 + 双模型切换"，LiteLLM 则是生产级全家桶。它是国内独立开发者用得最多的 LLM 网关，路由能力分两层：

SDK 层：Router 带 retry/fallback 逻辑（比如 Azure 挂了自动切 OpenAI），应用级负载均衡 + 成本追踪。
Proxy 层：独立 API 网关，支持多租户按项目/用户拆账、virtual keys、admin dashboard。这是给团队用的——老板能直接看到哪个项目烧了多少钱。

路由策略丰富：simple-shuffle（轮询）、latency-based（选最快的）、usage-based（按预算分配）、cost-based（按价格优先）、least-busy（选最闲的）。fallback 链长这样：

model_list:
  - model_name: smart-pick
    litellm_params:
      model: gpt-4o              # 先试旗舰
  - model_name: smart-pick       # 同名 = fallback
    litellm_params:
      model: openai/gpt-4o-mini  # 旗舰挂了/超预算，降级
  - model_name: smart-pick
    litellm_params:
      model: meta-llama/llama-3.1-8b-instruct  # 再降级

3. OpenRouter（聚合器，一个 key 用全家）

不想自己搭网关？OpenRouter 是最快的起步方案：一个 API key、一个 endpoint，访问几百个模型。它的定价就是我在上面那张表里抓的实时数据。适合两类人：

想立刻试水模型路由、又懒得部署的小团队——换 model 名字即换模型，0 成本 A/B。
追求极致便宜——它接入了 Llama-3.1-8B（$0.03/Mtok 输出）这种近乎白送的模型，配 fallback 几乎免费跑量。

4. Martian / Portkey（商业托管路由）

如果你要的是"开箱即用、零运维"：Martian 的 Model Router 提供 OpenAI 兼容 API，自动优化成本/延迟/质量三角；Portkey 是企业级 AI 网关，支持 1600+ 模型的条件路由 + 成本路由 + 缓存。适合不想碰开源、有预算的团队。

三、这套东西到底能省多少：给你算笔账

以一个真实场景建模：你的应用每天 100 万次请求，每次平均 1500 input + 500 output token。

方案 A：无脑全用 GPT-4o（多数团队的现状） - 输入：1500 × 1M = 1.5B token × $2.5/M = $3,750/天 - 输出：500 × 1M = 500M token × $10/M = $5,000/天 - 合计：$8,750/天 ≈ $26.3 万/月

方案 B：RouteLLM 路由，80% 请求降到 GPT-4o-mini - 80% → mini：输入 1.2B × $0.15 + 输出 400M × $0.60 = $180 + $240 = $420 - 20% → GPT-4o：输入 300M × $2.5 + 输出 100M × $10 = $750 + $1,000 = $1,750 - 合计：$2,170/天 ≈ $6.5 万/月 → 省 75%

方案 C：再激进点，简单请求路由到 Llama-3.1-8B - 80% → Llama 8B：输入 1.2B × $0.02 + 输出 400M × $0.03 = $24 + $12 = $36 - 20% → GPT-4o：$1,750 - 合计：$1,786/天 ≈ $5.4 万/月 → 省 79.6%

方案 C 的数字已经逼近 RouteLLM 官方宣称的"85%"。关键认知：省下的钱里，80% 来自那 80% 被降级的"感冒级"请求，而你几乎察觉不到质量损失——因为它们本来就用不上 GPT-4o 的能力。

四、模型路由的工作流（一张图看懂）

flowchart TD
    A["用户请求进来"] --> B{"Router 路由器<br/>难度评分"}
    B -->|"简单：分类/抽取/格式化<br/>占比 ~80%"| C["便宜模型<br/>Llama-3.1-8B / GPT-4o-mini<br/>输出 $0.03–0.6/Mtok"]
    B -->|"复杂：推理/代码/长文<br/>占比 ~20%"| D["旗舰模型<br/>GPT-4o / Claude<br/>输出 $10/Mtok"]
    C --> E["返回结果"]
    D --> E
    D -. "失败/超预算" .-> F["Fallback 降级<br/>自动切到 mini"]
    F --> E

    style C fill:#d4edda,stroke:#28a745
    style D fill:#f8d7da,stroke:#dc3545
    style B fill:#fff3cd,stroke:#ffc107

五、信息差总结：你知道的 vs 别人已经在做的

维度	大多数人（你知道的）	少数人（信息差）
模型选择	全程手动挑一个模型	Router 运行时自动按难度分配
简单请求	也喂给 GPT-4o，白烧钱	路由到 $0.03/Mtok 的 Llama 8B
降本手段	只会换 API + cache + batch	多了一层路由（可叠加在缓存之上）
工具认知	知道 LiteLLM 只当 SDK	当 Proxy 网关 + 成本路由 + 多租户账
新模型上线	改代码、改配置	路由器自动纳入候选池，零改动
质量担忧	怕小模型拖后腿	RouteLLM 实测保住 95% GPT-4 质量

六、行动指南：今天就能落地的三步

30 分钟试水：用 OpenRouter 注册一个 key，把应用里某个低风险链路（如日志分类、垃圾过滤）的 model 从 GPT-4o 换成 meta-llama/llama-3.1-8b-instruct。先验证质量可接受，再看账单降幅。
一天接 RouteLLM：按本文第二节的四行代码替换 OpenAI client，strong/weak 配 gpt-4o + gpt-4o-mini，跑 calibrate_threshold 校准你的真实流量分布。先用保守的 strong-model-pct=0.7（70% 留旗舰），稳了再往下调。
团队级上 LiteLLM Proxy：当你有多个项目/多人时，部署 LiteLLM 网关，开 cost-based 路由 + 多租户账，把"谁在烧钱"可视化。这步是规模化的分水岭。

一句话提醒：路由器和 prompt cache 是叠加关系，不是二选一。路由器决定"用哪个模型"，缓存决定"算不算重复"。两者一起上，才是真正的成本最优解。

参考来源

RouteLLM 官方仓库（LMSYS，含 85% 降本数据与 calibrate 脚本）：https://github.com/lm-sys/RouteLLM
RouteLLM 论文（arXiv 2406.18665）：https://arxiv.org/abs/2406.18665
LMSYS 路由博客：https://lmsys.org/blog/2024-07-01-routellm/
LiteLLM 路由文档：https://docs.litellm.ai/docs/routing
OpenRouter 模型实时定价接口：https://openrouter.ai/api/v1/models

本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护。聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入