LLM 级联路由（Cascade Routing）在单 Agent 场景已是公认的省钱利器：RouteLLM 用 26% 的成本守住 GPT-4 约 95% 的性能，企业三层 cascade 普遍砍掉 60%–80% 推理账单。但 2025–2026 年的研究集中暴露了一个反直觉事实——把这套单查询范式直接搬到多智能体系统（MAS），往往会更贵、更慢、更差。MasRouter（ACL 2025）首次指出，多智能体的成本大头不在"给每个 query 选模型"，而在"协作模式 + 角色分配 + 模型"三层联合决策；UCCI（2026）在生产 NER 上证明，级联真正的杀手是未校准的置信度而非选错模型；Chimera（2026）则在异构集群上揭示，调度延迟前沿才是被忽视的轴。本文以这三篇 2026 年最新工作为主轴，拆解级联路由在多智能体里的三个盲区，并给出可落地的阈值校准与编排方案。
| 维度 | 单查询路由（RouteLLM/FrugalGPT） | 校准级联（UCCI） | 多智能体联合路由（MasRouter/Chimera） |
|---|---|---|---|
| 决策粒度 | 每 query 选模型 | 每 query + 置信度阈值 | 协作模式 + 角色 + 模型联合 |
| 核心机制 | 偏好数据分类器 | isotonic 回归校准错误概率 | 级联控制器网络 / 语义路由+拥塞预测 |
| 成本收益 | 95% 性能 @ 26% 成本 | 成本降 31%，F1=0.91 | HumanEval 降 52%，MBPP 性能 +1.8–8.2% |
| 致命盲区 | 忽略协作模式 | 阈值需校准，冷启动难 | 异构调度前沿被忽略 |
| 适用场景 | 单轮 QA、客服 | 结构化抽取、NER | 代码生成、数学推理、长工作流 |
MasRouter 的核心贡献是定义了 MASR（Multi-Agent System Routing）问题：在多智能体里，路由不等于"选 LLM"，而是"选协作模式（debate/reflection/code）→ 分配角色（planner/coder/tester）→ 为每个角色选 LLM"三件事的联合优化。论文用一句话点破盲区：现有路由方法"overlook the critical decisions regarding collaboration modes and agent roles"——你给每个 agent 都路由到最便宜的模型，但协作模式选错（本该 reflection 却用 debate），省下的 token 全被多轮空转吃掉，还更差。
它的工程实现是一个级联控制器网络：第一级判定协作模式，第二级在模式约束下分配角色，第三级才做 LLM 路由，逐级收紧搜索空间。实测数据很硬：MBPP 上比 SOTA 性能高 1.8%–8.2%，HumanEval 上开销降 52.07%，且作为插件接入主流 MAS 框架还能再降 17.21%–28.17%。关键代码骨架（伪代码还原其控制器）：
def masroute(query, budget):
mode = mode_classifier(query) # 第一级：debate / reflect / code
roles = role_allocator(query, mode) # 第二级：在 mode 下分配角色
team = {}
for role in roles:
# 第三级：每个角色独立路由，受预算约束
team[role] = llm_router(role, query, budget_per_role)
return MAS(mode=mode, team=team)
变现评估：这是训练营和咨询的天然素材——"多智能体省钱"是 2026 年企业最痛的点，MasRouter 的三级拆解可以直接包装成 2 天工作坊（协作模式诊断 → 角色精简 → 分级路由），客单价高。缺点是模型本身需训练控制器，中小团队拿不到 inductive 推理能力，落地要先做 mode/role 的规则化简化版。
UCCI 给生产团队泼了一盆冷水：大多数级联用裸的 entropy 或 logit margin 当置信度，这是未校准的——所谓"小模型很有把握"往往是假自信。UCCI 的做法是 calibration-first：用 isotonic 回归把 token 级 margin 不确定性映射成 per-query 错误概率，再用约束成本最小化解出升级阈值。理论保证是 O(n^{-1/3}) 的期望校准误差（ECE）样本复杂度。
它在生产 NER（7.5 万 query，4B+12B 模型，H100 实测延迟）上的结果很说服力：成本降 31%（95% 置信区间 27%–35%），micro-F1 保持 0.91，ECE 从 0.12 砍到 0.03。更重要的是，在同一工作点它打败了 entropy thresholding、split-conformal routing 和 FrugalGPT 式学习阈值。这组对比说明：很多团队折腾半天"换更好的路由器"，其实只要把现有 margin 校准一下就能多省一截。核心片段：
# isotonic 回归把原始 margin 映射为校准错误概率
calibrator = IsotonicRegression(out_of_bounds='clip')
calibrator.fit(margins, error_labels) # error_labels 来自留出集人工/强模型判定
p_err = calibrator.transform(query_margins)
# 约束成本最小化选阈值 tau：在小模型上 p_err > tau 才升级
tau = solve_cost_min(p_err_all, cost_small, cost_large, f1_target)
escalate = p_err > tau
变现评估：UCCI 是最适合直接变现的——校准这一步几乎不依赖大改架构，可在现有 cascade 上原地加上，"不换模型、只换阈值，省 30%"是绝佳的卖点。训练营可做成"级联体检"服务：拿客户的 cascade 日志，跑 isotonic 校准出新的 tau，对比账单。
Chimera（arXiv 2603.22206）补上了第三个盲区：异构部署。现有推理系统默认同构集群（所有副本同模型），但真正省钱的是"大中小三档模型混部"，问题变成跨吞吐、跨性能模型的调度难题。Chimera 用三个预测量联合决策：语义路由估每模型置信度、预测工作流剩余输出长度、用 in-flight token volume 估拥塞做负载均衡。
它的卖点不是单纯省钱，而是延迟-性能前沿：在代码生成和数学推理的 agentic 工作流上，端到端延迟降 1.2–2.4 倍，任务性能平均提升 8.0–9.5 个百分点，baseline 是 vLLM。注意它对标的是推理引擎而非路由框架——这说明 2026 年的路由问题已经下沉到 serving 层，调度器和路由器正在合并。对自建 GPU 池的团队（而不是纯调 API）价值最大；纯 API 用户参考意义在于"剩余长度预测"和"拥塞感知"两个思路可以上移到应用层。
变现评估：偏 infra，适合卖给有自建集群的中大企业或算力平台，门槛高但单价极高；普通训练营难以承载，更适合做成算力调度 SaaS 的差异化能力。
要谈级联就绕不开 RouteLLM（lm-sys）。它的经典数据是：用偏好数据训练的路由器，保留 GPT-4 约 95% 性能的同时只花 26% 成本（约 54% 调用走弱模型）。但 LLMRouterBench（Findings@ACL 2026）给整个领域敲了警钟——它做了一个大统一基准，并引入 router-less 对比：即不用任何学习型路由器，只用静态规则或"全弱/全强"基线。
flowchart LR
Q[Query] --> R{Router}
R -->|易/置信高| S[Small Model 4B/12B]
R -->|难/置信低| L[Large Model GPT-5/Opus]
S --> O1[Output]
L --> O2[Output]
R -.校准失败.-> X[盲区1: 未校准置信度]
S -.协作模式错.-> Y[盲区2: 单查询忽略协作]
L -.调度失配.-> Z[盲区3: 异构调度前沿]
style X fill:#ffd0d0
style Y fill:#ffe9c0
style Z fill:#d0e0ff
基准的结论指向一个尴尬现实：在很多任务上，精心调参的学习型路由器只比"router-less + 简单分类器"好一点点，而工程复杂度却高一个数量级。这对实践者的启示是——先上 router-less 基线，再决定是否值得训练路由器。很多团队跳过这一步直接 RouteLLM，结果维护一个二分类模型、还要定期重训，省下的钱不够养这套系统的。
生产侧的共识正在收敛到"三层 cascade + 开源兜底"。典型架构是 Tier1 开源小模型（如 Qwen/Llama 系，约 $0.014/M tokens）兜 80% 易请求，Tier2 中型闭源处理中等复杂度，Tier3 frontier（Opus 4.8/GPT-5 Pro/Gemini Ultra）只接最难的 5%–10%。搜索到的 2026 企业数据显示，约 67% 的企业已把 80% 的 agent 请求路由到开源模型，整体推理账单降 60%–80%。
落地的两个工程坑要避开：第一，阈值漂移——Tier1 模型一升级，旧阈值全失效，必须像 UCCI 那样把校准纳入 CI；第二，级联放大副作用——Tier1 工具调用半成功后升级到 Tier2 重跑，若工具非幂等（发邮件、扣款）就会重复执行，因此级联闸门必须和工具幂等性联动（参见工具副作用幂等闸门）。一个可复用的预算闸门片段：
def tiered_call(query, max_cost):
if budget.per_query(query) > max_cost:
return cheap_model(query) # 预算不够直接小模型兜底
out, p = small_model.calibrated(query) # 带 UCCI 校准
if p > tau and tools_idempotent(out): # 升级前校验幂等
return out
return large_model(query) # 安全升级，重跑幂等工具
变现评估：这是最成熟的训练营素材——"三层 cascade + 开源兜底 + 校准闸门"可做成 4 课时模块，配套可跑的 notebook，企业付费意愿强（直接关联云账单）。
把上述发现串起来，一条务实的落地路径浮现：不要第一天就训练路由器。正确顺序是 (1) 先埋点统计 query 难度分布，(2) 上 router-less 静态分流（规则或 embedding 分类）跑两周拿基线，(3) 用留出集做 isotonic 校准（UCCI 式），(4) 只有当 router-less 的天花板明显不够时，再考虑 MasRouter 式的联合路由或学习型路由器。
冷启动期最大的坑是用别人的阈值：RouteLLM/FrugalGPT 报告的 cutoff 是在它们自己的任务分布上调的，套到你的客服/代码/抽取任务上往往失准。UCCI 给出的解法是 isotonic 的 O(n^{-1/3})——意味着几千条带标签样本就能把 ECE 拉到 0.03 量级，成本远低于训练一个端到端路由器。对多智能体，额外要做的是先固定协作模式（用规则选 debate 还是 reflect），把 MasRouter 的三级问题降成两级再路由，避免一上来就联合优化。
一句话总结：2026 年的级联路由战场已从"选哪个模型"升级为"校准置信度 + 联合协作决策 + 异构调度前沿"。单查询范式是入门票，但多智能体里真正的钱，藏在三个被忽视的盲区里。
[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。