<!-- title: 编排器退税：协调层去模型化实测 -->

## 编排器退税：多智能体协调层去模型化实测

把六个专家智能体塞进一个系统，真正的瓶颈往往不在「专家够不够强」，而在「谁指挥它们」。2026 年的多智能体战场正在发生一次静悄悄的分裂：一边是让大模型自己当交通警察的「LLM 编排器」，每一跳都在为「谁该接手」这个判断烧 token；另一边是「去模型化编排器」——把分解、派活、合并全部写成确定性的普通代码，让大模型预算 100% 落到真正干活的叶子节点上。本文用四组公开实测数据，拆解这条「协调层」的成本结构，并给出三种典型场景下的编排器选型。

**核心发现**：协调层是一个被严重低估的税点。GMAT 辅导类产品实测显示，用 GPT-4o 做路由会为一次只回 12 个 token 的判断付出 800–1200ms 延迟、约 35% 的单条消息成本；换成 Groq 上的 llama-3.3-70b 并锁定 `temperature=0`、`max_tokens=20` 后，路由中位延迟从 ~850ms 压到 ~55ms，错误率从 8%（GPT-4o-mini）降到 3%。而更激进的 Bernstein 模式直接把协调成本压到「零 LLM token」——分解与派活由 Python 代码完成，同目标永远产生同分解。结论是：**协调是分类任务而非推理任务，路由该用廉价确定性，推理该用昂贵前沿，两者必须分家。**

## 分析框架与多维度对比

| 编排方案 | 协调层实现 | 协调 LLM token | 典型路由延迟 | 上手难度 | 变现潜力 | 适用场景 |
|---|---|---|---|---|---|---|
| LangGraph 状态机 | 图节点+条件边(代码) | 可压至 0 | 取决于叶子节点 | 中（需懂图思维） | 高（企业首选） | 需要可观测/可回放的多步流程 |
| CrewAI Flows | 事件驱动状态机 | 角色间少量 | 中 | 低（声明式） | 中高（适合训练营） | 角色+流程混合、快速原型 |
| Bernstein 零-LLM | 纯 Python 规划 | 0 | 几乎为 0 | 中 | 中（编码垂类） | 结构化代码改造、CI 流水线 |
| 廉价路由+昂贵推理 | 小模型分类器 | 极少(~12 token) | ~55ms | 低 | 高（SaaS 通用） | 多专家客服/教育/咨询 |
| ORCH EMA 路由 | 确定性编排+EMA 合并 | 0 | 低 | 高（学术） | 低 | 离散选择/ensemble 投票 |
| AutoGen 式 LLM 编排 | 对话式 LLM 路由 | 每跳重烧 | 累积高 | 低 | 中（被逐渐替代） | 开放式探索、原型 |
| A2A+MCP 双层协议 | 协议层(非 LLM) | 0(在协议内) | 协议开销 | 中高 | 长期高 | 跨厂商、跨框架智能体互联 |

> 关键分水岭：协调逻辑究竟是写在**代码里**（确定、可测、可重放）还是写在**提示词里**（灵活、但有路由漂移与隐性 token 税）。

## 深度分析

### 1. Bernstein 模式：协调零化，编排器退回纯 Python

这是 2026 年最锋利的一条路线。它的核心论点只有一句：**多智能体系统本不该为「谁干什么」烧 token**。任务分解、Agent 派活、结果合并、git 操作，全部交给确定性 Python 代码；大模型预算完整保留给真正写代码、解问题的叶子 Agent。

其工作流是一条无回路：`目标 → (确定性)分解 → 并行派给 Agent → (测试)验证 → 提交`。每个 Agent 跑在独立的 git worktree 里互不干扰，一个「清洁工」进程在每个 Agent 完成后跑测试，测试一旦回归就触发断路器，整条线停下——绝不静默失败。它甚至能挂 Claude Code、Codex CLI、Gemini CLI、Qwen 等异构 Agent。

```bash
# 单目标 → 并行 Agent → 验证后提交
bernstein -g "Add JWT auth with refresh tokens, tests, and API docs"
# CI 无头模式
bernstein --headless
# 自进化：沙箱内提议改进，预算 5 美元封顶
bernstein --evolve --budget 5.00
```

**优缺点**：优点是协调成本可预测（零 token）、行为可复现（同目标同分解）、迭代更快（不等 LLM「想」下一步）。代价是分解刚性——遇到需要 LLM 判断才能切分的模糊目标就力不从心，且要求项目结构清晰以支撑规则化规划。**变现评估**：极适合包装成「AI 代码改造训练营」，卖点就是「协调不烧钱、同输入同输出」的可量化承诺，面向工程团队的中级进阶课程。

### 2. LangGraph：把协调画成图，路由写在边里

LangGraph 是当前企业级编排的事实标准（公开搜索热度约 27,100/月，领先 CrewAI 的 14,800）。它的精髓在于**把协调逻辑外化成显式的图结构**：节点是计算单元，边是控制流，而「该走哪条边」由条件函数（普通代码）决定，而不是由一次 LLM 调用决定。

这意味着路由点可以是纯代码：`if "math" in intent: goto math_node`。需要 LLM 判断时才调用，且调用结果被收进一个可被序列化的共享状态对象里——每一步都可检查点、可回放、可分支。协调的 token 开销因此从「每一跳都问一遍模型」降到「只在真正分叉时问一次」。

```python
from langgraph.graph import StateGraph, END

def route(state) -> str:                 # 确定性路由，0 token
    return "math" if state["intent"]=="math" else "verbal"

g = StateGraph(dict)
g.add_node("math", math_agent)
g.add_node("verbal", verbal_agent)
g.set_conditional_entry_point(route, {"math":"math","verbal":"verbal"})
g.add_edge("math", END); g.add_edge("verbal", END)
app = g.compile()
```

**优缺点**：最大优点是可观测性与可控性——流程可画、可测、可在生产中持久化中断点；缺点是心智门槛较高，过度建模容易把简单流程写成「为图而图」。**变现评估**：企业内训的高价值赛道，可直接对接「可回放、可审计的合规级智能体」需求，客单价高于通用 Agent 课。

### 3. CrewAI Flows：声明式状态机，角色与流程分层

CrewAI 的早期版本以「角色扮演式对话」闻名（容易陷入协调税），但 Flows 子系统的出现让它补上了确定性这一课。Flows 用装饰器声明一个事件驱动的状态机：`@start` 标记入口、`@listen` 订阅上游、`@router` 做条件分流，状态在结构化对象里流动。流程骨架是确定性的代码，而 Crew（角色组）只在叶子节点承担推理。

```python
from crewai.flow.flow import Flow, listen, start, router, or_

class TriageFlow(Flow):
    @start()
    def ingest(self): return classify(self.state.msg)      # 可用小模型
    @router(ingest)
    def dispatch(self, kind):                               # 代码路由
        return {"q":"quant","v":"verbal"}[kind]
    @listen("quant")
    def quant(self, s): return QuantCrew().kickoff(s)

flow = TriageFlow()
result = flow.kickoff({"msg": "求 12 的质因数"})
```

**优缺点**：上手最低门槛之一，声明式语法对非工程背景友好；角色系统保留「人格化」叙事，对内容/营销场景友好。代价是图表达力弱于 LangGraph，复杂并发与回退需自己兜底。**变现评估**：最适合做成「24 小时从 0 到多智能体」的入门训练营，角色 + 流程的双层心智模型极易讲出故事，转化率高于纯框架课。

### 4. 廉价路由 + 昂贵推理：协调层的「隐形编排器」

这是把协调税治理得最精细的一条实战路径，来自一款 GMAT 辅导产品（四个专家：数学/语文/数据洞察/策略）。它最初的翻车点极具代表性：用 GPT-4o 当路由器，每次为「该派给谁」付出 800–1200ms 延迟，且每条消息都要为这个只回 12 个 token 的判断多付约 35% 的 AI 成本。

**它的核心洞察是：路由是分类任务，不是推理任务。** 于是把 GPT-4o 路由换成 Groq 上的 `llama-3.3-70b-versatile`，同提示词、同 JSON 输出格式，并锁死两个参数：`temperature=0`（实测 0.2 就会出现模糊消息的路由漂移）、`max_tokens=20`（不限则 llama 偶尔在 JSON 后追加整句）。结果：路由中位延迟从 ~850ms 降到 ~55ms，边界 case 错误率从 GPT-4o-mini 的 8% 降到 3%。专家侧仍用 GPT-4o 全量流式，路由在 55ms 内返回——用户根本感知不到接缝。

```typescript
async function routeToAgent(msg, ctx) {
  return await groq.chat.completions.create({
    model: "llama-3.3-70b-versatile",
    messages: [{ role: "system", content: ROUTE_PROMPT }],
    temperature: 0,        // 确定性路由，不可妥协
    max_tokens: 20,        // 只要 12 个 token，别让它发挥
    response_format: { type: "json_object" },
  });
}
```

**优缺点**：延迟与成本双赢，且关键修复都是「减法」而非「加法」；局限是路由质量依赖训练分布，跨域时分类边界会模糊。**变现评估**：通用 SaaS 级方案，可包装成「多专家智能体网关」产品或「成本治理实战课」，35%→可量化降本的故事直接打动付费决策者。

### 5. ORCH：EMA 引导的确定性编排与单点合并

ORCH（2026 年 2 月发表于《Frontiers in Artificial Intelligence》）代表了「去模型化」在学术侧的形态：**many analyses, one merge**。它面向离散选择类推理任务，让多个分析智能体并行产出判断，再由一个确定性的编排器统一合并——路由用 EMA（指数移动平均）动态引导，合并逻辑是可复现的代码而非又一次 LLM 辩论。

它的价值在于把 ensemble 思想从「N 个模型互相说服」收敛到「N 个判断一次合并」，避免了审议循环里常见的「辩论即采样」式 token 浪费。与 Bernstein 的「零协调」不同，ORCH 保留了一个轻量的统计路由层（EMA），在「纯确定性」与「自适应」之间取了一个折中点。

```python
class ORCH:
    def __init__(self, agents): self.w = {a: 1.0 for a in agents}   # EMA 权重
    def route(self, x):
        return max(self.w, key=lambda a: self.w[a])                  # 确定性选路
    def merge(self, preds):
        from collections import Counter
        return Counter(preds).most_common(1)[0][0]                   # 代码合并
    def update(self, a, reward):                                     # EMA 滑动
        self.w[a] = 0.9*self.w[a] + 0.1*reward
```

**优缺点**：合并可复现、成本可控、适合需要「一致答案」的判断型任务；缺点是 EMA 需要在线反馈信号，冷启动期权重不均。**变现评估**：偏研究向，短期商业包装空间有限，但可作为「高阶算法课」的 ensemble 编排章节，差异化护城河高。

### 6. AutoGen 式 LLM 编排：作为反例基线的「协调税」

把 LLM-as-orchestrator 作为对照基线最能看清「税」从哪来。对话式编排里，每个 Agent 完成一步后，编排器要重新读入全部历史、再生成「下一步交给谁」的判断——这天然产生三重开销：上下文重烧（前缀入场费）、路由判断 token、以及非确定性带来的路由漂移。在开放探索场景这很灵活，但一旦流程结构固定，它就是在用最贵的模型干最便宜的活。

它的本质问题是把「分类」当成了「推理」来卖：决定「数学题给数学 Agent」根本不需要前沿推理能力，却按前沿价计费。这也正是「廉价路由+昂贵推理」与 Bernstein 模式要消灭的对象。

```python
# 反例：每一步都让编排模型重读+再判断
orchestrator = Agent(role="你来决定下一步交给谁")  # 每跳重烧历史 + 路由 token
for turn in conversation:
    nxt = orchestrator.chat(full_history)           # 隐性协调税累积
    result = agents[nxt].chat(turn)
```

**优缺点**：原型期最快上手、对模糊任务最灵活；一旦上量，协调 token 与延迟会随跳数线性膨胀，且路由不可复现。**变现评估**：作为「反面教材」价值高——在训练营里先演示它的 35% 税，再演示去模型化方案，落差即卖点。

### 7. A2A + MCP 双层协议：把协调挪到协议层

最彻底的「去模型化」不是写更多代码，而是把协调本身标准化成一条协议。2025 年 4 月 Google 牵头推出的 Agent2Agent（A2A）协议与 Anthropic 的 MCP 形成互补两层：**MCP 定义智能体如何连接工具与资源（智能体↔工具），A2A 定义智能体如何彼此发现、协商、共享任务并交换对话（智能体↔智能体）**。两者合起来，把「谁连谁、怎么连」从提示词搬到了线缆层。

A2A 用 Agent Card 做能力发现、用有状态任务模型管理协作、用 JSON-RPC over 可插拔传输通信。当编排关系被协议固化，协调逻辑就脱离了 LLM 的随机性——派活变成协议消息，合并变成协议回执，跨厂商、跨框架的智能体得以像微服务一样互联。

```jsonc
// /.well-known/agent.json —— 能力声明，发现即路由依据
{
  "name": "QuantSpecialist",
  "description": "数学推理专家",
  "skills": [{ "id": "solve", "name": "解题" }],
  "defaultInputModes": ["text"], "defaultOutputModes": ["text"]
}
```

```python
# MCP 与 A2A 各司其职
mcp.call_tool("postgres.query", {...})   # 智能体 → 工具(MCP)
a2a.delegate(remote_agent_card, task)    # 智能体 → 智能体(A2A)
```

**优缺点**：长期看是跨生态互联的唯一正解，天然支持企业内多团队、多厂商智能体共存；短期则面临规范收敛中（与 ACP 等竞合）、调试链路复杂的阵痛。**变现评估**：是「智能体中台/网关」类基础设施产品的主轴，也可做成「企业智能体互联架构师」认证课，长期复利最高。

## 协调层去模型化架构图

下图把两条路径并置：上方是去模型化编排（确定性分解→并行叶子 Agent→测试/协议合并），下方是 LLM 编排器基线（每跳重烧历史+路由判断），中间标注协调税的来源。

```mermaid
flowchart TD
    U[用户任务] --> DEC{协调层选型}

    DEC -->|去模型化| DFIX[确定性分解<br/>普通代码/协议]
    DEC -->|LLM 编排| DLLM[LLM 路由器<br/>每跳重烧历史]

    DFIX --> RT{廉价分类路由<br/>temp=0 max_tokens=20}
    RT -->|55ms| A1[叶子Agent1<br/>worktree隔离]
    RT -->|55ms| A2[叶子Agent2<br/>worktree隔离]
    RT -->|55ms| A3[叶子Agent3<br/>worktree隔离]
    A1 --> JAN[Janitor测试<br/>断路器]
    A2 --> JAN
    A3 --> JAN
    JAN --> MERGE[代码合并<br/>0 token]
    MERGE --> OUT[交付]

    DLLM -->|~850ms / 35%成本| TAX[协调税:<br/>分类当推理卖]
    TAX --> S1[专家Agent1]
    TAX --> S2[专家Agent2]
    S1 --> LLM2[LLM再判断下一步]
    LLM2 --> S2
    S2 --> OUT2[交付]

    classDef tax fill:#fde2e2,stroke:#c0392b,stroke-width:2px;
    classDef zero fill:#e2fde2,stroke:#27ae60,stroke-width:2px;
    class TAX,DLLM tax;
    class DFIX,RT,MERGE,JAN zero;
```

三条「去模型化」杠杆在图中清晰可见：**路由从 LLM 退回分类器（延迟 850→55ms）、合并从对话退回代码（0 token）、派活从提示词退回协议（A2A/MCP）**。这三处正是协调税的退税窗口。

## 推荐方案

- **结构化代码改造 / CI 流水线** → 首选 **Bernstein 式零-LLM 编排**：同目标同分解、断路器兜底，协调成本可预测到零，最适合「可量化承诺」的工程交付。
- **多专家客服 / 教育 / 咨询（高并发、低延迟）** → 首选 **廉价路由 + 昂贵推理**：`temperature=0` + `max_tokens=20` 的小模型做路由，前沿模型只做专家侧流式，路由接缝对用户隐形，单条成本可降约 35%。
- **企业级可审计多步流程** → 首选 **LangGraph 状态机**：协调写在条件边里，全程可检查点、可回放、可分支，满足合规与可观测诉求。
- **快速原型 / 内容与营销垂类** → 选 **CrewAI Flows**：声明式状态机门槛最低，角色+流程双层叙事利于做训练营转化。
- **跨厂商、跨框架智能体互联** → 选 **A2A + MCP 双层协议**：把协调固化进线缆层，长期是企业智能体中台的主轴。
- **离散选择 / ensemble 判断** → 选 **ORCH**：EMA 引导路由 + 代码单点合并，避免审议循环的 token 烧穿。

一句话决策：**凡是能写成代码或协议的协调，就别交给 LLM。** 协调层的去模型化，是 2026 年多智能体系统最被低估的退税窗口——把分类还给分类器，把推理留给推理机，剩下的交给确定性。

## 参考来源

1. [Deterministic Zero-LLM Orchestration — Awesome Agentic Patterns](https://www.agentic-patterns.com/patterns/deterministic-zero-llm-orchestration) — 编排器退回纯 Python、协调零 token 的模式定义与 Bernstein 实现。
2. [The Invisible Orchestrator: Cheap Routing + Expensive Reasoning in Multi-Agent Apps — DEV Community](https://dev.to/pavelbuild/the-invisible-orchestrator-cheap-routing-expensive-reasoning-in-multi-agent-apps-51h0) — Groq llama 路由 850ms→55ms、成本降约 35%、错误率 8%→3% 的实测细节。
3. [A2A and MCP: Complementary Protocols for Agentic Systems — A2A Protocol 官方文档](https://a2a-protocol.org/latest/topics/a2a-and-mcp/) — MCP（智能体↔工具）与 A2A（智能体↔智能体）双层分工的权威说明。
4. [ORCH: many analyses, one merge — Frontiers in Artificial Intelligence (2026)](https://www.frontiersin.org/journals/artificial-intelligence/articles/10.3389/frai.2026.1748735/full) — 确定性多智能体编排器 + EMA 引导路由用于离散选择推理。
5. [LangGraph vs CrewAI vs AutoGen: Multi-Agent Framework Comparison 2026](https://www.booleanbeyond.com/en/insights/langgraph-vs-crewai-vs-autogen-multi-agent-framework) — 三大编排框架的图/角色/对话架构对比与适用场景。

> [!tip] 51学通信知识星球
> **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。
> **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。
> **当前规模**：5200 篇主题 / 990 个回答，198 元/年。
> **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。
> **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。

![51学通信知识星球海报-扫码加入](https://wiki.500nian.com/images/zhixingqiu_qrcode.png)