把六个专家智能体塞进一个系统,真正的瓶颈往往不在「专家够不够强」,而在「谁指挥它们」。2026 年的多智能体战场正在发生一次静悄悄的分裂:一边是让大模型自己当交通警察的「LLM 编排器」,每一跳都在为「谁该接手」这个判断烧 token;另一边是「去模型化编排器」——把分解、派活、合并全部写成确定性的普通代码,让大模型预算 100% 落到真正干活的叶子节点上。本文用四组公开实测数据,拆解这条「协调层」的成本结构,并给出三种典型场景下的编排器选型。
核心发现:协调层是一个被严重低估的税点。GMAT 辅导类产品实测显示,用 GPT-4o 做路由会为一次只回 12 个 token 的判断付出 800–1200ms 延迟、约 35% 的单条消息成本;换成 Groq 上的 llama-3.3-70b 并锁定 temperature=0、max_tokens=20 后,路由中位延迟从 ~850ms 压到 ~55ms,错误率从 8%(GPT-4o-mini)降到 3%。而更激进的 Bernstein 模式直接把协调成本压到「零 LLM token」——分解与派活由 Python 代码完成,同目标永远产生同分解。结论是:协调是分类任务而非推理任务,路由该用廉价确定性,推理该用昂贵前沿,两者必须分家。
| 编排方案 | 协调层实现 | 协调 LLM token | 典型路由延迟 | 上手难度 | 变现潜力 | 适用场景 |
|---|---|---|---|---|---|---|
| LangGraph 状态机 | 图节点+条件边(代码) | 可压至 0 | 取决于叶子节点 | 中(需懂图思维) | 高(企业首选) | 需要可观测/可回放的多步流程 |
| CrewAI Flows | 事件驱动状态机 | 角色间少量 | 中 | 低(声明式) | 中高(适合训练营) | 角色+流程混合、快速原型 |
| Bernstein 零-LLM | 纯 Python 规划 | 0 | 几乎为 0 | 中 | 中(编码垂类) | 结构化代码改造、CI 流水线 |
| 廉价路由+昂贵推理 | 小模型分类器 | 极少(~12 token) | ~55ms | 低 | 高(SaaS 通用) | 多专家客服/教育/咨询 |
| ORCH EMA 路由 | 确定性编排+EMA 合并 | 0 | 低 | 高(学术) | 低 | 离散选择/ensemble 投票 |
| AutoGen 式 LLM 编排 | 对话式 LLM 路由 | 每跳重烧 | 累积高 | 低 | 中(被逐渐替代) | 开放式探索、原型 |
| A2A+MCP 双层协议 | 协议层(非 LLM) | 0(在协议内) | 协议开销 | 中高 | 长期高 | 跨厂商、跨框架智能体互联 |
关键分水岭:协调逻辑究竟是写在代码里(确定、可测、可重放)还是写在提示词里(灵活、但有路由漂移与隐性 token 税)。
这是 2026 年最锋利的一条路线。它的核心论点只有一句:多智能体系统本不该为「谁干什么」烧 token。任务分解、Agent 派活、结果合并、git 操作,全部交给确定性 Python 代码;大模型预算完整保留给真正写代码、解问题的叶子 Agent。
其工作流是一条无回路:目标 → (确定性)分解 → 并行派给 Agent → (测试)验证 → 提交。每个 Agent 跑在独立的 git worktree 里互不干扰,一个「清洁工」进程在每个 Agent 完成后跑测试,测试一旦回归就触发断路器,整条线停下——绝不静默失败。它甚至能挂 Claude Code、Codex CLI、Gemini CLI、Qwen 等异构 Agent。
# 单目标 → 并行 Agent → 验证后提交
bernstein -g "Add JWT auth with refresh tokens, tests, and API docs"
# CI 无头模式
bernstein --headless
# 自进化:沙箱内提议改进,预算 5 美元封顶
bernstein --evolve --budget 5.00
优缺点:优点是协调成本可预测(零 token)、行为可复现(同目标同分解)、迭代更快(不等 LLM「想」下一步)。代价是分解刚性——遇到需要 LLM 判断才能切分的模糊目标就力不从心,且要求项目结构清晰以支撑规则化规划。变现评估:极适合包装成「AI 代码改造训练营」,卖点就是「协调不烧钱、同输入同输出」的可量化承诺,面向工程团队的中级进阶课程。
LangGraph 是当前企业级编排的事实标准(公开搜索热度约 27,100/月,领先 CrewAI 的 14,800)。它的精髓在于把协调逻辑外化成显式的图结构:节点是计算单元,边是控制流,而「该走哪条边」由条件函数(普通代码)决定,而不是由一次 LLM 调用决定。
这意味着路由点可以是纯代码:if "math" in intent: goto math_node。需要 LLM 判断时才调用,且调用结果被收进一个可被序列化的共享状态对象里——每一步都可检查点、可回放、可分支。协调的 token 开销因此从「每一跳都问一遍模型」降到「只在真正分叉时问一次」。
from langgraph.graph import StateGraph, END
def route(state) -> str: # 确定性路由,0 token
return "math" if state["intent"]=="math" else "verbal"
g = StateGraph(dict)
g.add_node("math", math_agent)
g.add_node("verbal", verbal_agent)
g.set_conditional_entry_point(route, {"math":"math","verbal":"verbal"})
g.add_edge("math", END); g.add_edge("verbal", END)
app = g.compile()
优缺点:最大优点是可观测性与可控性——流程可画、可测、可在生产中持久化中断点;缺点是心智门槛较高,过度建模容易把简单流程写成「为图而图」。变现评估:企业内训的高价值赛道,可直接对接「可回放、可审计的合规级智能体」需求,客单价高于通用 Agent 课。
CrewAI 的早期版本以「角色扮演式对话」闻名(容易陷入协调税),但 Flows 子系统的出现让它补上了确定性这一课。Flows 用装饰器声明一个事件驱动的状态机:@start 标记入口、@listen 订阅上游、@router 做条件分流,状态在结构化对象里流动。流程骨架是确定性的代码,而 Crew(角色组)只在叶子节点承担推理。
from crewai.flow.flow import Flow, listen, start, router, or_
class TriageFlow(Flow):
@start()
def ingest(self): return classify(self.state.msg) # 可用小模型
@router(ingest)
def dispatch(self, kind): # 代码路由
return {"q":"quant","v":"verbal"}[kind]
@listen("quant")
def quant(self, s): return QuantCrew().kickoff(s)
flow = TriageFlow()
result = flow.kickoff({"msg": "求 12 的质因数"})
优缺点:上手最低门槛之一,声明式语法对非工程背景友好;角色系统保留「人格化」叙事,对内容/营销场景友好。代价是图表达力弱于 LangGraph,复杂并发与回退需自己兜底。变现评估:最适合做成「24 小时从 0 到多智能体」的入门训练营,角色 + 流程的双层心智模型极易讲出故事,转化率高于纯框架课。
这是把协调税治理得最精细的一条实战路径,来自一款 GMAT 辅导产品(四个专家:数学/语文/数据洞察/策略)。它最初的翻车点极具代表性:用 GPT-4o 当路由器,每次为「该派给谁」付出 800–1200ms 延迟,且每条消息都要为这个只回 12 个 token 的判断多付约 35% 的 AI 成本。
它的核心洞察是:路由是分类任务,不是推理任务。 于是把 GPT-4o 路由换成 Groq 上的 llama-3.3-70b-versatile,同提示词、同 JSON 输出格式,并锁死两个参数:temperature=0(实测 0.2 就会出现模糊消息的路由漂移)、max_tokens=20(不限则 llama 偶尔在 JSON 后追加整句)。结果:路由中位延迟从 ~850ms 降到 ~55ms,边界 case 错误率从 GPT-4o-mini 的 8% 降到 3%。专家侧仍用 GPT-4o 全量流式,路由在 55ms 内返回——用户根本感知不到接缝。
async function routeToAgent(msg, ctx) {
return await groq.chat.completions.create({
model: "llama-3.3-70b-versatile",
messages: [{ role: "system", content: ROUTE_PROMPT }],
temperature: 0, // 确定性路由,不可妥协
max_tokens: 20, // 只要 12 个 token,别让它发挥
response_format: { type: "json_object" },
});
}
优缺点:延迟与成本双赢,且关键修复都是「减法」而非「加法」;局限是路由质量依赖训练分布,跨域时分类边界会模糊。变现评估:通用 SaaS 级方案,可包装成「多专家智能体网关」产品或「成本治理实战课」,35%→可量化降本的故事直接打动付费决策者。
ORCH(2026 年 2 月发表于《Frontiers in Artificial Intelligence》)代表了「去模型化」在学术侧的形态:many analyses, one merge。它面向离散选择类推理任务,让多个分析智能体并行产出判断,再由一个确定性的编排器统一合并——路由用 EMA(指数移动平均)动态引导,合并逻辑是可复现的代码而非又一次 LLM 辩论。
它的价值在于把 ensemble 思想从「N 个模型互相说服」收敛到「N 个判断一次合并」,避免了审议循环里常见的「辩论即采样」式 token 浪费。与 Bernstein 的「零协调」不同,ORCH 保留了一个轻量的统计路由层(EMA),在「纯确定性」与「自适应」之间取了一个折中点。
class ORCH:
def __init__(self, agents): self.w = {a: 1.0 for a in agents} # EMA 权重
def route(self, x):
return max(self.w, key=lambda a: self.w[a]) # 确定性选路
def merge(self, preds):
from collections import Counter
return Counter(preds).most_common(1)[0][0] # 代码合并
def update(self, a, reward): # EMA 滑动
self.w[a] = 0.9*self.w[a] + 0.1*reward
优缺点:合并可复现、成本可控、适合需要「一致答案」的判断型任务;缺点是 EMA 需要在线反馈信号,冷启动期权重不均。变现评估:偏研究向,短期商业包装空间有限,但可作为「高阶算法课」的 ensemble 编排章节,差异化护城河高。
把 LLM-as-orchestrator 作为对照基线最能看清「税」从哪来。对话式编排里,每个 Agent 完成一步后,编排器要重新读入全部历史、再生成「下一步交给谁」的判断——这天然产生三重开销:上下文重烧(前缀入场费)、路由判断 token、以及非确定性带来的路由漂移。在开放探索场景这很灵活,但一旦流程结构固定,它就是在用最贵的模型干最便宜的活。
它的本质问题是把「分类」当成了「推理」来卖:决定「数学题给数学 Agent」根本不需要前沿推理能力,却按前沿价计费。这也正是「廉价路由+昂贵推理」与 Bernstein 模式要消灭的对象。
# 反例:每一步都让编排模型重读+再判断
orchestrator = Agent(role="你来决定下一步交给谁") # 每跳重烧历史 + 路由 token
for turn in conversation:
nxt = orchestrator.chat(full_history) # 隐性协调税累积
result = agents[nxt].chat(turn)
优缺点:原型期最快上手、对模糊任务最灵活;一旦上量,协调 token 与延迟会随跳数线性膨胀,且路由不可复现。变现评估:作为「反面教材」价值高——在训练营里先演示它的 35% 税,再演示去模型化方案,落差即卖点。
最彻底的「去模型化」不是写更多代码,而是把协调本身标准化成一条协议。2025 年 4 月 Google 牵头推出的 Agent2Agent(A2A)协议与 Anthropic 的 MCP 形成互补两层:MCP 定义智能体如何连接工具与资源(智能体↔工具),A2A 定义智能体如何彼此发现、协商、共享任务并交换对话(智能体↔智能体)。两者合起来,把「谁连谁、怎么连」从提示词搬到了线缆层。
A2A 用 Agent Card 做能力发现、用有状态任务模型管理协作、用 JSON-RPC over 可插拔传输通信。当编排关系被协议固化,协调逻辑就脱离了 LLM 的随机性——派活变成协议消息,合并变成协议回执,跨厂商、跨框架的智能体得以像微服务一样互联。
// /.well-known/agent.json —— 能力声明,发现即路由依据
{
"name": "QuantSpecialist",
"description": "数学推理专家",
"skills": [{ "id": "solve", "name": "解题" }],
"defaultInputModes": ["text"], "defaultOutputModes": ["text"]
}
# MCP 与 A2A 各司其职
mcp.call_tool("postgres.query", {...}) # 智能体 → 工具(MCP)
a2a.delegate(remote_agent_card, task) # 智能体 → 智能体(A2A)
优缺点:长期看是跨生态互联的唯一正解,天然支持企业内多团队、多厂商智能体共存;短期则面临规范收敛中(与 ACP 等竞合)、调试链路复杂的阵痛。变现评估:是「智能体中台/网关」类基础设施产品的主轴,也可做成「企业智能体互联架构师」认证课,长期复利最高。
下图把两条路径并置:上方是去模型化编排(确定性分解→并行叶子 Agent→测试/协议合并),下方是 LLM 编排器基线(每跳重烧历史+路由判断),中间标注协调税的来源。
flowchart TD
U[用户任务] --> DEC{协调层选型}
DEC -->|去模型化| DFIX[确定性分解<br/>普通代码/协议]
DEC -->|LLM 编排| DLLM[LLM 路由器<br/>每跳重烧历史]
DFIX --> RT{廉价分类路由<br/>temp=0 max_tokens=20}
RT -->|55ms| A1[叶子Agent1<br/>worktree隔离]
RT -->|55ms| A2[叶子Agent2<br/>worktree隔离]
RT -->|55ms| A3[叶子Agent3<br/>worktree隔离]
A1 --> JAN[Janitor测试<br/>断路器]
A2 --> JAN
A3 --> JAN
JAN --> MERGE[代码合并<br/>0 token]
MERGE --> OUT[交付]
DLLM -->|~850ms / 35%成本| TAX[协调税:<br/>分类当推理卖]
TAX --> S1[专家Agent1]
TAX --> S2[专家Agent2]
S1 --> LLM2[LLM再判断下一步]
LLM2 --> S2
S2 --> OUT2[交付]
classDef tax fill:#fde2e2,stroke:#c0392b,stroke-width:2px;
classDef zero fill:#e2fde2,stroke:#27ae60,stroke-width:2px;
class TAX,DLLM tax;
class DFIX,RT,MERGE,JAN zero;
三条「去模型化」杠杆在图中清晰可见:路由从 LLM 退回分类器(延迟 850→55ms)、合并从对话退回代码(0 token)、派活从提示词退回协议(A2A/MCP)。这三处正是协调税的退税窗口。
temperature=0 + max_tokens=20 的小模型做路由,前沿模型只做专家侧流式,路由接缝对用户隐形,单条成本可降约 35%。一句话决策:凡是能写成代码或协议的协调,就别交给 LLM。 协调层的去模型化,是 2026 年多智能体系统最被低估的退税窗口——把分类还给分类器,把推理留给推理机,剩下的交给确定性。
[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。
