2026年的模型供给已高度分散：GPT-5、Claude Sonnet/Opus、Gemini 2.5 Pro、Grok 4，加上 DeepSeek、Llama 等开源梯队，把"异构混编"推成了多智能体编排的默认直觉——既然每个模型各有短板，把它们塞进同一个团队投票、辩论、分层聚合，理应强过任何单兵。本文实测拆解这条直觉的边界：当混编退化为冗余投票时，同模型多次采样的 Self-MoA 反而在 AlpacaEval 2.0 上反超异构 MoA 达 6.6%；而当异构用于能力正交分工（编码/推理/多模态/长文各司其职）时，它才能稳定匹敌甚至超过最强单模型。异构度是一个有最优值的旋钮，而非越大越好——越过拐点，质量稀释、自投票僵局与羊群过早共识就会吃掉全部收益。
| 范式 | 组合方式 | 核心机制 | 何时有效 | 主要风险 |
|---|---|---|---|---|
| Self-MoA（同模型多采样） | 同一模型 N 次采样 | 聚合自身多样性 | 任务质量已达梯队前沿 | 计算成本线性翻倍 |
| Cross-MoA（异构聚合） | 不同厂商模型并行 | 跨模型投票/聚合 | 模型能力近等同 | 质量稀释拉低均值 |
| 分层 MoA（Together） | 层层堆叠异构 agent | 前层输出喂后层 | 复杂生成类任务 | 成本与延迟雪崩 |
| 能力正交分工 | 按特长分配子任务 | 编码/推理/多模态分流 | 任务可分解 | 子任务边界切错 |
| 异构共识投票 | 多模型多轮表决 | 动议—辩论—表决 | 有客观答案的难题 | 羊群效应过早收敛 |
| 成本级联路由 | 路由器择模型转发 | 难度感知分流 | 高并发混合负载 | 路由误判放大误差 |
理解异构混编，必须先分清两种本质不同的聚合。Cross-MoA 是直觉中的混编——把 GPT-5、Claude、Gemini、Grok 放在一起，各自给出答案再聚合，赌的是"不同模型犯不同的错，多数能纠偏"。Self-MoA 走的是相反路线——只用当前榜单上最强的那一个模型，对同一提示采样多次再聚合，赌的是"同一模型的随机多样性足以覆盖正确答案"。
ICLR 2025 的 Mixture-of-Agents 原论文把分层 Cross-MoA 推上了 AlpacaEval 榜首，但 arXiv:2502.00674 的复现给出了反直觉结论：在大量场景下，只用单一最强模型的 Self-MoA 反而优于混编不同模型的 Cross-MoA——AlpacaEval 2.0 上高出 6.6%，在 MMLU、CRUX、MATH 上平均高出 3.8%。把它套到当时榜首模型上，直接刷新了 SOTA。这说明异构混编的红利远比想象中脆弱，"凑齐四大模型投票"在很多任务上是一场自欺。
# 两种聚合范式的最小骨架对比
def cross_moa(prompt, models):
answers = [m.generate(prompt) for m in models] # 不同模型并行
return aggregate(answers) # 跨模型投票/提炼
def self_moa(prompt, top_model, k=5):
answers = [top_model.generate(prompt, temp=0.9) # 同模型 k 次采样
for _ in range(k)]
return aggregate(answers) # 自身多样性聚合
# 关键变量不是"几个模型",而是"聚合前的输出质量分布"
arXiv:2502.00674 给出的解释直指要害：MoA 的性能对输出质量极其敏感，而混编不同模型往往会拉低参与者的平均质量。设想一个团队里有一个 92 分的模型和两个 78 分的模型，多数投票的期望不是 92，而是被两个弱者拖向 80 附近的某个值。Cross-MoA 的"纠错红利"只在"成员能力接近且错误独立"时才兑现；一旦成员能力方差过大，弱模型就变成了噪声源，把强模型对罕见难题的正确回答在投票里淹没。
这条定律把异构混编从"白嫖算力"打回了"系统工程"。它的实战推论有三：第一，混编成员必须先过同一道质量门槛，能力悬殊的模型宁可不请；第二，聚合策略要从"多数投票"换成"强者主导+弱者补盲"，例如以最强模型为聚合器、其余模型仅作辅助参考；第三，当你发现混编后指标不升反降，第一怀疑对象应是成员能力方差，而非协作拓扑。质量稀释是异构混编最隐蔽的税，因为它不报错，只是悄悄把天花板压低。
如果混编投票常常失灵，异构混编到底什么时候值得？答案是能力正交——让不同模型干它们各自最擅长、而彼此不重叠的活，而非对同一题各自作答。这与投票是两回事：投票赌的是冗余纠错（成员做同一件事），正交分工赌的是能力互补（成员做不同事情）。前者受质量稀释约束，后者不受。
一个真实落地的正交组合：用 Claude Opus 做长程规划与结构化推理、用 GPT-5 系做代码生成与工具调用、用 Gemini 2.5 Pro 处理多模态与超长上下文、用 DeepSeek 这类开源模型做高并发的批量脏活。每个子任务的产出都来自该维度上的梯队选手，聚合的是不同维度的能力，而不是同一维度的噪声。此时异构度旋钮的"最优值"出现——分工越正交、子任务边界越清晰，收益越高；一旦分工模糊（两个模型都在做代码生成），就立刻滑回质量稀释区。判断异构是否健康的试金石很简单：把每个成员的输出遮住，看能否还原出它专司的那一段；若能，是正交；若彼此可替代，就是冗余投票。
异构编排一旦带投票，立刻撞上 arXiv:2509.23537 揭示的两个微妙开关。该研究用 Gemini 2.5 Pro、GPT-5、Grok 4、Claude Sonnet 4 在 GPQA-Diamond、IFEval、MuSR 上做多轮多智能体编排，发现编排"匹配或超过最强单模型，并稳定优于其余"——但两个消融实验点破了代价：当 agent 能看到答案是谁写的，自投票（投给自己）和僵局的比例显著上升；当 agent 能看到实时投票进度，羊群效应被放大，收敛变快却时常过早共识。
这对工程设计的直接含义是：异构投票系统的默认配置应该是匿名提交 + 盲投。署名会让模型产生"作者自尊"式的偏差，倾向于维护自己阵营的输出；可见票数则触发"多数即正确"的启发式跟风，在难题上尤其致命——难题的正确答案往往是少数派，羊群会把它早早投死。盲投牺牲了一点收敛速度，换来的是对少数正确答案的保护。这套机制在投票反噬之外补了一条更细的维度：可见性本身就是一个会改变系统行为的自变量，而大多数框架默认就把所有上下文铺开给所有 agent，恰恰踩在最有害的配置上。
正交分工的另一面是成本路由，这是异构混编最具变现价值的工程形态。核心思想是把一个请求拆成难度不一的子任务，让路由器按难度与能力需求分流：高频、低难度的子任务（格式化、抽取、分类、批量改写）丢给便宜的开源模型扇出执行；少数需要深度推理或代码生成的关键节点，才调用前沿模型裁决。这与"级联路由盲区"讨论的成本视角形成互补——前者关注"路由误判为何烧钱"，这里关注"路由正确时如何省钱又保质"。
异构路由的净收益来自一个不对称事实：前沿模型的边际能力溢价，在简单子任务上趋近于零。一个抽取任务，GPT-5 与一个 7B 开源模型的准确率差距可能小于 2 个百分点，但价格差几十倍。把这些子任务下沉，整体成本可压缩一个数量级，而端到端质量几乎无损——前提是路由器够准。实战中路由器本身通常是一个轻量分类器或一个小模型，按提示特征（长度、是否含代码、是否需多步推理）做难度分桶，再映射到模型梯队。需要警惕的是路由误判的双向成本：把难题误判给弱模型会丢质量，把简单题误判给前沿模型会丢成本，而前者通常比后者更贵，所以路由器应偏保守地向上路由（拿不准就给强模型）。
flowchart LR
REQ[用户请求] --> RT{难度路由器}
RT -->|简单/高频/抽取| CHEAP[开源模型扇出<br/>DeepSeek/Llama]
RT -->|代码/工具| CODE[代码型模型<br/>GPT-5系]
RT -->|多模态/超长| MM[多模态模型<br/>Gemini 2.5 Pro]
RT -->|深度推理/裁决| FRONT[前沿模型<br/>Claude Opus]
CHEAP --> AGG[聚合裁决层]
CODE --> AGG
MM --> AGG
FRONT --> AGG
AGG --> OUT[最终结果]
AGG -.难度超阈值.-> FRONT
把不同厂商、不同代际的模型塞进一个系统，最难缠的不是能力，而是它们在输出格式、安全策略、工具调用约定上的不一致，可统称"对齐漂移"。每个模型被各自的 RLHF 训练塑造成不同的"性格"：有的倾向冗长解释，有的倾向极简作答；有的对工具调用 JSON 容错，有的严格拒绝任何不规范 schema；有的在边缘话题上过度拒答，有的放行。当这些模型直接对话，漂移会以格式错误、解析失败、拒答级联的形式层层放大。
解法是引入一层契约通信——把异构 agent 当作微服务，强制其通过统一的消息协议（结构化 schema、显式的 handoff、版本化的工具描述）交互，而非裸文本对话。这与"有状态工具""A2A 协议"的思路一脉相承：用协议层屏蔽模型间的性格差异。代价是多一层适配器的开发与维护成本，以及格式约束对模型自由度的些许抑制。但收益是可观测性——当某个 agent 行为漂移，你能在协议层捕获到 schema 违规，而不是在最终结果里猜哪个环节跑偏。对齐漂移是异构混编最容易被低估的长期税：单次 demo 看不见，上线两周后才以偶发故障的形式冒头，而根因（模型版本升级导致的对齐偏移）往往藏在供应商的更新日志里。
把上述理论压进真实项目，DEV Community 上一位开发者用 86 轮 Claude Code 会话搭建并行调度 Claude、GPT、Gemini 的多智能体编排器，沉淀出的工程教训与论文结论高度共振。最硬的几条：并行容易、聚合极难——三个模型同时跑出三份答案后，"谁说了算"才是真正吃掉调试时间的环节，聚合层的 bug 远多于执行层；异构编排的价值天花板，被团队里最弱的有效成员锁死，而非被最强成员抬高，这与质量稀释定律完全一致；可见性与署名必须默认关闭，否则团队会陷入自说自话。
生产化阶段还要额外处理三件事：幂等的子任务派发（同一子任务重试不能产生分裂状态）、每条消息的来源审计（哪个模型在哪个版本产出了什么，便于回滚与归因）、以及成本预算的硬熔断（异构扇出极易在路由误判时失控烧钱）。这些教训指向一个统一结论：异构混编不是一个"加上去就变强"的插件，而是一套需要持续调参的系统。能变现的形态是把这套调参经验封装成行业垂直方案——例如金融研报的"抽取扇出+推理裁决"、法律的"检索+论证"流水线，每个垂直场景都有自己的异构度最优值与契约模板。
若任务是开放域生成或单题问答：直接用 Self-MoA（当前最强模型多采样聚合），别盲目混编不同模型投票。质量稀释会吃掉你以为的纠错红利，省下的 token 留给采样次数。
若任务可分解为能力正交的子模块：上异构分工，但只邀请各维度上的梯队选手，按 Claude（规划）/GPT（编码）/Gemini（多模态长文）/开源（批量扇出）的特长分配，匿名提交、盲投聚合，关闭实时票数可见。
若是高并发混合负载：在前面加一个偏保守向上路由的难度路由器，便宜模型扇出、前沿模型裁决，并对总成本设硬熔断。
通用红线：异构度不是越大越好——成员能力方差过大、子任务边界模糊、署名与可见性全开，三者占其一，混编收益就会转负。先量能力方差，再决定请几个模型入伙。
[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。