<!-- title: 异构混编智能体质量拐点实测 -->

# 异构混编多智能体：质量稀释与能力正交的拐点

## 概述

2026年的模型供给已高度分散：GPT-5、Claude Sonnet/Opus、Gemini 2.5 Pro、Grok 4，加上 DeepSeek、Llama 等开源梯队，把"异构混编"推成了多智能体编排的默认直觉——既然每个模型各有短板，把它们塞进同一个团队投票、辩论、分层聚合，理应强过任何单兵。本文实测拆解这条直觉的边界：当混编退化为冗余投票时，**同模型多次采样的 Self-MoA 反而在 AlpacaEval 2.0 上反超异构 MoA 达 6.6%**；而当异构用于能力正交分工（编码/推理/多模态/长文各司其职）时，它才能稳定匹敌甚至超过最强单模型。异构度是一个有最优值的旋钮，而非越大越好——越过拐点，质量稀释、自投票僵局与羊群过早共识就会吃掉全部收益。

## 多智能体混编范式对比

| 范式 | 组合方式 | 核心机制 | 何时有效 | 主要风险 |
|------|----------|----------|----------|----------|
| Self-MoA（同模型多采样） | 同一模型 N 次采样 | 聚合自身多样性 | 任务质量已达梯队前沿 | 计算成本线性翻倍 |
| Cross-MoA（异构聚合） | 不同厂商模型并行 | 跨模型投票/聚合 | 模型能力近等同 | 质量稀释拉低均值 |
| 分层 MoA（Together） | 层层堆叠异构 agent | 前层输出喂后层 | 复杂生成类任务 | 成本与延迟雪崩 |
| 能力正交分工 | 按特长分配子任务 | 编码/推理/多模态分流 | 任务可分解 | 子任务边界切错 |
| 异构共识投票 | 多模型多轮表决 | 动议—辩论—表决 | 有客观答案的难题 | 羊群效应过早收敛 |
| 成本级联路由 | 路由器择模型转发 | 难度感知分流 | 高并发混合负载 | 路由误判放大误差 |

## 一、Self-MoA vs Cross-MoA：异构度的两条岔路

理解异构混编，必须先分清两种本质不同的聚合。**Cross-MoA** 是直觉中的混编——把 GPT-5、Claude、Gemini、Grok 放在一起，各自给出答案再聚合，赌的是"不同模型犯不同的错，多数能纠偏"。**Self-MoA** 走的是相反路线——只用当前榜单上最强的那一个模型，对同一提示采样多次再聚合，赌的是"同一模型的随机多样性足以覆盖正确答案"。

ICLR 2025 的 Mixture-of-Agents 原论文把分层 Cross-MoA 推上了 AlpacaEval 榜首，但 arXiv:2502.00674 的复现给出了反直觉结论：在大量场景下，**只用单一最强模型的 Self-MoA 反而优于混编不同模型的 Cross-MoA**——AlpacaEval 2.0 上高出 6.6%，在 MMLU、CRUX、MATH 上平均高出 3.8%。把它套到当时榜首模型上，直接刷新了 SOTA。这说明异构混编的红利远比想象中脆弱，"凑齐四大模型投票"在很多任务上是一场自欺。

```python
# 两种聚合范式的最小骨架对比
def cross_moa(prompt, models):
    answers = [m.generate(prompt) for m in models]      # 不同模型并行
    return aggregate(answers)                            # 跨模型投票/提炼

def self_moa(prompt, top_model, k=5):
    answers = [top_model.generate(prompt, temp=0.9)      # 同模型 k 次采样
               for _ in range(k)]
    return aggregate(answers)                            # 自身多样性聚合
# 关键变量不是"几个模型",而是"聚合前的输出质量分布"
```

## 二、质量稀释定律：为什么混编常常拉低均值

arXiv:2502.00674 给出的解释直指要害：**MoA 的性能对输出质量极其敏感，而混编不同模型往往会拉低参与者的平均质量**。设想一个团队里有一个 92 分的模型和两个 78 分的模型，多数投票的期望不是 92，而是被两个弱者拖向 80 附近的某个值。Cross-MoA 的"纠错红利"只在"成员能力接近且错误独立"时才兑现；一旦成员能力方差过大，弱模型就变成了噪声源，把强模型对罕见难题的正确回答在投票里淹没。

这条定律把异构混编从"白嫖算力"打回了"系统工程"。它的实战推论有三：第一，混编成员必须先过同一道质量门槛，能力悬殊的模型宁可不请；第二，聚合策略要从"多数投票"换成"强者主导+弱者补盲"，例如以最强模型为聚合器、其余模型仅作辅助参考；第三，当你发现混编后指标不升反降，第一怀疑对象应是成员能力方差，而非协作拓扑。质量稀释是异构混编最隐蔽的税，因为它不报错，只是悄悄把天花板压低。

## 三、能力正交假说：异构真正兑现红利的唯一场景

如果混编投票常常失灵，异构混编到底什么时候值得？答案是**能力正交**——让不同模型干它们各自最擅长、而彼此不重叠的活，而非对同一题各自作答。这与投票是两回事：投票赌的是冗余纠错（成员做同一件事），正交分工赌的是能力互补（成员做不同事情）。前者受质量稀释约束，后者不受。

一个真实落地的正交组合：用 Claude Opus 做长程规划与结构化推理、用 GPT-5 系做代码生成与工具调用、用 Gemini 2.5 Pro 处理多模态与超长上下文、用 DeepSeek 这类开源模型做高并发的批量脏活。每个子任务的产出都来自该维度上的梯队选手，聚合的是不同维度的能力，而不是同一维度的噪声。此时异构度旋钮的"最优值"出现——分工越正交、子任务边界越清晰，收益越高；一旦分工模糊（两个模型都在做代码生成），就立刻滑回质量稀释区。判断异构是否健康的试金石很简单：**把每个成员的输出遮住，看能否还原出它专司的那一段；若能，是正交；若彼此可替代，就是冗余投票**。

## 四、自投票与羊群效应：署名与可见性的隐藏开关

异构编排一旦带投票，立刻撞上 arXiv:2509.23537 揭示的两个微妙开关。该研究用 Gemini 2.5 Pro、GPT-5、Grok 4、Claude Sonnet 4 在 GPQA-Diamond、IFEval、MuSR 上做多轮多智能体编排，发现编排"匹配或超过最强单模型，并稳定优于其余"——但两个消融实验点破了代价：**当 agent 能看到答案是谁写的，自投票（投给自己）和僵局的比例显著上升**；**当 agent 能看到实时投票进度，羊群效应被放大，收敛变快却时常过早共识**。

这对工程设计的直接含义是：异构投票系统的默认配置应该是**匿名提交 + 盲投**。署名会让模型产生"作者自尊"式的偏差，倾向于维护自己阵营的输出；可见票数则触发"多数即正确"的启发式跟风，在难题上尤其致命——难题的正确答案往往是少数派，羊群会把它早早投死。盲投牺牲了一点收敛速度，换来的是对少数正确答案的保护。这套机制在投票反噬之外补了一条更细的维度：可见性本身就是一个会改变系统行为的自变量，而大多数框架默认就把所有上下文铺开给所有 agent，恰恰踩在最有害的配置上。

## 五、成本—能力路由：便宜模型扇出，前沿模型裁决

正交分工的另一面是**成本路由**，这是异构混编最具变现价值的工程形态。核心思想是把一个请求拆成难度不一的子任务，让路由器按难度与能力需求分流：高频、低难度的子任务（格式化、抽取、分类、批量改写）丢给便宜的开源模型扇出执行；少数需要深度推理或代码生成的关键节点，才调用前沿模型裁决。这与"级联路由盲区"讨论的成本视角形成互补——前者关注"路由误判为何烧钱"，这里关注"路由正确时如何省钱又保质"。

异构路由的净收益来自一个不对称事实：**前沿模型的边际能力溢价，在简单子任务上趋近于零**。一个抽取任务，GPT-5 与一个 7B 开源模型的准确率差距可能小于 2 个百分点，但价格差几十倍。把这些子任务下沉，整体成本可压缩一个数量级，而端到端质量几乎无损——前提是路由器够准。实战中路由器本身通常是一个轻量分类器或一个小模型，按提示特征（长度、是否含代码、是否需多步推理）做难度分桶，再映射到模型梯队。需要警惕的是路由误判的双向成本：把难题误判给弱模型会丢质量，把简单题误判给前沿模型会丢成本，而前者通常比后者更贵，所以路由器应**偏保守地向上路由**（拿不准就给强模型）。

```mermaid
flowchart LR
    REQ[用户请求] --> RT{难度路由器}
    RT -->|简单/高频/抽取| CHEAP[开源模型扇出<br/>DeepSeek/Llama]
    RT -->|代码/工具| CODE[代码型模型<br/>GPT-5系]
    RT -->|多模态/超长| MM[多模态模型<br/>Gemini 2.5 Pro]
    RT -->|深度推理/裁决| FRONT[前沿模型<br/>Claude Opus]
    CHEAP --> AGG[聚合裁决层]
    CODE --> AGG
    MM --> AGG
    FRONT --> AGG
    AGG --> OUT[最终结果]
    AGG -.难度超阈值.-> FRONT
```

## 六、对齐漂移与契约通信：异构团队的协议税

把不同厂商、不同代际的模型塞进一个系统，最难缠的不是能力，而是它们在**输出格式、安全策略、工具调用约定上的不一致**，可统称"对齐漂移"。每个模型被各自的 RLHF 训练塑造成不同的"性格"：有的倾向冗长解释，有的倾向极简作答；有的对工具调用 JSON 容错，有的严格拒绝任何不规范 schema；有的在边缘话题上过度拒答，有的放行。当这些模型直接对话，漂移会以格式错误、解析失败、拒答级联的形式层层放大。

解法是引入一层**契约通信**——把异构 agent 当作微服务，强制其通过统一的消息协议（结构化 schema、显式的 handoff、版本化的工具描述）交互，而非裸文本对话。这与"有状态工具""A2A 协议"的思路一脉相承：用协议层屏蔽模型间的性格差异。代价是多一层适配器的开发与维护成本，以及格式约束对模型自由度的些许抑制。但收益是可观测性——当某个 agent 行为漂移，你能在协议层捕获到 schema 违规，而不是在最终结果里猜哪个环节跑偏。对齐漂移是异构混编最容易被低估的长期税：单次 demo 看不见，上线两周后才以偶发故障的形式冒头，而根因（模型版本升级导致的对齐偏移）往往藏在供应商的更新日志里。

## 七、从 86 轮会话到生产模式：工程实战教训

把上述理论压进真实项目，DEV Community 上一位开发者用 86 轮 Claude Code 会话搭建并行调度 Claude、GPT、Gemini 的多智能体编排器，沉淀出的工程教训与论文结论高度共振。最硬的几条：**并行容易、聚合极难**——三个模型同时跑出三份答案后，"谁说了算"才是真正吃掉调试时间的环节，聚合层的 bug 远多于执行层；**异构编排的价值天花板，被团队里最弱的有效成员锁死**，而非被最强成员抬高，这与质量稀释定律完全一致；**可见性与署名必须默认关闭**，否则团队会陷入自说自话。

生产化阶段还要额外处理三件事：**幂等的子任务派发**（同一子任务重试不能产生分裂状态）、**每条消息的来源审计**（哪个模型在哪个版本产出了什么，便于回滚与归因）、以及**成本预算的硬熔断**（异构扇出极易在路由误判时失控烧钱）。这些教训指向一个统一结论：异构混编不是一个"加上去就变强"的插件，而是一套需要持续调参的系统。能变现的形态是把这套调参经验封装成行业垂直方案——例如金融研报的"抽取扇出+推理裁决"、法律的"检索+论证"流水线，每个垂直场景都有自己的异构度最优值与契约模板。

## 推荐方案

**若任务是开放域生成或单题问答**：直接用 Self-MoA（当前最强模型多采样聚合），别盲目混编不同模型投票。质量稀释会吃掉你以为的纠错红利，省下的 token 留给采样次数。

**若任务可分解为能力正交的子模块**：上异构分工，但只邀请各维度上的梯队选手，按 Claude（规划）/GPT（编码）/Gemini（多模态长文）/开源（批量扇出）的特长分配，匿名提交、盲投聚合，关闭实时票数可见。

**若是高并发混合负载**：在前面加一个偏保守向上路由的难度路由器，便宜模型扇出、前沿模型裁决，并对总成本设硬熔断。

**通用红线**：异构度不是越大越好——成员能力方差过大、子任务边界模糊、署名与可见性全开，三者占其一，混编收益就会转负。先量能力方差，再决定请几个模型入伙。

## 参考来源

1. [Rethinking Mixture-of-Agents: Is Mixing Different LLMs Truly Beneficial? (arXiv:2502.00674)](https://arxiv.org/abs/2502.00674) — 提出 Self-MoA，实测在 AlpacaEval 2.0 反超异构 MoA 6.6%、平均 3.8%，揭示质量稀释定律
2. [Beyond the Strongest LLM: Multi-Turn Multi-Agent Orchestration (arXiv:2509.23537)](https://arxiv.org/abs/2509.23537) — 用 Gemini 2.5 Pro/GPT-5/Grok 4/Claude Sonnet 4 实测异构编排，消融署名与可见投票的副作用
3. [Mixture-of-Agents Enhances Large Language Model Capabilities (ICLR 2025)](https://proceedings.iclr.cc/paper_files/paper/2025/hash/5434be94e82c54327bb9dcaf7fca52b6-Abstract-Conference.html) — 分层 MoA 原始架构，异构分层聚合的奠基工作
4. [togethercomputer/MoA (GitHub)](https://github.com/togethercomputer/moa) — Together AI 的 Mixture-of-Agents 开源实现与分层堆叠参考
5. [Building a Multi-Agent LLM Orchestrator with Claude Code — 86 Sessions of Hard-Won Lessons (DEV Community)](https://dev.to/ji_ai/building-a-multi-agent-llm-orchestrator-with-claude-code-86-sessions-of-hard-won-lessons-13n6) — 并行调度 Claude/GPT/Gemini 的工程实战教训

> [!tip] 51学通信知识星球
> **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。
> **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。
> **当前规模**：5200 篇主题 / 990 个回答，198 元/年。
> **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。
> **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。

![51学通信知识星球海报-扫码加入](https://wiki.500nian.com/images/zhixingqiu_qrcode.png)