当一个任务被拆给多个智能体并行处理后,"如何把多份答案收敛成一份"这件事,正在成为多智能体系统真正的成败分水岭。2025–2026 年的研究给出一个反直觉的结论:模型越强、越准,错误之间越相关——即使换成不同厂商、不同架构的模型,它们在难题上仍会集体栽进同一个坑。这意味着多数投票(majority voting)这套被广泛复用的汇聚策略,在最需要它的高难度场景里恰恰失效。本文实测七种汇聚策略——自洽投票、排序投票、动态加权共识、Mixture-of-Agents 分层聚合、Map-Reduce 汇聚节点、裁判仲裁、委派——的核心机制、成本与塌陷红线,并给出"多样性预算"这一工程化的选型框架。
| 策略 | 核心机制 | Token/延迟成本 | 关键失败模式 | 最适用任务 |
|---|---|---|---|---|
| 自洽多数投票(Self-Consistency) | 同一模型多次采样取众数 | 线性翻 N 倍 | 相关错误导致众数即错答 | 答案离散、可枚举(数学/选择) |
| 排序投票(Ranked/Borda) | 对候选答案排序加权求和 | 中等 | 排名噪声、策略性投票 | 多候选、偏好聚合 |
| 动态加权共识 | 按置信度/历史准确率动态加权 | 中等+元信息开销 | 置信度校准失真 | 异构模型协作 |
| Mixture-of-Agents(MoA) | 分层 proposer→aggregator 级联聚合 | 高(层数×宽度) | 聚合器被低质输出拖累 | 开放生成、长文 |
| Map-Reduce 汇聚节点 | fan-out 并行 + reduce 折叠 | 并行压缩延迟 | reduce 成为瓶颈/上下文溢出 | 可切分的批处理任务 |
| 裁判仲裁(Referee/Judge) | 独立第三方裁决分歧 | 额外一轮推理 | 裁判与选手同源偏差 | 主观/争议性判断 |
| 委派(Delegation) | 不聚合,直接选最强者执行 | 最低 | 放弃多样性收益 | 强者明确的单点任务 |
自洽性(Self-Consistency,Wang 等 2022)是多智能体汇聚的鼻祖:让同一模型对同一题采样 N 条推理路径,取出现频率最高的答案。它在 GSM8K 这类数学题上稳定提升 10–18 个百分点,逻辑非常朴素——只要 N 条采样彼此独立,正确答案就会在分布中占多数。
但这条朴素逻辑藏着一个被多数工程实践忽略的前提:样本之间必须条件独立。代码实现上,多数投票就是一个计数器:
from collections import Counter
def majority_vote(samples: list[str]) -> str:
norm = [normalize(s) for s in samples] # 抽取规范化答案
return Counter(norm).most_common(1)[0][0]
这段代码的失效边界,恰恰是问题最难的时候。当题目接近模型能力上限,N 条采样的思维链会坍缩到同一套错误推理路径上——它们不是独立的,而是高度相关的。此时众数不再是真理的信号,而是错误共识的放大器。Optimal Self-Consistency(arXiv:2511.12309)的研究进一步指出,盲目增加采样数 N 存在收益递减点,超过临界点后不仅不再提升准确率,反而因为相关样本堆积而拉低性价比。多数投票不是免费的保险,它买的是"独立性",而你经常付了钱却没拿到货。
这是 2025 年最值得多智能体工程师记住的一篇论文——Kim 等人发表于 ICML 2025 的《Correlated Errors in Large Language Models》(arXiv:2506.07962)。其核心发现令人不安:更大、更准确的模型,错误之间相关性也越高,即便它们来自不同家族、不同训练数据。换言之,你以为用 GPT 系 + Claude 系 + 开源系做异构集成就能对冲风险,但在难题面前,三家会同时答错同一个点。
这直接戳破了"换不同模型就等于引入多样性"的直觉。相关错误的存在意味着集成收益远低于独立假设下的理论上界,公式上,N 个正确率为 p、两两错误相关系数为 ρ 的智能体,其多数投票的正确率随 N 增长而饱和的速度,与 ρ 成反比——ρ 越高,加再多智能体也没用。这就是"相关错误税":你为冗余付的每一分 token,都有一部分被相关性吃掉了。
工程对策是显式地采购"错误无关性"而非"模型数量"。具体手段包括:混用不同推理范式(CoT vs 直接作答)、不同提示框架、不同温度、甚至不同模态(文本 vs 代码执行验证),强制让各路智能体在解题路径上分叉。这不是玄学,而是把"独立性假设"从隐含变成显式可度量的指标——上线前先在验证集上测算两两错误相关矩阵,相关性高于阈值的组合,集成就是亏本买卖。
比"模型天生相关"更隐蔽的,是 协作过程会主动制造相关性。ACL 2026 录用论文《Diversity Collapse in Multi-Agent LLM Systems》在超过 10000 份研究方案的评测中系统揭示了这一现象:当多个智能体在共享上下文里互相看到彼此的输出(典型如辩论、互评、黑板共享状态),它们的输出分布会迅速向彼此收敛,结构化耦合让集体多样性在几轮交互后坍缩到接近单智能体水平。
这意味着一个残酷的权衡:协作带来的"互相纠错"收益,与协作带来的"同质化"代价,在抢同一条多样性预算。 多轮辩论前三轮可能纠错,第四轮开始大家趋同,第五轮之后基本是在烧 token 复述共识。该论文还发现,这种塌陷在任务越难、上下文越共享时发生越快。
对策不是停止协作,而是给协作装上"多样性熔断":监控群体输出间的语义相似度(如嵌入余弦相似度均值),一旦超过阈值即触发干预——要么强制注入一个"魔鬼代言人"(adversarial agent,被提示去推翻当前共识),要么重置部分智能体的上下文切断耦合,要么干脆提前停止。这把"多样性"从一个口号变成了一个可观测、可告警、可熔断的工程指标,与单智能体里的幻觉率、工具成功率站在同一张看板上。
如果说多数投票是"统计",Mixture-of-Agents(MoA,arXiv:2406.04692,ICLR 2025)就是把聚合升级成"生成"。MoA 采用分层结构:第一层若干个 proposer 智能体各自作答;第二层的 aggregator 智能体把上一层所有输出连同原问题一起读进来,综合出一份更好的回答;如此级联多层。Together AI 的实测中,6 个开源 proposer + 3 层聚合的 MoA 在 AlpacaEval 2.0 上拿到 65.1%,用纯开源模型击败了当时的 GPT-4o。
def moa_layer(question, proposers, aggregator, n=3):
drafts = [p(question) for p in proposers] # 并行提案
ctx = f"问题:{question}\n候选答案:{drafts}"
return aggregator(ctx) # 聚合器综合
def moa(question, layers):
out = question
for layer in layers:
out = moa_layer(out, layer.props, layer.agg)
return out
MoA 的精妙之处在于:聚合器不是选优,而是再生成——它读所有候选后输出一个全新答案,能融合 A 的论点与 B 的细节。代价同样清晰:层数 × 宽度的 token 成本远超单模型,且聚合器成为新的单点——如果聚合器本身偏弱或与 proposer 同源相关,整个分层结构会退化为"昂贵的复述"。MoA 的实战定位因此很明确:用于开放生成与长文这类"没有标准答案、可融合"的任务,而不是有唯一正解的数学题——后者用 MoA 是高射炮打蚊子还可能误伤友军。
当任务本身可切分(比如对 100 篇文档各做摘要再汇总),汇聚的最佳形态是 Map-Reduce。LangGraph 的 Send() API 让 fan-out(把子任务分发给 N 个并行节点)与 fan-in(reduce 节点折叠结果)成为一等公民。其工程价值在于:并行把延迟压下来(实测 DAG fan-out/fan-in 可压缩 36–50% 端到端延迟),而 reduce 节点天然就是聚合点。
# LangGraph Send API:动态 fan-out
def fan_out(state):
return [Send("summarize", {"doc": d}) for d in state["docs"]]
def reduce(state, parts): # parts 是所有并行返回
return {"summary": synthesizer(parts)} # 这里换成 MoA 聚合器即可
Map-Reduce 汇聚的失败模式集中在 reduce 节点:当并行结果数量大,reduce 节点的输入上下文会溢出;当子任务结果之间有依赖(B 的结论依赖 A),强行 map 会破坏一致性。因此工程上要把"reduce 策略"做成可插拔——简单的就拼接摘要,复杂的有冲突就切到裁判仲裁,开放生成就切到 MoA 聚合器。汇聚层不该是写死的最后一行代码,而该是策略可热切的决策点。
多数投票是"非黑即白"的,每个智能体只投一票,第二名信息全丢。ACL 2025 录用的 Ranked Voting based Self-Consistency 提出:让每个智能体对所有候选答案做排序,用 Borda 计分加权汇总。这在多候选、答案接近的场景下显著优于多数票——因为它保留了"次优也很可能对"的信号。
更进一步是动态加权共识(Dynamic Weighted Consensus,Springer 2025):不是一人一票,而是按智能体的实时置信度、历史任务准确率动态分配权重。一个在代码任务上历史准确率 92% 的智能体,其票权应高于准确率 60% 的。这本质上是把"专家可靠性"显式建模进聚合公式:
def weighted_consensus(answers, weights, confidences):
score = defaultdict(float)
for ans, w, c in zip(answers, weights, confidences):
score[normalize(ans)] += w * c # 权重×置信度
return max(score, key=score.get)
加权共识的命门是置信度校准。如果智能体普遍过度自信(这是 LLM 的通病),权重就会被噪声主导,反而不如一人一票。上线前必须做校准检验:把置信度分桶,看每个桶内实际正确率是否单调递增,不单调就得先校准再加权。否则你精心设计的权重矩阵,只是给"谁嗓门大谁说了算"披了层数学外衣。
并非所有分歧都该聚合。当候选答案之间是真正的语义冲突(一个说向东、一个说向西),加权求和毫无意义——这时需要的是裁判。裁判是第三个独立智能体,读取原问题与所有分歧答案,做出裁决。ACL 2025 的《Voting or Consensus?》系统评测了 7 种决策协议,结论是:没有银弹,协议选择应匹配任务类型——可验证任务用投票,主观任务用裁判,争议任务用共识迭代。
但裁判引入了新风险:裁判与选手若同源(同模型家族),会复现选手的相关错误。工程红线是裁判必须来自不同模型家族,且最好换推理范式(选手用 CoT,裁判用直接判断)。另一个被低估的策略是委派(Delegation)——干脆不聚合,直接识别出"哪个智能体最擅长这个子任务"并全权交给它。arXiv:2606.08098《When Does Delegation Beat Majority?》的结论很务实:当智能体间能力方差大(有明显强弱)、且错误高度相关时,委派给最强者比多数投票更优——因为此时聚合的多样性收益已被相关性抹平,投票只是在稀释最强者的正确率。委派是"放弃对冲、单压龙头"的策略,它省 token、降延迟,代价是放弃了鲁棒性保险。
flowchart TD
Q[原始任务] --> FO[Fan-out 分发]
FO --> A1[智能体A 推理范式1]
FO --> A2[智能体B 推理范式2]
FO --> A3[智能体C 推理范式3]
A1 & A2 & A3 --> DIV{多样性监测<br/>相关错误矩阵 ρ}
DIV -- "ρ 低 独立" --> VOTE[多数/排序投票]
DIV -- "ρ 高 相关" --> DELEG[委派最强者]
DIV -- "候选冲突" --> JUDGE[裁判仲裁<br/>异源第三方]
DIV -- "开放生成" --> MOA[MoA 分层聚合]
VOTE & DELEG & JUDGE & MOA --> OUT[收敛输出]
A1 -.共享上下文耦合.-> COL[多样性塌陷监测<br/>语义相似度]
COL -- "超阈值" --> RESET[注入魔鬼代言人<br/>或重置上下文/早停]
RESET --> FO
style DIV fill:#fde68a
style COL fill:#fecaca
汇聚层不该是流程图的收尾附件,而该被视为一个有自己输入契约(候选答案集 + 元信息)、自己可观测指标(多样性、相关错误率、收敛轮数)、自己熔断策略的独立子系统。其选型遵循三条主线:
第一,按答案空间形状选聚合算子。 答案离散可枚举(选择/数值)→ 多数或排序投票;答案连续开放(长文/方案)→ MoA 分层聚合或 Map-Reduce reduce 节点;答案是判断(对/错/方向)→ 裁判仲裁。
第二,按错误相关性选冗余策略。 先在验证集测算两两错误相关矩阵 ρ。ρ 低 → 投票/聚合,享受多样性收益;ρ 高 → 委派最强者,别在相关错误上浪费 token;ρ 在中间且任务关键 → 引入异构范式(CoT + 代码验证 + 不同温度)主动采购无关性,再聚合。
第三,把多样性做成可熔断指标。 在多轮协作里实时监测群体语义相似度,超阈值即触发魔鬼代言人注入或早停,防止多样性塌陷。把"独立性假设"从代码注释里的隐含前提,变成监控大屏上的红色曲线。
工程上最该警惕的认知误区,是把"多智能体"等同于"更可靠"。多智能体只在你成功保持了错误独立性与输出多样性时才更可靠;否则它只是用更多 token,复述同一个错误。汇聚层的全部工程意义,就是把这个"否则"的概率,从默认的高位,压到生产可接受的红线之下——而那条红线的名字,叫相关错误税。
[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。
