五票同错：多智能体共识幻觉实测

概述

多智能体投票/共识是 2026 年最被高估的可靠性套路。直觉上，5 个 Agent 投票应把集体出错率压到独立基线 $p^5$——单个错误率 20%，五人同时错的概率只有 0.00032。但 ICML 2025 对 350+ 个 LLM 的大规模实测给出反直觉结论：模型间的错误高度相关，在某个主流榜单上，模型对错答案的一致率高达 60%，而且模型越大、越准，相关性越高。于是同源 Agent 投票的"有效票数"会从 5 塌缩到 2~3，共识不仅没纠错，反而把"五个模型都这么答"变成一种虚假的安全信号——这就是"共识幻觉"。本文用一个可复现公式 $n_{eff}\approx 1+(n-1)(1-\rho)$ 实测六种共识协议在相关性冲击下的有效票数塌缩，并给出唯一真正有效的解法组合：跨家族异构 + 推理树审计 + 把"高度一致"重新定义为"该人工复核"的告警信号，而非放行凭证。

六种共识协议横评

说明：ρ 为需要在自有数据上实测的输入量，n_eff 由公式推导；上表 ρ 取文献方向一致的示意区间，用于解释机制，非某次固定跑分的精确读数。

深度分析

一、共识幻觉的数学内核：有效票数塌缩

集成学习的全部收益都建立在"错误相互独立"这一前提上。若每个 Agent 独立出错率为 $p$，n 个 Agent 全错的概率是 $p^n$。但真实世界里 Agent 共享训练语料、共享 Transformer 归纳偏置、共享解码策略，错误是系统性对齐的。引入两两错误相关系数 $\rho$ 后，有效集成规模退化为：

$$n_{eff}\approx 1+(n-1)(1-\rho),\qquad P_{all\ wrong}\approx p^{\,n_{eff}}$$

代入典型值 $p=0.2,\ n=5,\ \rho=0.6$：$n_{eff}=1+4\times0.4=2.6$，$P\approx0.2^{2.6}\approx0.015$——比独立基线 0.00032 大了约 47 倍。这就是共识幻觉的根源：你以为买了五份独立保险，实际只买了两份半。可复现的核验脚本只有四行：

def n_eff(n, rho):   return 1 + (n - 1) * (1 - rho)
def p_all_wrong(p, ne): return p ** ne
print(n_eff(5, 0.6), round(p_all_wrong(0.2, n_eff(5, 0.6)), 5))
# 2.6 0.01474

任何多智能体系统上线前，第一件事就是用历史错例估出 $\rho$，算出真实的 $n_{eff}$。若 $n_{eff}$ 接近 1，说明这 n 个 Agent 在统计上等同一个 Agent——再堆数量也是徒劳。

二、ICML 2025 实证：越强的模型越"同声同气"

Kim 等人在 ICML 2025（《Correlated Errors in Large Language Models》，arXiv 2506.07962）对 350+ 个 LLM 做了大规模评测，结论对多智能体设计是毁灭性的：在某个流行榜单上，模型之间对错答案的一致率达到 60%；更关键的是，更大、更准的模型，错误相关性更高，即便它们来自不同家族。这意味着"上最强模型 × N 份投票"这条最常见的工程路径，恰恰踩中相关性最高的区间——你花钱堆的不是多样性，而是冗余。对多智能体编排的直接推论是：用同一家厂商的同代模型组 5 个 Agent，几乎等于把 5 票折叠成 1.x 票；想真正提升 $n_{eff}$，必须跨越"模型家族"这条线（GPT / Claude / Gemini / 开源 Llama 混编），而不是在同一家族里换温度、换提示词了事——后者只能降一点点 $\rho$。

三、同构 vs 异构：MoA 消融的铁证

Together AI 的 Mixture-of-Agents（arXiv 2406.04692）给出了最干净的对照实验。MoA 把 Agent 组织成层：第一层 proposer 各自独立作答，后续层 aggregator 看到上一层输出再做精炼。论文消融的关键一句是：异构模型生成的回答贡献显著大于同构模型——把同一个模型复制 N 份当 proposer，增益几乎可以忽略；换成不同模型，增益才显现。一个由较弱开源模型组成的 MoA 集成在标准榜单上拿到 65.1% 胜率，超过 GPT-4 单独的 57.5%。但论文也埋了一个反向警告：MoA 对 proposer 质量极敏感，胡乱混入弱模型会拉低平均质量。结论很明确：异构是有方向的，要混"错误模式不同但能力相当"的模型，而不是无脑混能力参差的模型。这条原则直接决定了你该选哪些厂商、哪些尺寸。

四、校准破产：共识让模型更敢"确信地错"

共识幻觉还有第二层杀伤：它扭曲了置信度校准。单个模型出错时往往还留有余地，但多个同源模型一致作答时，系统会把这种"一致性"误读为"确定性"，输出一个高置信度的错答案。临床场景的复现尤其刺眼：五份"独立"的 LLM 会诊给出同一个自信但错误的诊断，医疗团队据此执行——事后化验才推翻。tianpan.co 在 2026 年 5 月的分析里给出一组可对照的工程数字：在一项 360 例的临床对照中，工具增强的多模型验证拿到 80% 任务正确率，对比单模型基线的 64%，而且歧义样本上的差距更大——恰好是共识最有价值的地方。代价是多模型共识每条推理花 2~4 倍成本。这笔账只在一类输出上才划算：错答的代价远高于多花几次推理（法律摘要、医疗分诊、金融风险标志、安全评估）。对闲聊、摘要、常规生成，2~4× 成本换不来对应的可靠性收益。

五、六种聚合协议的真实抗相关性

把六种协议放进同一个 $\rho \to n_{eff}$ 框架里看，高下立判。朴素多数投票最危险：同模型同温度，$\rho$ 最高（0.55~0.65），$n_{eff}$ 塌到 2.6，它不是纠错器而是同源错误的放大器。加权投票改善有限——加权按历史准确率分权重，但权重不能去相关，$\rho$ 不动，$n_{eff}$ 仍在 2.6 附近。同行排名共识（互相给对方回答打分排序，如 Fortytwo 的 peer-ranked 范式）能把 $\rho$ 压到 0.45~0.55，$n_{eff}\approx3.0$，对开放式生成更稳。辩论收敛看似高级，实则最坑：多轮辩论容易把分歧"拉平"成共识，反而抬高 $\rho$、压低 $n_{eff}$，这就是此前"辩论回路收敛税"现象的另一面——收敛得太狠，把对的少数派也吞了。推理树审计是黑马：它不比最终答案，而比推理路径在哪个步骤分叉，能把 $\rho$ 压到 0.35~0.45，$n_{eff}\approx3.4$，arXiv 2602.09341 证实"审计多智能体推理树优于多数投票"。跨家族异构集成才是正解，$\rho$ 0.15~0.25，$n_{eff}\approx4.2$，逼近理论独立上限。

六、唯一有效的解法组合：异构 + 审计 + 一致即告警

把上面的结论收敛成可落地的工程配方。第一层是结构性去相关：propser 横跨不同厂商家族，且刻意挑选能力相当、训练数据来源不同的模型（开源 + 闭源混编）。第二层是比较方式的升级：用语义相似度而非字符串比对判一致，并优先审计推理路径而非最终答案。第三层是信号语义反转——这是最反直觉也最重要的一条：当多个模型高度一致时，不要放行，反而要触发人工复核，因为这正是同源相关错误最可能集体爆发的信号。Mozilla 内部的 Star Chamber 工具就是这么做的：把安全和架构审查同时扇出到多个厂商，聚合出基于共识的建议，并主动暴露"模型们各自独有的担忧"——分歧本身成为一等公民的系统信号，而不是调试残留。

七、生产化的成本门与放行闸

把共识幻觉的治理写进生产流水线，本质是设两道闸。成本闸：默认单模型，只有命中"高代价输出"白名单（合规、医疗、法律、安全）才升级到多模型共识，承受 2~4× 成本；其余场景堆共识是纯浪费。放行闸：共识的输出不是布尔通过/否决，而是一个带 $n_{eff}$ 与 $\rho$ 的置信度标签。运维侧要持续监控两个指标——错误两两相关率 $\rho$ 是否漂移上升（模型升级后尤其要重测）、以及"高一致却出错"的频次。一个最小放行策略：$\rho>0.5$ 或 $n_{eff}<3$ 时，共识结果强制降级为"建议"而非"结论"，并要求外部 grounding（检索/符号校验/人工）。这条策略把"五票同错"从隐蔽的系统风险，变成仪表盘上可见、可治理的指标。

共识幻觉治理架构

flowchart TD
    Q[用户查询] --> Gate{高代价输出?}
    Gate -->|否| Single[单模型直出<br/>成本 1×]
    Gate -->|是| Fanout[跨家族异构扇出<br/>GPT/Claude/Gemini/Llama]

    Fanout --> P1[Proposer A]
    Fanout --> P2[Proposer B]
    Fanout --> P3[Proposer C]
    Fanout --> P4[Proposer D]
    Fanout --> P5[Proposer E]

    P1 & P2 & P3 & P4 & P5 --> Audit[推理树审计<br/>比较路径分叉点]
    Audit --> Calc[实测两两错误率 ρ<br/>算 n_eff=1+(n-1)(1-ρ)]

    Calc --> Decide{n_eff ≥ 3 且 ρ ≤ 0.5?}
    Decide -->|是| Agree{高度一致?}
    Decide -->|否| Human1[降级为建议 + 人工复核]

    Agree -->|是, 疑似同源| Human2[触发人工复核<br/>一致即告警]
    Agree -->|否, 存在分歧| Route[分歧即信号<br/>路由到对应校验器]

    Route --> V1[事实准确性校验]
    Route --> V2[合规对齐校验]
    Route --> V3[逻辑一致性校验]

    Human2 & V1 & V2 & V3 --> Final[带置信度的最终结论]

    classDef gate fill:#fff3cd,stroke:#856404
    classDef human fill:#f8d7da,stroke:#721c24
    classDef ok fill:#d4edda,stroke:#155724
    class Gate,Decide gate
    class Human1,Human2 human
    class Final,Single ok

推荐方案

低风险场景（闲聊、摘要、常规生成）：单模型直出。不要为"看起来更可靠"堆共识，那是用 5× 成本买一个 $\rho\approx0.6$ 的幻觉。把省下的预算投到 grounding 和校准上，性价比远高于投票。

中风险场景（客服决策、内容审核初筛）：若一定要上多 Agent，选同行排名共识或推理树审计，而非朴素投票。这两个协议在 $\rho$ 冲击下 $n_{eff}$ 衰减最慢。同模型复制 N 份的方案直接否掉——MoA 消融已证明它贡献近乎为零。

高风险场景（医疗、法律、金融、安全放行）：唯一推荐组合是跨家族异构集成 + 推理树审计 + 一致即告警。propser 横跨厂商，比较推理路径而非终答，把"高度一致"重新定义为人工复核触发器。接受 2~4× 成本——在这些领域，一次系统性错答的代价（误诊、违规、资金损失、安全漏洞）远超多花几次推理的钱。Mozilla Star Chamber 是现成的参照实现。

所有场景的通用纪律：上线前必测 $\rho$ 并算 $n_{eff}$；模型每次升级后重测，因为更强模型相关性更高；把 $n_{eff}$ 和"高一致却出错"频次做成监控仪表盘。共识幻觉之所以危险，恰恰是因为它看起来最像"可靠性"——而真正的可靠性，始于承认"五个模型都说对"可能只是它们共享了同一个盲点。

参考来源

1. Correlated Errors in Large Language Models (ICML 2025 / arXiv 2506.07962) — 对 350+ 个 LLM 的大规模实测：模型对错答案一致率达 60%，且模型越大、越准，错误相关性越高。
2. Mixture-of-Agents Enhances Large Language Model Capabilities (arXiv 2406.04692, Together AI) — 分层 proposer/aggregator 架构，消融显示异构模型贡献显著大于同构模型。
3. Multi-Model Consensus: When One LLM Isn't Enough to Sign Off (tianpan.co, 2026-05) — 多模型共识生产架构：2~4× 成本，360 例临床 80% vs 64%，Mozilla Star Chamber 案例。
4. Consensus Hallucination: Why Five LLMs Agree on the Wrong Answer — and Why Ensembling Fails (notes.suhaib.in) — $n_{eff}\approx1+(n-1)(1-\rho)$ 数学内核与缓解策略手册。
5. Auditing Multi-Agent LLM Reasoning Trees Outperforms Majority Vote (arXiv 2602.09341) — 实证推理树审计优于多数投票；另见 Beyond Majority Voting（arXiv 2510.01499）对高阶聚合的改进。

[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。