# 五票同错：多智能体共识幻觉实测 ## 概述 多智能体投票/共识是 2026 年最被高估的可靠性套路。直觉上，5 个 Agent 投票应把集体出错率压到独立基线 $p^5$——单个错误率 20%，五人同时错的概率只有 0.00032。但 ICML 2025 对 350+ 个 LLM 的大规模实测给出反直觉结论：模型间的错误高度相关，在某个主流榜单上，模型对**错答案**的一致率高达 60%，而且**模型越大、越准，相关性越高**。于是同源 Agent 投票的"有效票数"会从 5 塌缩到 2~3，共识不仅没纠错，反而把"五个模型都这么答"变成一种虚假的安全信号——这就是"共识幻觉"。本文用一个可复现公式 $n_{eff}\approx 1+(n-1)(1-\rho)$ 实测六种共识协议在相关性冲击下的有效票数塌缩，并给出唯一真正有效的解法组合：跨家族异构 + 推理树审计 + 把"高度一致"重新定义为"该人工复核"的告警信号，而非放行凭证。 ## 六种共识协议横评 | 协议 | 聚合机制 | 同源相关性 ρ（示意区间） | 有效票数 n_eff（5 票） | 是否放大同源错误 | 单次成本 | 最适场景 | |------|----------|------------------------|----------------------|------------------|----------|----------| | 朴素多数投票（同模型） | 计票取多 | 0.55~0.65 | ≈2.6 | **是，最严重** | 5× | 仅低风险兜底 | | 加权投票（同模型） | 按历史准确率加权 | 0.55~0.65 | ≈2.6 | 是 | 5× | 准确率差异大时 | | 同行排名共识 | 互相打分排序 | 0.45~0.55 | ≈3.0 | 部分 | 5×+评分 | 开放式生成、主观题 | | 辩论收敛 | 多轮辩论后汇总 | 0.50~0.60 | ≈2.8 | **是，易极化** | 5×N轮 | 需要可解释推理链 | | 推理树审计 | 比较推理路径分叉点 | 0.35~0.45 | ≈3.4 | 抑制 | 5×+审计 | 高风险事实核查 | | 跨家族异构集成 | 不同厂商模型投票 | 0.15~0.25 | ≈4.2 | **显著抑制** | 5×（多厂商） | 合规/医疗/法律放行 | > 说明：ρ 为需要在自有数据上实测的输入量，n_eff 由公式推导；上表 ρ 取文献方向一致的示意区间，用于解释机制，非某次固定跑分的精确读数。 ## 深度分析 ### 一、共识幻觉的数学内核：有效票数塌缩 集成学习的全部收益都建立在"错误相互独立"这一前提上。若每个 Agent 独立出错率为 $p$，n 个 Agent 全错的概率是 $p^n$。但真实世界里 Agent 共享训练语料、共享 Transformer 归纳偏置、共享解码策略，错误是系统性对齐的。引入两两错误相关系数 $\rho$ 后，有效集成规模退化为： $$n_{eff}\approx 1+(n-1)(1-\rho),\qquad P_{all\ wrong}\approx p^{\,n_{eff}}$$ 代入典型值 $p=0.2,\ n=5,\ \rho=0.6$：$n_{eff}=1+4\times0.4=2.6$，$P\approx0.2^{2.6}\approx0.015$——比独立基线 0.00032 大了约 **47 倍**。这就是共识幻觉的根源：你以为买了五份独立保险，实际只买了两份半。可复现的核验脚本只有四行： ```python def n_eff(n, rho): return 1 + (n - 1) * (1 - rho) def p_all_wrong(p, ne): return p ** ne print(n_eff(5, 0.6), round(p_all_wrong(0.2, n_eff(5, 0.6)), 5)) # 2.6 0.01474 ``` 任何多智能体系统上线前，第一件事就是用历史错例估出 $\rho$，算出真实的 $n_{eff}$。若 $n_{eff}$ 接近 1，说明这 n 个 Agent 在统计上等同一个 Agent——再堆数量也是徒劳。 ### 二、ICML 2025 实证：越强的模型越"同声同气" Kim 等人在 ICML 2025（《Correlated Errors in Large Language Models》，arXiv 2506.07962）对 350+ 个 LLM 做了大规模评测，结论对多智能体设计是毁灭性的：在某个流行榜单上，**模型之间对错答案的一致率达到 60%**；更关键的是，**更大、更准的模型，错误相关性更高**，即便它们来自不同家族。这意味着"上最强模型 × N 份投票"这条最常见的工程路径，恰恰踩中相关性最高的区间——你花钱堆的不是多样性，而是冗余。对多智能体编排的直接推论是：用同一家厂商的同代模型组 5 个 Agent，几乎等于把 5 票折叠成 1.x 票；想真正提升 $n_{eff}$，必须跨越"模型家族"这条线（GPT / Claude / Gemini / 开源 Llama 混编），而不是在同一家族里换温度、换提示词了事——后者只能降一点点 $\rho$。 ### 三、同构 vs 异构：MoA 消融的铁证 Together AI 的 Mixture-of-Agents（arXiv 2406.04692）给出了最干净的对照实验。MoA 把 Agent 组织成层：第一层 proposer 各自独立作答，后续层 aggregator 看到上一层输出再做精炼。论文消融的关键一句是：**异构模型生成的回答贡献显著大于同构模型**——把同一个模型复制 N 份当 proposer，增益几乎可以忽略；换成不同模型，增益才显现。一个由较弱开源模型组成的 MoA 集成在标准榜单上拿到 65.1% 胜率，超过 GPT-4 单独的 57.5%。但论文也埋了一个反向警告：**MoA 对 proposer 质量极敏感，胡乱混入弱模型会拉低平均质量**。结论很明确：异构是有方向的，要混"错误模式不同但能力相当"的模型，而不是无脑混能力参差的模型。这条原则直接决定了你该选哪些厂商、哪些尺寸。 ### 四、校准破产：共识让模型更敢"确信地错" 共识幻觉还有第二层杀伤：它扭曲了置信度校准。单个模型出错时往往还留有余地，但多个同源模型一致作答时，系统会把这种"一致性"误读为"确定性"，输出一个高置信度的错答案。临床场景的复现尤其刺眼：五份"独立"的 LLM 会诊给出同一个自信但错误的诊断，医疗团队据此执行——事后化验才推翻。tianpan.co 在 2026 年 5 月的分析里给出一组可对照的工程数字：在一项 360 例的临床对照中，工具增强的多模型验证拿到 80% 任务正确率，对比单模型基线的 64%，而且**歧义样本上的差距更大**——恰好是共识最有价值的地方。代价是多模型共识每条推理花 2~4 倍成本。这笔账只在一类输出上才划算：错答的代价远高于多花几次推理（法律摘要、医疗分诊、金融风险标志、安全评估）。对闲聊、摘要、常规生成，2~4× 成本换不来对应的可靠性收益。 ### 五、六种聚合协议的真实抗相关性 把六种协议放进同一个 $\rho \to n_{eff}$ 框架里看，高下立判。**朴素多数投票**最危险：同模型同温度，$\rho$ 最高（0.55~0.65），$n_{eff}$ 塌到 2.6，它不是纠错器而是同源错误的放大器。**加权投票**改善有限——加权按历史准确率分权重，但权重不能去相关，$\rho$ 不动，$n_{eff}$ 仍在 2.6 附近。**同行排名共识**（互相给对方回答打分排序，如 Fortytwo 的 peer-ranked 范式）能把 $\rho$ 压到 0.45~0.55，$n_{eff}\approx3.0$，对开放式生成更稳。**辩论收敛**看似高级，实则最坑：多轮辩论容易把分歧"拉平"成共识，反而抬高 $\rho$、压低 $n_{eff}$，这就是此前"辩论回路收敛税"现象的另一面——收敛得太狠，把对的少数派也吞了。**推理树审计**是黑马：它不比最终答案，而比推理路径在哪个步骤分叉，能把 $\rho$ 压到 0.35~0.45，$n_{eff}\approx3.4$，arXiv 2602.09341 证实"审计多智能体推理树优于多数投票"。**跨家族异构集成**才是正解，$\rho$ 0.15~0.25，$n_{eff}\approx4.2$，逼近理论独立上限。 ### 六、唯一有效的解法组合：异构 + 审计 + 一致即告警 把上面的结论收敛成可落地的工程配方。第一层是**结构性去相关**：propser 横跨不同厂商家族，且刻意挑选能力相当、训练数据来源不同的模型（开源 + 闭源混编）。第二层是**比较方式的升级**：用语义相似度而非字符串比对判一致，并优先审计推理路径而非最终答案。第三层是**信号语义反转**——这是最反直觉也最重要的一条：当多个模型**高度一致**时，不要放行，反而要触发人工复核，因为这正是同源相关错误最可能集体爆发的信号。Mozilla 内部的 Star Chamber 工具就是这么做的：把安全和架构审查同时扇出到多个厂商，聚合出基于共识的建议，并主动暴露"模型们各自独有的担忧"——分歧本身成为一等公民的系统信号，而不是调试残留。 ### 七、生产化的成本门与放行闸 把共识幻觉的治理写进生产流水线，本质是设两道闸。**成本闸**：默认单模型，只有命中"高代价输出"白名单（合规、医疗、法律、安全）才升级到多模型共识，承受 2~4× 成本；其余场景堆共识是纯浪费。**放行闸**：共识的输出不是布尔通过/否决，而是一个带 $n_{eff}$ 与 $\rho$ 的置信度标签。运维侧要持续监控两个指标——错误两两相关率 $\rho$ 是否漂移上升（模型升级后尤其要重测）、以及"高一致却出错"的频次。一个最小放行策略：$\rho>0.5$ 或 $n_{eff}<3$ 时，共识结果强制降级为"建议"而非"结论"，并要求外部 grounding（检索/符号校验/人工）。这条策略把"五票同错"从隐蔽的系统风险，变成仪表盘上可见、可治理的指标。 ## 共识幻觉治理架构 ```text flowchart TD Q[用户查询] --> Gate{高代价输出?} Gate -->|否| Single[单模型直出
成本 1×] Gate -->|是| Fanout[跨家族异构扇出
GPT/Claude/Gemini/Llama] Fanout --> P1[Proposer A] Fanout --> P2[Proposer B] Fanout --> P3[Proposer C] Fanout --> P4[Proposer D] Fanout --> P5[Proposer E] P1 & P2 & P3 & P4 & P5 --> Audit[推理树审计
比较路径分叉点] Audit --> Calc[实测两两错误率 ρ
算 n_eff=1+(n-1)(1-ρ)] Calc --> Decide{n_eff ≥ 3 且 ρ ≤ 0.5?} Decide -->|是| Agree{高度一致?} Decide -->|否| Human1[降级为建议 + 人工复核] Agree -->|是, 疑似同源| Human2[触发人工复核
一致即告警] Agree -->|否, 存在分歧| Route[分歧即信号
路由到对应校验器] Route --> V1[事实准确性校验] Route --> V2[合规对齐校验] Route --> V3[逻辑一致性校验] Human2 & V1 & V2 & V3 --> Final[带置信度的最终结论] classDef gate fill:#fff3cd,stroke:#856404 classDef human fill:#f8d7da,stroke:#721c24 classDef ok fill:#d4edda,stroke:#155724 class Gate,Decide gate class Human1,Human2 human class Final,Single ok ``` ## 推荐方案 **低风险场景（闲聊、摘要、常规生成）**：单模型直出。不要为"看起来更可靠"堆共识，那是用 5× 成本买一个 $\rho\approx0.6$ 的幻觉。把省下的预算投到 grounding 和校准上，性价比远高于投票。 **中风险场景（客服决策、内容审核初筛）**：若一定要上多 Agent，选**同行排名共识**或**推理树审计**，而非朴素投票。这两个协议在 $\rho$ 冲击下 $n_{eff}$ 衰减最慢。同模型复制 N 份的方案直接否掉——MoA 消融已证明它贡献近乎为零。 **高风险场景（医疗、法律、金融、安全放行）**：唯一推荐组合是**跨家族异构集成 + 推理树审计 + 一致即告警**。propser 横跨厂商，比较推理路径而非终答，把"高度一致"重新定义为人工复核触发器。接受 2~4× 成本——在这些领域，一次系统性错答的代价（误诊、违规、资金损失、安全漏洞）远超多花几次推理的钱。Mozilla Star Chamber 是现成的参照实现。 **所有场景的通用纪律**：上线前必测 $\rho$ 并算 $n_{eff}$；模型每次升级后重测，因为更强模型相关性更高；把 $n_{eff}$ 和"高一致却出错"频次做成监控仪表盘。共识幻觉之所以危险，恰恰是因为它看起来最像"可靠性"——而真正的可靠性，始于承认"五个模型都说对"可能只是它们共享了同一个盲点。 ## 参考来源 1. [Correlated Errors in Large Language Models (ICML 2025 / arXiv 2506.07962)](https://arxiv.org/abs/2506.07962) — 对 350+ 个 LLM 的大规模实测：模型对错答案一致率达 60%，且模型越大、越准，错误相关性越高。 2. [Mixture-of-Agents Enhances Large Language Model Capabilities (arXiv 2406.04692, Together AI)](https://arxiv.org/abs/2406.04692) — 分层 proposer/aggregator 架构，消融显示异构模型贡献显著大于同构模型。 3. [Multi-Model Consensus: When One LLM Isn't Enough to Sign Off (tianpan.co, 2026-05)](https://tianpan.co/blog/2026-05-05-multi-model-consensus-architecture-llm-sign-off) — 多模型共识生产架构：2~4× 成本，360 例临床 80% vs 64%，Mozilla Star Chamber 案例。 4. [Consensus Hallucination: Why Five LLMs Agree on the Wrong Answer — and Why Ensembling Fails (notes.suhaib.in)](https://notes.suhaib.in/docs/tech/news/consensus-hallucination-why-five-llms-agree-on-the-wrong-answer-and-why-ensembling-fails/) — $n_{eff}\approx1+(n-1)(1-\rho)$ 数学内核与缓解策略手册。 5. [Auditing Multi-Agent LLM Reasoning Trees Outperforms Majority Vote (arXiv 2602.09341)](https://arxiv.org/abs/2602.09341) — 实证推理树审计优于多数投票；另见 Beyond Majority Voting（arXiv 2510.01499）对高阶聚合的改进。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。