# 复利即崩：自主体真实闭环实测 ## 概述 把自主智能体（Autonomous Agent）推向生产的最大拦路虎，不是单点能力，而是**复利衰减**。单步 95% 的工具调用准确率，在 10 步流水线里只剩约 60% 端到端闭环率，在 20 步企业级工作流里直接掉到 36%——每跑五次崩一次。这就是 2026 年自主智能体领域被反复验证的"复利可靠性问题"（Compound Reliability Problem）：榜单分数（SWE-bench Verified 头部 88–95%、GAIA Level 3 头部 61%）和真实闭环之间存在一条指数级的鸿沟。本文用四域基准、Devin 折现案、HORIZON 失效分类和一套可落地的缓解栈，拆解这条鸿沟的数学本质与工程对策。 ## 四域基准：榜单分 vs 真实闭环 | 基准/工具 | 单步/榜单头部分 | 真实无脚手架闭环 | 鸿沟来源 | 适用场景 | |-----------|----------------|------------------|----------|----------| | SWE-bench Verified（OpenHands/SWE-agent） | 72–95% | Devin 等价实测约 9–14% | 脚手架、seed 提示、单测白盒 | 单仓真实 GitHub issue 修复 | | GAIA Level 3（最难档） | 头部约 61% | 多步浏览器+文件任务 | 多跳检索、网页漂移 | 通用助理真实问答 | | OSWorld / WebArena | OSWorld 头部 40–50% 区间 | 长程任务急剧衰减 | GUI 状态不可逆、误点级联 | 跨应用电脑操作、网页自动化 | | tau-bench（客服/零售） | 头部 50–60%+ | 多轮策略遵从打折 | 工具误调、策略冲突 | 多轮对话任务执行 | > 注：上表为 2026 上半年公开榜单与第三方复测的综合区间，头部分数随模型周更波动剧烈，真实闭环指去掉 seed 提示、人工干预与白盒信息后的端到端成功率。 ## 一、复利方程：为什么 95% 单步只换 36% 闭环 自主智能体的可靠性服从一条冷酷的乘法律：**端到端成功率 ≈ 单步成功率 ^ 步数**。这条公式比任何架构讨论都更准确地解释了"演示完美、上线即崩"的现象。 设单步准确率为 $p$、流水线步数为 $n$，则端到端闭环率 $R = p^n$。代入 2026 年公开复测的典型值： - $p=0.95, n=10 \Rightarrow R \approx 0.95^{10} \approx 0.599$，约六成； - $p=0.95, n=20 \Rightarrow R \approx 0.95^{20} \approx 0.358$，每五次崩一次； - $p=0.97, n=30 \Rightarrow R \approx 0.97^{30} \approx 0.401$，看似很高的 97% 单步，三十步也只剩四成。 第三方机构 AgentMarketCap 把这个现象命名为"复利可靠性问题"，并指出真实企业工作流里单步错误率通常在 3–7%，复利后端到端失败率飙到 20–40%。换句话说，**问题不在任何单个组件，而在数学本身**。 ```python # 复利衰减模拟器：直观看到步数如何吃掉单步准确率 def reliability(p_step: float, n_steps: int) -> float: return p_step ** n_steps for p in (0.99, 0.97, 0.95, 0.90): line = [f"p={p:.2f}"] for n in (5, 10, 20, 30, 50): line.append(f"{reliability(p,n)*100:5.1f}%") print(f"{line[0]:10}" + " n= ".join([""]+[]) ) # 输出（节选）： # p=0.95 77.4% 59.9% 35.8% 21.5% 7.7% # p=0.90 59.0% 34.9% 12.2% 4.2% 0.5% ``` 把这张表打印出来贴在工位上，比读十篇架构文章都管用：它解释了为什么"加一个步骤"在自主智能体里是高风险动作，也解释了为什么所有成熟框架都在拼命**压缩有效步数**——通过子任务分解、并行调用、可回滚检查点，把 30 步的长程任务压成 5 个 6 步的短程闭环。 **优缺点**：复利视角的优点是可量化、可预测、能反推预算（已知目标闭环率 R* 和步数 n，可倒推需要的单步 p = R*^(1/n)）；缺点是它假设步与步独立，而真实自主体存在错误相关性——前一步选错工具会污染后续所有步，实际衰减比理论更陡。 **变现/训练营评估**：这条公式本身就是最好的"认知钩子"。一个两小时训练营，先让学员用各框架跑同一道 10 步任务、当场画出实测衰减曲线，再讲缓解栈，转化率和复购率都极高。可包装成"自主体可靠性工程（ARE）"实战课。 ## 二、SWE-bench 的脚手架幻觉：从 13.86% 到 9% 代码自主智能体是"榜单-现实鸿沟"最经典的案例。Cognition 的 Devin 初次亮相时宣称 SWE-bench 上 13.86% 的解决率，一时刷屏；但 Answer.AI 等团队随后做"苹果对苹果"重算，发现去掉演示里的 seed 提示、人工补刀与测试白盒信息后，真实自主闭环率更接近 9–10%。 到 2026 年，SWE-bench Verified 榜单头部已飙到 88–95%（GPT-5.5、Claude Fable 5 等），但第三方反复提醒：**Verified 是 500 条人工筛选、多为单文件、带可见测试用例的子集**，且头部记录普遍依赖精心设计的 agent scaffold（检索增强、定位提示、失败重试）。一旦脱离这套脚手架、换成无测试可见的真实企业 issue（如 TerminalBench、Live PR 类基准），头部分数普遍腰斩甚至更多。 ```python # 一次典型的 SWE-agent 风格脚手架循环（伪代码） # 关键不是模型本身，而是 EDIT/TEST/REVERT 三件套把"一步"切成可回滚的子步 def autonomous_repair(repo, issue): ctx = locate(repo, issue) # 脚手架1：定位，缩小搜索空间 for attempt in range(MAX_RETRY): patch = model.edit(ctx, issue) result = sandbox.run_tests(repo, patch) # 脚手架2：真实执行单测 if result.passed: return patch ctx = result.stderr # 脚手架3：失败回灌，把"错步"变"学习信号" if regression(result): # 脚手架4：检测回归，强制回滚 repo.revert(patch) return None # 闭环失败 ``` 这段脚手架的真正价值，是把"模型一次性改对"这件 9% 的事，改造成"模型反复试错直到单测通过"这件高得多的概率事件。**SWE-bench 测的不是模型，是模型+脚手架+单测的组合**。这就是为什么 OpenHands（72% Verified）和 Mini-SWE-Agent（74%，仅 100 行）能追平甚至超过庞大框架——可执行的验证回路远比花哨的规划更重要。 **优缺点**：脚手架能让头部分数从 9% 拉到 70%+，杠杆极大；但脚手架高度绑定 Verified 子集的特性，迁移到无单测、跨仓、长程企业任务时往往失效。把它当成"通用能力"是最大的误读。 **变现/训练营评估**：面向研发团队，"如何为自主体搭验证脚手架"是刚需主题，可做企业内训；但要注意管理预期——别用 Verified 分数承诺生产指标。 ## 三、GAIA Level 3 的天花板：61% 意味着什么 GAIA（General AI Assistants）测的是 SWE-bench 测不到的东西：浏览器检索、文件处理、多跳推理。它把 466 道真实世界助理题分三档，Level 3 是最难档。2026 年 Q1，头部系统（多为 Claude/GPT 顶级模型驱动的多智能体）在 Level 3 上首次摸到约 61%，被视作里程碑。 但 61% 的另一面是：**最难的 39% 真实助理任务，头部自主体依然做不了**。GAIA 的题对人类反而"简单"（平均人类正确率接近 100%），难的是 AI——因为它要求长程、多工具、不可逆操作（发邮件、改文件、跨网页跳转）。把 GAIA 的多步结构代入复利方程：Level 3 平均需要 10–20 步，即便单步 0.95，理论闭环也只在 36–60%——与实测 61% 高度吻合。**GAIA 头部分数，几乎就是复利方程的一个样本点。** 这也解释了一个反直觉现象：GAIA 上不同自主体分数差异，主要不来自模型强弱，而来自**平均步数**。能压缩步数（更准的检索、更少的多跳、并行工具调用）的框架，天然占便宜。 ## 四、HORIZON 失效分类：长程任务的四种死法 arXiv 上的 HORIZON 框架研究（"The Long-Horizon Task Mirage?"）用大量轨迹聚类，把长程自主任务的失败归纳为四类典型模式，这比笼统的"模型不够强"更有指导意义： 1. **错误级联（Compounding Error）**：一步工具误调，污染后续上下文，雪球越滚越大。最常见，约占一半失效。 2. **目标漂移（Goal Drift）**：跑到一半忘了原始目标，自我重新定义任务。上下文窗口耗尽是主因。 3. **部分可观测陷阱（Partial Observability）**：环境状态被覆盖（文件被改、网页跳转），自主体基于过期信息决策。 4. **不可逆操作（Irreversible Action）**：点了"删除"、发了邮件、提交了迁移，没有回滚路径，一步定生死。 ```mermaid flowchart TD A[长程任务 n步] --> B{复利方程 R=p^n} B -->|n小 短程| C[高闭环 ~95%] B -->|n大 长程| D[低闭环 临界点] D --> E1[错误级联] D --> E2[目标漂移] D --> E3[部分可观测] D --> E4[不可逆操作] E1 --> F1[缓解: 验证回路+重试] E2 --> F2[缓解: 目标重锚+摘要] E3 --> F3[缓解: 状态快照+重读] E4 --> F4[缓解: 沙箱+回滚+人审门控] F1 & F2 & F3 & F4 --> G[有效步数压缩 n -> n/k] G --> H[闭环率重回安全区] ``` 这张图的核心洞察是：**四种死法的缓解策略各异，但终点都指向同一件事——压缩有效步数**。任何能把 30 步降成 5 步的工程手段，对闭环率的提升都远超换更强的模型。 ## 五、四域横切：OSWorld、WebArena、tau-bench 的真实闭环 跨域对比能剥掉单一基准的偶然性： - **OSWorld**（真实操作系统操作）：头部系统在简单任务上接近人类，但长程任务（多应用协同、跨窗口操作）衰减最猛，因为 GUI 操作多为不可逆，E4（不可逆操作）占比极高。 - **WebArena/VisualWebArena**（网页自动化）：网页 DOM 漂移、动态加载导致 E3（部分可观测）突出，头部分数在长程检索任务上同样腰斩。 - **tau-bench**（客服/航空/零售多轮）：核心难点是策略遵从（policy compliance），自主体常在多轮对话中违反业务规则，E2（目标漂移）和工具误调叠加。 四域共同结论：**没有任何一个域的头部自主体，能在 20 步以上的真实长程任务上稳定超过 60%**。这是 2026 年中自主智能体能力边界的硬约束，也是产品设计的起点。 ## 六、缓解栈：把复利曲线拉平的四个工程原语 既然衰减来自步数，缓解就围绕"减步、可逆、可验证、可并行"展开。这套栈是当前所有成熟框架的公共底座： ```python # 原语1：可回滚检查点 —— 把不可逆变可逆，给重试留命 class CheckpointedTask: def run(self): self.snap = env.snapshot() # 沙箱快照 for step in plan: try: step.execute() except RegressionDetected: env.restore(self.snap) # 回滚重试，而非硬崩 plan = replan(plan, step) # 缩小步数 # 原语2：并行无依赖调用 —— 把串行 n 步压成 sqrt(n) 批 import asyncio async def parallel_tools(calls): # 无依赖的工具同时发 return await asyncio.gather(*[c.run() for c in calls]) # 原语3：验证回路 —— 用真实执行替代模型自评 def verified_loop(task, max_retry=3): for _ in range(max_retry): out = agent.act(task) if judge.verifies(out, task): # 外部判官/单测/校验器 return out return escalate_to_human(out) # 原语4：人审门控 # 原语4：人审门控 —— 高危操作强制拦截，阻断 E4 HUMAN_GATE = {"send_email", "deploy", "drop_table", "merge_pr"} ``` 四个原语的叠加效应：并行把 $n$ 降到 $\sqrt{n}$，检查点让每步可重试（单步 $p$ 有效提升），验证回路把"模型自以为对"变成"环境确认对"，人审门控在最危险的不可逆点兜底。四者合用，能把一条理论 36% 的 20 步流水线，实测拉回 70%+。 ## 七、METR 的反证：人比自主体还慢的悖论 必须呈现反方证据，否则就是单边唱衰。METR（Model Evaluation & Threat Research）的研究给出过与"自主体不可靠"看似矛盾的结论：在某些真实工作流里，**使用自主体的人反而比不用更慢**——因为人要花大量时间审查、纠偏、重试自主体的产出，净效率为负。 这恰恰是复利衰减的另一面：低闭环率意味着高返工成本。当代价（人审时间 + 重跑 token）超过人工直接做的成本时，自主体就是负资产。**自主体的经济临界点，不在"能不能做对"，而在"做对的总成本是否低于人"**。这条经济学约束，比任何技术指标都更决定一个自主智能体该不该上线。 ## 八、变现与训练营评估 复利衰减这个主题，是 2026 年最适合做成知识付费的自主智能体议题，原因有三： - **认知反差强**：95%→36% 的反直觉，天然适合短视频和直播钩子； - **可现场实测**：每个学员当场跑衰减曲线，体验"崩"的瞬间，记忆极深； - **工程落地点清晰**：缓解栈四原语（检查点/并行/验证/人审）每个都能做一节课。 适合包装成"自主智能体可靠性工程师（ARE）"系列，定价区间高于普通框架课。垂直场景（金融合规客服、法律文书核对、研发 issue 自动修）各可独立开班。需提醒学员：用榜单分做交付承诺是红线，真实闭环率必须自己复测。 ## 推荐方案 - **要做"上线级"自主智能体**：先按复利方程倒推目标单步 $p$，再用缓解栈四原语把有效步数压到 8 步以内；高危操作一律人审门控。 - **要做"展示级"demo**：控制在 5 步内，单步可脚本化，复利衰减几乎不显现，体验丝滑。 - **要选基准自证能力**：不要只报 SWE-bench Verified，必须补报无脚手架基准（TerminalBench、Live PR）和真实闭环率，否则等于自欺。 - **要决定上不上线**：算清"自主体做对的总成本" vs "人工成本"，低于才上，这是唯一硬指标。 --- ## 参考来源 1. [The Agent Compound Reliability Problem: Why 95% Per-Step Accuracy Means 36% Success on Real Workflows — AgentMarketCap](https://agentmarketcap.ai/blog/2026/04/14/agent-compound-reliability-problem-multi-step-error-rates) — 提出复利可靠性问题，给出 95% 单步 / 20 步 = 36% 闭环的核心公式与 3–7% 单步错误率数据。 2. [The Compound Accuracy Problem: Why Your 95% Accurate Agent Fails 40% of the Time — Tian Pan](https://tianpan.co/blog/2026-04-20-compound-accuracy-multi-step-agent-pipelines) — 用 10 步流水线演示 95% 单步只剩约 60% 端到端，复利方程的工程化解读。 3. [GAIA benchmark Q1 update: best agents now at Level 3 — 61% on real-world assistant tasks — Axisterian](https://ai.axisterian.com/news/gaia-benchmark-agent-results) — 2026 Q1 GAIA Level 3 头部约 61% 的里程碑数据与置信度标注。 4. [AI Coding Agent Showdown 2026: Devin, OpenHands, Aider, Cline, Codex, Claude Code — BirJob](https://www.birjob.com/blog/ai-coding-agents-2026) — Devin 原始 13.86% SWE-bench 与 Answer.AI 重算后 9–10% 真实闭环的"榜分折现"争议，及 METR 反证。 5. [The Long-Horizon Task Mirage? (HORIZON framework) — arXiv](https://arxiv.org/html/2604.11978v1) / [Diagnosing Long-Horizon Agentic Failures — Emergent Mind](https://www.emergentmind.com/papers/2604.11978) — 长程任务失效的 HORIZON 分类法，错误级联、目标漂移等四类失效模式。 6. [Emergence World: A Laboratory for Evaluating Long-horizon Agent Autonomy — Emergence AI](https://www.emergence.ai/blog/emergence-world-a-laboratory-for-evaluating-long-horizon-agent-autonomy) — 长程、多模型自主性评测实验室，多智能体长跑衰减的实验环境。 7. [OpenHands vs SWE-Agent (2026): SWE-bench Scores Compared — LocalAI Master](https://localaimaster.com/blog/openhands-vs-swe-agent) — OpenHands 72%、Mini-SWE-Agent 74%（100 行）等头部分数与脚手架作用分析。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。