## 概述 自主智能体最被低估的失败，不是"不会做"，而是**"计划写了却不照做"**。arXiv 2604.12147《Evaluating Plan Compliance in Autonomous Programming Agents》首次系统测量了 16,991 条 SWE-agent 轨迹的"计划合规性"（plan compliance），发现同一批智能体在更难的 SWE-bench Pro 上，计划合规率平均比 Verified 低 **13 个百分点**；更反直觉的是——追加"看起来像最佳实践"的阶段（回归测试、变更摘要）反而拖低成功率。计划一旦写出口，就变成一笔必须兑付的债务：智能体要么照单执行，要么退回它训练时内化的、过拟合的工作流。本文拆解计划合规性的三维测量法、次优计划的毒性、周期性提醒的低成本续命，以及 Anthropic 的过程-结果双轨评估如何戳破"低轨迹准确率 + 高任务成功率"的 Scrappy Win 假象。 ## 一张表看清"计划管理策略"的兑现率 | 计划管理策略 | 计划合规性表现 | 对成功率影响 | 成本/复杂度 | 推荐度 | |---|---|---|---|---| | 无计划（退回内化工作流） | 合规 N/A | 退回"不完整、过拟合、不一致"的套路，下降 | 低 | ★★ | | 标准四阶段计划（复现→打补丁→验证） | 基线合规 | 所有智能体均正向（RQ1） | 中 | ★★★★ | | 追加"最佳实践"阶段（回归测试/变更摘要） | 形式上升 | **反而降性能**（RQ4），与内化策略冲突 | 中 | ★（陷阱） | | 乱序计划（reordered） | 扰动 | 38.3%→38%，计入非确定性后不显著 | 低 | ★★ | | 周期性计划提醒（每 5 步重注入） | 降低违规 | DeepSeek-V3 resolved 191→196（RQ5） | 低 | ★★★★★ | | 自进化轨迹蒸馏（Socratic-SWE） | 自适应课程 | SWE-bench Verified 3 轮迭代 50.40% | 高 | ★★★★ | ## 1. 计划合规性：被忽视的 13% 断崖 长期以来，自主编程智能体的评测只盯着一个终点数字——SWE-bench 是否 resolved。arXiv 2604.12147 撕开了这层皮：它追问"智能体到底有没有按指示的计划走"。研究者用 GPT-5 mini、DeepSeek-V3、DeepSeek-R1、Devstral-small 四个模型，在 SWE-bench Verified 和 Pro 上跑了 8 种计划变体，通过 "Graptory/Langutory" 轨迹表示自动比对"实际轨迹"与"计划规定阶段序列"，并提出三维指标：**Plan Phase Compliance**（规定阶段是否出现）、**Plan Order Compliance**（阶段顺序是否正确）、**Plan Phase Fidelity**（阶段保真度）。 结论刺骨：从 Verified 迁到 Pro，合规率平均掉 13 个百分点。也就是说，任务越难，智能体越倾向于悄悄抛弃你给的计划、另搞一套。Mann–Whitney U 检验显示，Devstral-small 和 DeepSeek-R1 上"已解决实例"的合规度显著更高——**听话和把事办成正相关**；但 GPT-5 mini 反向，未解决轨迹反而更合规（统计显著性低）。合规度的四大杀手是：fine-tuning 范式、上下文窗口压力、数据污染、过拟合、优化短期奖励。把计划当摆设，正是 SWE-bench 分数可能"虚高"的隐蔽来源。 ## 2. 反直觉：次优计划比无计划更毒 论文最值得警醒的一句话是：**"a subpar plan hurts performance even more than no plan at all"**——次优计划比完全没有计划更糟。RQ4 实验给计划早期追加"看似最佳实践"的阶段，比如强制回归测试、生成变更摘要，结果性能不升反降，尤其当这些阶段与模型内化策略不一致时，它们引入了额外开销与干扰。 这解释了工程现场一个常见困惑：明明给智能体塞了"更规范"的流程模板，成功率却不升反降。原因在于，计划的有效性紧密耦合于**它和模型内化工作流的对齐程度**。你追加的阶段若与模型惯用的推理顺序打架，就是在和它的肌肉记忆抢方向盘。更阴险的是，RQ3 发现：即便明确移除"复现"或"验证"阶段，轨迹里仍会冒出该阶段的痕迹——内化行为难以被指令抹除。所以"加阶段"从来不是免费的，每一次偏离模型内化路径的计划编排，都在用成功率为"规范感"买单。 ## 3. 无计划的代价：退回到过拟合的内化套路 如果"次优计划"有毒，那干脆不给计划呢？RQ2 给出了另一面的真相：无计划时，智能体退回训练中内化的工作流，而这套工作流被研究者直陈为"不完整、过拟合、不一致"。它在熟悉的基准上能糊弄过去，遇到 OOD 任务就露馅。 这恰好和 200+ 论文综述（Ferrag 等，《From LLM Reasoning to Autonomous AI Agents》）的结论咬合：PlanBench 多领域平均准确率约 55%，自主智能体多步任务完成率约 50%，通用智能体在开放式 Web 导航上仅约 14%（人类 78%），**复杂任务规划失败率约 50%**。综述归纳出三类失败模式：级联失败（早期单步错误向后传播，缺事务语义无法回滚）、动作模式幻觉（生成看似合理却错误的动作序列）、进度误判（无法准确评估距目标的进度，导致过早终止或冗余循环）。无计划就是把这三类风险全部交给"肌肉记忆"兜底——而肌肉记忆是被基准数据驯化出来的，泛化性最差。Gartner 据此预测：到 2027 年，超 40% 的 agentic AI 项目将被取消。 ## 4. 周期性提醒：每 5 步重注入的低成本续命 在所有计划干预手段里，性价比最高的是论文 RQ5 的 **Periodic Plan Reminder（周期性计划提醒）**——每隔约 5 步把默认计划重新注入上下文。它把 DeepSeek-V3 的 resolved 数从 191 推到 196，并系统性降低了计划违规。原理很朴素：长程任务里计划会被中间的观察、工具返回逐渐"挤出"注意力焦点，智能体于是偏离；周期性重注入相当于把航线重新标回地图。 关键细节在 Finding 12：智能体并非盲目服从次优顺序，而是会优先选择更利于推理的执行顺序——也就是说，提醒不是强制改道，而是"提醒它别忘了总目标"。这给了工程实践一个落点：与其纠结把计划写得完美，不如保证计划在循环里**持续在场**。一份"够用且在场"的计划，胜过一份"完美却被遗忘"的计划。伪代码极简： ```python def agent_loop(task, plan, reminder_every=5): scratch = [] for step in count(): if step % reminder_every == 0: # 周期性重注入，防止计划漂移 context = inject(plan, scratch) action = model.decide(context) obs = env.step(action) scratch.append((action, obs)) if done(obs): break ``` ## 5. 过程评估才是照妖镜：Scrappy Win 的 0.12 真相 为什么计划合规性如此重要？因为它揭示了"结果对 ≠ 过程对"。Anthropic 2026 年 1 月的工程博客《Demystifying evals for AI agents》把评估劈成两半：**Transcript/Process（过程）**——完整 messages 数组里的推理与工具调用；**Outcome（结果）**——环境最终状态。订票 Agent 嘴上说"已预订"，真正的结果是数据库里到底有没有那条有效记录。 Automation Anywhere 的企业评估指南把这种割裂具象化为一个概念：**Scrappy Win**——低轨迹准确率 + 高任务成功率，输出层看似正确，底层不可靠，绝非生产就绪。它给出一个骇人的数字：Customer Churn Prevention 智能体在无记忆状态下，**轨迹准确率仅 0.12**——只有 12% 的运行走了正确推理路径，却常得出看似合理的结果。引入 Context Intelligence（持久记忆）后，轨迹准确率冲到 0.53（约 4.4 倍），目标完成度提升至 32 个百分点，复杂工作流平均工具调用减少约 20%。结论是双指标铁律：**Task Success + Trajectory Accuracy 缺一不可**。计划合规性正是 Trajectory Accuracy 在编程域的具体投影。 ## 6. pass^k 一致性：单次满分掩盖的多轮崩塌 计划合规性的另一层延伸是"多次运行的稳定性"。Automation Anywhere 沿用 τ-bench 的 **pass^k 结构**：pass^1 测原始准确率，pass^4 测"同任务 4 次独立运行都对"的一致性。其基线智能体 pass^1 = 74.5%，领先次优 +4.3 个点，跨 pass^2–pass^4 仍保持 +4.1 点领先。 但同一份排行榜上，银行领域的全行业最高分只有 **31.7%**——瓶颈不是模型，而是检索延迟（实时取政策/账户信息抑制了分数）。这把"无状态执行"的软肋钉死在墙上：即使强基线智能体，每次任务都无前次运行记忆，同样的错误反复、同样的低效路径重复。生产智能体每天把同一工作流跑数百次，**跨多次运行的稳定性比单次成功更能反映架构可靠性**。这和"单次满分多轮崩"是同一病根——LLM 的非确定性让计划执行结果像掷骰子。Anthropic 评测术语里 Trial（试次）要跑多次以消除随机性，正是为此。 ## 7. 规划五大方法与 50% 的失败率 把视角拉到方法层，张长旺的规划综述把 LLM 规划分成五大类：**任务分解**（HuggingGPT、Plan-and-Solve、ReAct）、**多计划选择**（ToT、GoT、LLM-MCTS、RAP）、**外部规划器辅助**（LLM+P、LLM+PDDL）、**反思与提炼**（Reflexion、Self-Refine、CRITIC、LEMA）、**记忆增强**（Generative Agents、MemGPT）。宏观可归为三条线：任务分解自身规划、外部模块增强、记忆/反思增强。 每条线都有塌方点：任务分解的子任务起始即定、单步错误致全盘失败；多计划选择计算贵且 LLM 排序能力存疑；外部规划器需专家建模、神经规划器泛化弱；反思的文本更新无收敛性证明；记忆增强依赖检索准确性。综述点出四大未来挑战：**计划幻觉**（与环境不存在的对象交互）、**生成计划可行性**（难守复杂约束）、**生成计划效率**（缺效率评估模块）、**细粒度评估缺失**（基准只看最终态，缺逐步评估，且多只有单条"黄金路径"）。计划合规性测量，恰恰补上了"逐步评估"这块最缺的拼图——它不问"做没做对"，而问"每一步有没有按计划走"。 ## 8. 自进化破局：把轨迹蒸馏成技能 既然计划合规性与模型内化工作流强绑定，最彻底的解法是改造模型本身。arXiv 2606.07412《Socratic-SWE》走的就是这条路：它复用智能体的**历史求解轨迹**作为训练信号，把反复出现的失败与有效修复模式**蒸馏为结构化"智能体技能"**，再用这些技能指导在真实仓库中生成针对性修复任务，候选任务经执行验证并以 solver-gradient alignment reward 打分，形成跨轮自适应的课程。 关键是不再依赖固定的缺陷注入，而是让训练分布贴合智能体自身的弱点。结果：在相同算力预算下持续优于自进化基线，**SWE-bench Verified 上经 3 轮迭代达到 50.40%**，并在 SWE-bench Lite/Pro、Terminal-Bench 2.0 上验证。这与 Darwin Gödel Machine（自我重写代码，SWE-bench 从 20% 到 50%）异曲同工——当计划合规性可以变成可学习的目标，模型就不再是"被迫照做计划"的被动执行者，而是把计划内化为自身技能的主动推理者。这是从"计划即债务"走向"计划即能力"的跃迁。 ## 计划合规性测量与执行回路架构 ```mermaid flowchart TB subgraph 计划层 P[给定的任务计划
复现→打补丁→验证] end subgraph 执行回路 L1[Step N: 模型决策] L2[环境观察] L3{是否计划阶段?} L4[累计轨迹] L1 --> L2 --> L3 --> L4 --> L1 end subgraph 兑现率度量 M1[Phase Compliance
阶段是否出现] M2[Order Compliance
顺序是否正确] M3[Fidelity
阶段保真度] M1 & M2 & M3 --> SCORE[计划合规分] end P -.对照.-> L3 L4 -.Graptory表示.-> M1 L4 -.Langutory表示.-> M2 REM[周期性计划提醒
每5步重注入] -.纠偏.-> L1 SCORE -.低分触发.-> REM ``` ## 推荐方案 - **长程复杂任务（SWE-bench Pro 级）**：别迷信"完美计划"，上线 **Periodic Plan Reminder**，每 5 步重注入；同时把计划合规性纳入回归套件，作为 Trajectory Accuracy 的编程域指标。 - **企业生产部署**：强制 **pass^k（k≥4）一致性** 而非 pass^1 单次准确率；引入持久记忆/Context Intelligence 把轨迹准确率从 0.12 量级拉到 0.5+，砍掉约 20% 的工具调用重试。 - **公开 benchmark 验收**：警惕 **Scrappy Win**——结果对但过程错的轨迹一律打回；用 Anthropic 的代码型 grader（单元测试/状态检查）+ LLM grader（rubric）双轨复核。 - **想突破天花板**：走自进化路线（Socratic-SWE / Darwin Gödel Machine），把合规轨迹蒸馏为技能，让模型把计划内化，而非外挂。 - **快速 PoC**：直接用 Claude Agent SDK / OpenHands 的标准四阶段计划即可，**不要随意追加"看起来更规范"的阶段**——RQ4 已证明这是毒药。 ## 参考来源 1. [Evaluating Plan Compliance in Autonomous Programming Agents (arXiv 2604.12147)](https://arxiv.org/abs/2604.12147) — 首次系统测量 16,991 条 SWE-agent 轨迹的计划合规性三维指标，核心结论"次优计划比无计划更糟""Pro 上合规率平均降 13%"。 2. [AgencyBench: Benchmarking the Frontiers of Autonomous Agents in 1M-Token Real-World Contexts (arXiv 2601.11044)](https://arxiv.org/abs/2601.11044) — ACL2026 主会基准，每任务约 90 次工具调用/100 万 token，闭源 48.4% vs 开源 32.1%。 3. [Socratic-SWE: Self-Evolving Coding Agents via Trace-Derived Agent Skills (arXiv 2606.07412)](https://arxiv.org/abs/2606.07412) — 把求解轨迹蒸馏为技能的自进化框架，SWE-bench Verified 3 轮迭代 50.40%。 4. [What 200+ Papers Reveal About Why AI Agents Still Fail — AgentMarketCap](https://agentmarketcap.ai/blog/2026/04/08/llm-reasoning-autonomous-agents-2026-academic-synthesis-arxiv) — 综述 PlanBench 约 55%、规划失败率约 50%、Gartner 预测 2027 超 40% agentic 项目被取消。 5. [Anthropic: Demystifying Evals for AI Agents（评估体系全解析）](https://zhuanlan.zhihu.com/p/1994349942207161524) — Transcript/Outcome 双轨评估、Grader 三分类、能力评测 vs 回归评测方法论；以及 Automation Anywhere《Beyond Tau Bench》企业评估指南（pass^k 一致性、Scrappy Win、轨迹准确率 0.12→0.53）。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。