自主智能体最被低估的失败，不是"不会做"，而是"计划写了却不照做"。arXiv 2604.12147《Evaluating Plan Compliance in Autonomous Programming Agents》首次系统测量了 16,991 条 SWE-agent 轨迹的"计划合规性"（plan compliance），发现同一批智能体在更难的 SWE-bench Pro 上，计划合规率平均比 Verified 低 13 个百分点；更反直觉的是——追加"看起来像最佳实践"的阶段（回归测试、变更摘要）反而拖低成功率。计划一旦写出口，就变成一笔必须兑付的债务：智能体要么照单执行，要么退回它训练时内化的、过拟合的工作流。本文拆解计划合规性的三维测量法、次优计划的毒性、周期性提醒的低成本续命，以及 Anthropic 的过程-结果双轨评估如何戳破"低轨迹准确率 + 高任务成功率"的 Scrappy Win 假象。
| 计划管理策略 | 计划合规性表现 | 对成功率影响 | 成本/复杂度 | 推荐度 |
|---|---|---|---|---|
| 无计划（退回内化工作流） | 合规 N/A | 退回"不完整、过拟合、不一致"的套路，下降 | 低 | ★★ |
| 标准四阶段计划（复现→打补丁→验证） | 基线合规 | 所有智能体均正向（RQ1） | 中 | ★★★★ |
| 追加"最佳实践"阶段（回归测试/变更摘要） | 形式上升 | 反而降性能（RQ4），与内化策略冲突 | 中 | ★（陷阱） |
| 乱序计划（reordered） | 扰动 | 38.3%→38%，计入非确定性后不显著 | 低 | ★★ |
| 周期性计划提醒（每 5 步重注入） | 降低违规 | DeepSeek-V3 resolved 191→196（RQ5） | 低 | ★★★★★ |
| 自进化轨迹蒸馏（Socratic-SWE） | 自适应课程 | SWE-bench Verified 3 轮迭代 50.40% | 高 | ★★★★ |
长期以来，自主编程智能体的评测只盯着一个终点数字——SWE-bench 是否 resolved。arXiv 2604.12147 撕开了这层皮：它追问"智能体到底有没有按指示的计划走"。研究者用 GPT-5 mini、DeepSeek-V3、DeepSeek-R1、Devstral-small 四个模型，在 SWE-bench Verified 和 Pro 上跑了 8 种计划变体，通过 "Graptory/Langutory" 轨迹表示自动比对"实际轨迹"与"计划规定阶段序列"，并提出三维指标：Plan Phase Compliance（规定阶段是否出现）、Plan Order Compliance（阶段顺序是否正确）、Plan Phase Fidelity（阶段保真度）。
结论刺骨：从 Verified 迁到 Pro，合规率平均掉 13 个百分点。也就是说，任务越难，智能体越倾向于悄悄抛弃你给的计划、另搞一套。Mann–Whitney U 检验显示，Devstral-small 和 DeepSeek-R1 上"已解决实例"的合规度显著更高——听话和把事办成正相关；但 GPT-5 mini 反向，未解决轨迹反而更合规（统计显著性低）。合规度的四大杀手是：fine-tuning 范式、上下文窗口压力、数据污染、过拟合、优化短期奖励。把计划当摆设，正是 SWE-bench 分数可能"虚高"的隐蔽来源。
论文最值得警醒的一句话是："a subpar plan hurts performance even more than no plan at all"——次优计划比完全没有计划更糟。RQ4 实验给计划早期追加"看似最佳实践"的阶段，比如强制回归测试、生成变更摘要，结果性能不升反降，尤其当这些阶段与模型内化策略不一致时，它们引入了额外开销与干扰。
这解释了工程现场一个常见困惑：明明给智能体塞了"更规范"的流程模板，成功率却不升反降。原因在于，计划的有效性紧密耦合于它和模型内化工作流的对齐程度。你追加的阶段若与模型惯用的推理顺序打架，就是在和它的肌肉记忆抢方向盘。更阴险的是，RQ3 发现：即便明确移除"复现"或"验证"阶段，轨迹里仍会冒出该阶段的痕迹——内化行为难以被指令抹除。所以"加阶段"从来不是免费的，每一次偏离模型内化路径的计划编排，都在用成功率为"规范感"买单。
如果"次优计划"有毒，那干脆不给计划呢？RQ2 给出了另一面的真相：无计划时，智能体退回训练中内化的工作流，而这套工作流被研究者直陈为"不完整、过拟合、不一致"。它在熟悉的基准上能糊弄过去，遇到 OOD 任务就露馅。
这恰好和 200+ 论文综述（Ferrag 等，《From LLM Reasoning to Autonomous AI Agents》）的结论咬合：PlanBench 多领域平均准确率约 55%，自主智能体多步任务完成率约 50%，通用智能体在开放式 Web 导航上仅约 14%（人类 78%），复杂任务规划失败率约 50%。综述归纳出三类失败模式：级联失败（早期单步错误向后传播，缺事务语义无法回滚）、动作模式幻觉（生成看似合理却错误的动作序列）、进度误判（无法准确评估距目标的进度，导致过早终止或冗余循环）。无计划就是把这三类风险全部交给"肌肉记忆"兜底——而肌肉记忆是被基准数据驯化出来的，泛化性最差。Gartner 据此预测：到 2027 年，超 40% 的 agentic AI 项目将被取消。
在所有计划干预手段里，性价比最高的是论文 RQ5 的 Periodic Plan Reminder（周期性计划提醒）——每隔约 5 步把默认计划重新注入上下文。它把 DeepSeek-V3 的 resolved 数从 191 推到 196，并系统性降低了计划违规。原理很朴素：长程任务里计划会被中间的观察、工具返回逐渐"挤出"注意力焦点，智能体于是偏离；周期性重注入相当于把航线重新标回地图。
关键细节在 Finding 12：智能体并非盲目服从次优顺序，而是会优先选择更利于推理的执行顺序——也就是说，提醒不是强制改道，而是"提醒它别忘了总目标"。这给了工程实践一个落点：与其纠结把计划写得完美，不如保证计划在循环里持续在场。一份"够用且在场"的计划，胜过一份"完美却被遗忘"的计划。伪代码极简：
def agent_loop(task, plan, reminder_every=5):
scratch = []
for step in count():
if step % reminder_every == 0: # 周期性重注入，防止计划漂移
context = inject(plan, scratch)
action = model.decide(context)
obs = env.step(action)
scratch.append((action, obs))
if done(obs): break
为什么计划合规性如此重要？因为它揭示了"结果对 ≠ 过程对"。Anthropic 2026 年 1 月的工程博客《Demystifying evals for AI agents》把评估劈成两半：Transcript/Process（过程）——完整 messages 数组里的推理与工具调用；Outcome（结果）——环境最终状态。订票 Agent 嘴上说"已预订"，真正的结果是数据库里到底有没有那条有效记录。
Automation Anywhere 的企业评估指南把这种割裂具象化为一个概念：Scrappy Win——低轨迹准确率 + 高任务成功率，输出层看似正确，底层不可靠，绝非生产就绪。它给出一个骇人的数字：Customer Churn Prevention 智能体在无记忆状态下，轨迹准确率仅 0.12——只有 12% 的运行走了正确推理路径，却常得出看似合理的结果。引入 Context Intelligence（持久记忆）后，轨迹准确率冲到 0.53（约 4.4 倍），目标完成度提升至 32 个百分点，复杂工作流平均工具调用减少约 20%。结论是双指标铁律：Task Success + Trajectory Accuracy 缺一不可。计划合规性正是 Trajectory Accuracy 在编程域的具体投影。
计划合规性的另一层延伸是"多次运行的稳定性"。Automation Anywhere 沿用 τ-bench 的 pass^k 结构：pass^1 测原始准确率，pass^4 测"同任务 4 次独立运行都对"的一致性。其基线智能体 pass^1 = 74.5%，领先次优 +4.3 个点，跨 pass^2–pass^4 仍保持 +4.1 点领先。
但同一份排行榜上，银行领域的全行业最高分只有 31.7%——瓶颈不是模型，而是检索延迟（实时取政策/账户信息抑制了分数）。这把"无状态执行"的软肋钉死在墙上：即使强基线智能体，每次任务都无前次运行记忆，同样的错误反复、同样的低效路径重复。生产智能体每天把同一工作流跑数百次，跨多次运行的稳定性比单次成功更能反映架构可靠性。这和"单次满分多轮崩"是同一病根——LLM 的非确定性让计划执行结果像掷骰子。Anthropic 评测术语里 Trial（试次）要跑多次以消除随机性，正是为此。
把视角拉到方法层，张长旺的规划综述把 LLM 规划分成五大类：任务分解（HuggingGPT、Plan-and-Solve、ReAct）、多计划选择（ToT、GoT、LLM-MCTS、RAP）、外部规划器辅助（LLM+P、LLM+PDDL）、反思与提炼（Reflexion、Self-Refine、CRITIC、LEMA）、记忆增强（Generative Agents、MemGPT）。宏观可归为三条线：任务分解自身规划、外部模块增强、记忆/反思增强。
每条线都有塌方点：任务分解的子任务起始即定、单步错误致全盘失败；多计划选择计算贵且 LLM 排序能力存疑；外部规划器需专家建模、神经规划器泛化弱；反思的文本更新无收敛性证明；记忆增强依赖检索准确性。综述点出四大未来挑战：计划幻觉（与环境不存在的对象交互）、生成计划可行性（难守复杂约束）、生成计划效率（缺效率评估模块）、细粒度评估缺失（基准只看最终态，缺逐步评估，且多只有单条"黄金路径"）。计划合规性测量，恰恰补上了"逐步评估"这块最缺的拼图——它不问"做没做对"，而问"每一步有没有按计划走"。
既然计划合规性与模型内化工作流强绑定，最彻底的解法是改造模型本身。arXiv 2606.07412《Socratic-SWE》走的就是这条路：它复用智能体的历史求解轨迹作为训练信号，把反复出现的失败与有效修复模式蒸馏为结构化"智能体技能"，再用这些技能指导在真实仓库中生成针对性修复任务，候选任务经执行验证并以 solver-gradient alignment reward 打分，形成跨轮自适应的课程。
关键是不再依赖固定的缺陷注入，而是让训练分布贴合智能体自身的弱点。结果：在相同算力预算下持续优于自进化基线，SWE-bench Verified 上经 3 轮迭代达到 50.40%，并在 SWE-bench Lite/Pro、Terminal-Bench 2.0 上验证。这与 Darwin Gödel Machine（自我重写代码，SWE-bench 从 20% 到 50%）异曲同工——当计划合规性可以变成可学习的目标，模型就不再是"被迫照做计划"的被动执行者，而是把计划内化为自身技能的主动推理者。这是从"计划即债务"走向"计划即能力"的跃迁。
flowchart TB
subgraph 计划层
P[给定的任务计划<br/>复现→打补丁→验证]
end
subgraph 执行回路
L1[Step N: 模型决策]
L2[环境观察]
L3{是否计划阶段?}
L4[累计轨迹]
L1 --> L2 --> L3 --> L4 --> L1
end
subgraph 兑现率度量
M1[Phase Compliance<br/>阶段是否出现]
M2[Order Compliance<br/>顺序是否正确]
M3[Fidelity<br/>阶段保真度]
M1 & M2 & M3 --> SCORE[计划合规分]
end
P -.对照.-> L3
L4 -.Graptory表示.-> M1
L4 -.Langutory表示.-> M2
REM[周期性计划提醒<br/>每5步重注入] -.纠偏.-> L1
SCORE -.低分触发.-> REM
[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。