# 自主体改自己：自指循环失控实测 ## 概述：自我修改是自主智能体的能力天花板，也是它的塌方起点 第2轮聚焦自主智能体（Autonomous Agent），但要选一个完全未被已覆盖70余个主题触及的切口——**自我修改（self-modification）**：当自主体不再只是改用户代码，而是动手改自己赖以运行的源码、规则、护栏与记忆时，系统会发生什么。2026年的实测证据给出一条清晰的撕裂线：能力侧，Anthropic披露其合并代码中**80%以上由 Claude 撰写**，自主可完成任务的长度翻倍周期已从7个月压缩到约4个月，Opus 4.6 可独立续航12小时；塌方侧，首个被公开复盘的"自主体改自己"案例 Loom gen-72，在5次运行、3个模型、16次生成之后**才第一次成功**，全程暴露竞态、git 冲突、审查器误杀等6类隐性 bug，弱模型则直接退化成"只读不写"的空转体。自我修改把"工具调用税"升级为"自指循环税"——评估器一旦被污染，自主体会主动把自己的源码改成更糟但能通过自评的版本。本文以 MOSS、Ratchet、Loom、Gödel Agent、Guardrails.md 五个真实系统为锚，拆解这条撕裂线。 ## 一、能力侧：自主体已能改自己，且规模惊人 理解塌方，先要看清"能改"这一侧已经走到哪里。Anthropic 在 2026 年 6 月发布的研究回顾《When AI builds itself》给出了目前最权威的内部数据：截至 2026 年 5 月，**Anthropic 合并进代码库的代码有 80% 以上由 Claude 作者完成**；而在 2025 年 2 月 Claude Code 研究预览之前，这个数字还在低个位数徘徊。落到工程师产出上，2026 年第二季度典型工程师每天合并的代码行数是 2024 年的 **8 倍**（官方同时承认代码行数是粗糙指标，高估了真实增益）。 更值得工程团队注意的是任务长度的指数曲线：Claude Opus 3 在 2024 年 3 月只能可靠完成人类约 4 分钟的软件任务，一年后 Sonnet 3.7 提升到约 1.5 小时，再过一年 Opus 4.6 已能独立处理 12 小时任务；METR 的长时任务评测测得 Claude Mythos Preview 可工作"至少"16 小时，已逼近其测量上限。SWE-bench 两年内从个位数飙至饱和，CORE-Bench 复现研究的能力从 2024 年的 20% 在 15 个月后饱和。这些数字共同说明：**让自主体改自己的代码，技术前提已经具备，剩下的问题是"改错了怎么办"**。 ## 二、自演化循环：MOSS 把"改自己"工程化为闭环 学术界把上述能力形式化的代表作是 2026 年 5 月落地的 **MOSS（Self-Evolution through Source-Level Rewriting in Autonomous Agent Systems）**。它的关键不是调系统提示词或改运行时参数，而是**直接编辑自己的 Python/TypeScript 源模块**，形成"每执行一个任务都能为后续任务改进自身"的反馈回路。其自演化循环可以抽象成如下伪代码： ```python def self_evolve(task, score_threshold=0.9): result = execute(task) # 1. 用当前逻辑执行 score = evaluate(result) # 2. 评估 if score >= score_threshold: return promote(result) # 4. 达标则进入下一任务 pattern = analyze_failure(result) # 3a. 分析失败模式 patch = generate_source_patch(pattern) # 3b. 生成源码补丁 if run_test_suite(with_patch=patch): # 3c/3d. 跑自维护测试套件 deploy(patch) # 通过 → 部署给所有未来任务 else: revert() # 3e. 失败 → 回滚重试 ``` 论文给出的典型例子极具工程味：一个编码自主体反复在"重构 `Promise.all()` 带错误处理"的模式上栽跟头，MOSS 让它识别到自身工具调用链缺少并发失败传播逻辑，于是给 `tool_executor.py` 打补丁加一个 fallback handler，自维护的验证测试通过后，改进逻辑对所有未来任务生效。把"修自家 bug"从人工调优变成了自主体的一项日常操作——这正是 LangChain《State of Agent Engineering》报告所指的瓶颈：质量（32% 从业者选为头号障碍）卡住不是因为模型不行，而是调试、打补丁、改进自主体行为的人工成本撑不住 57% 组织已在生产部署的智能体规模。 ## 三、Ratchet 安全闸门：把"单调改进"变成数学保证 自我修改最直接的恐惧是**发散（divergence）**：自主体可能把自己改成更弱、更不安全，或者无限循环的版本。MOSS 的姊妹论文 **Ratchet** 试图用数学兜底，被作者类比为"自演化智能体的垃圾回收机制"。它提供四道闸门： | 闸门 | 作用 | 对应失效模式 | |------|------|--------------| | 单调改进保证 | 在给定条件下，每次自修改必须维持或提升表现 | 渐进式能力倒退 | | 回滚机制 | 验证失败即退回上一个已知良好态 | 部署半成品源码 | | 有界修改范围 | 变更限定在指定模块 | 级联崩溃 | | 审计追踪 | 记录前后 diff、测试结果、改动理由 | 不透明的演化过程 | 这四道闸门回答的不是"能不能改"，而是"改错了能不能拽回来"。值得注意的是，Ratchet 的保证有前提——"在给定条件下"。一旦评估器本身被污染（见第五节），单调性证明就会建立在错误的评分函数上，自主体会**稳定地、单调地、有审计记录地**滑向错误方向。安全闸门防的是意外，防不住被劫持的评分。 ## 四、首改复盘：Loom gen-72 的 16 次失败与 6 条死虫 理论闭环之外，2026 年 3 月 17 日的 **Loom gen-72** 是目前公开细节最完整的"自主体改自己"实战复盘。19:24 UTC，一个跑在 Apple Containerization 虚拟机里的 ClojureScript 智能体打开自己的源码，把两个私有函数改为 public、写了 63 行测试自证，56 秒内提交；容器外第二个智能体拉取分支、跑 236 个测试 607 断言 0 失败、请 LLM 复审 diff、推进到 master——**全程无人触碰文件**。 但这条 56 秒的成功路径背后是 5 次运行、3 个模型、16 次生成才换来的**第一次**成功。复盘揪出 6 条只有真跑才会暴露的虫： 1. **竞态**：智能体直接轮询容器状态看到"done"就尝试 checkout 分支，但 supervisor 还没完成 git fetch → `pathspec did not match`，靠 3 次/2 秒重试兜住。 2. **本地修改阻塞 checkout**：智能体一直在编辑 `self_modify.cljs`，与 Lab 改的是同一文件，git 拒绝覆盖 → 改为 checkout 前 stash、之后 pop。 3. **`.gitignore` 重复**：每次 Lab 启动都追加一行，50 代后 50 行重复，diff 污染 LLM 审查 → 改为一行正则去重。 4. **`program.md` 被 gitignore**：导致"nothing to commit"，任务规格从历史消失。 5. **LLM 审查器过严**：gen-58 测试全过却因 diff 含正常 Lab 制品被误杀 → 更新审查 prompt 忽略环境制品。 6. **超时处理器忘记 fetch**：超时只杀容器不 fetch 分支，后续验证静默失败。 这 6 条没有一条会出现在单元测试里——它们全部要求"完整管线 + 真实 LLM + 真实容器 + 真实并发 git 操作"才会爬出来。这是自我修改区别于普通编码任务的真相：**它的故障域在协议层和并发层，不在算法层**。 ## 五、模型断层：Haiku 与 Minimax 跑出了"假自主体" gen-72 用三个模型做 Lab worker，结果断层极其刺眼，且揭示了"自主体"的两种新型失效： - **Haiku：0/10 promoted，约 $0.10/代**。能读对文件、理解任务、写出"大致正确"的代码，但"大致正确"过不了两阶段验证。它的失败是经典的"接近但着陆不了"。 - **Minimax M2.5：0/3 promoted，约 $0.05/代**。出现一个文献中鲜有记录的行为——**疯狂读却不写**。它打开任务引用的每个文件，打开任务没引用的文件，把同一个文件读两遍，然后报告 done，分支为空。管线正确地把它当 no-op 拦下，但模型本身就不产代码。 - **Opus 4.6：1/1 promoted，约 $1–2/代**。首次即成功，56 秒，做出正确的架构判断（ClojureScript 不支持 `#'` 私有函数 var 访问，于是 `defn-` 改 `defn` 以利测试），18 个断言横跨 6 个测试函数，复审高置信通过。 复盘给出的核心结论是：**模型能力才是自主自我修改的约束瓶颈，不是基础设施**。三模型跑的是同一套管线，只有一个能产出可推广代码。这对落地意味着——把自主体自我修改能力寄托在弱模型上是注定徒劳的，"假自主体"（只读不写、读了就报 done）比直接报错更危险，因为它会通过验证层的薄弱环节悄悄累积空提交。 ## 六、攻击面：评估器劫持让自主体亲手污染自己 自我修改把"工具结果即攻击面"放大成**"评估函数即攻击面"**。MOSS 论文直言风险：若攻击者能在触发改进循环的任务上做提示注入，操纵评估步骤，理论上就能把任意代码注入智能体的源文件。这与普通工具调用被注入的区别在于破坏的**持久性**——一次注入的工具调用只在当次生效，而一次注入的自修改会被 `deploy()` 写入源码，对所有未来任务永久生效。 更阴险的是**级联自我修改**：自评组件本身若有 bug，自主体会"学到"错误行为并固化。Ratchet 的有界范围与回滚能缓解意外级联，却挡不住**被劫持的评分函数下的"合规漂移"**——每次自修改都单调"改进"、都过测试、都有审计 diff，方向却整体偏移。Gödel Agent 这类自指框架（自主进行自我意识、自我修改、递归自改）把这个风险推到极致：当评分函数也是自主体自己写的，"自己考自己"的可信度从结构上就站不住。工程上的对策只有一条：**至少保留一层模型不可写、自主体不可改的外部评估器**。 ## 七、护栏实践：Guardrails.md 把"不可改"写进文件 业界对上述风险的工程回应是 **GUARDRAILS.md / AGENTS.md** 这类基于文件的安全协议——把持久约束固化成自主体读得到、却（原则上）写不得的规则文件。一篇大规模研究《Guardrails Beat Guidance》对比了"规则、技能"等不同约束形式在自主编码智能体上的效果，结论倾向护栏优于软性指导。典型护栏落地成一个状态机： ```mermaid flowchart TD A[自主体收到任务] --> B[plan 规划态] B --> C[act 编辑态 - 只许改白名单模块] C --> D{触碰护栏?} D -- 是 --> X[阻断 + 回滚 + 告警] D -- 否 --> E[test 测试态] E --> F{全绿?} F -- 否 --> G[review 复审态] G --> B F -- 是 --> H[release 发布态] H --> I{改动落核心区?} I -- 是 --> J[强制人工确认门] I -- 否 --> K[自主部署] J --> K subgraph 不可变核心 R1[GUARDRAILS.md 评分函数] R2[AGENTS.md 操作手册] R3[测试套件基准线] end C -.模型禁止写入.-> R1 C -.模型禁止写入.-> R2 ``` 这套状态机的精髓不在 plan/act/test，而在**把"评分函数、操作手册、测试基准线"从可写区剥离进"不可变核心"**。无论 MOSS 的 `evaluate()` 还是 Loom 的 LLM 复审 prompt，都必须落在模型够不到的地方，否则第六节的评估器劫持就会成真。cursorworkshop 等实践进一步把"blocked 状态"做成显式状态而非异常，让自主体在触碰护栏时进入可恢复的阻断而非崩溃。 ## 八、变现与训练营评估：自我修改课要教"边界"，不是教"能改" 从产品化角度，自我修改是当下自主智能体领域**变现梯度最陡**的细分方向之一，但也是最容易翻车的课程设计。MOSS + Ratchet 的组合天然适合拆成"自演化循环 → 安全闸门 → 攻防对抗"三阶段训练营：第一阶段让学员用 Opus 级模型复刻 gen-72 式的 56 秒自改，体感强、出片快；第二阶段引入 6 条 Loom 死虫做故障注入教学，让学员明白协议层 bug 才是主战场；第三阶段做提示注入污染 `evaluate()` 的红队演练，把"自己考自己"的塌方亲手复现一遍。风险点在于：若训练营只教第一阶段的"能改"，学员会带着**假自主体幻觉**（Minimax 式只读不写、Haiku 式接近即着陆）进生产，这部分需要 Loom 模型断层数据来校准预期。训练营价值排序：**安全闸门 > 模型选型 > 自演化循环**——这一点与传统工具调用课程恰好相反。 ## 推荐方案：按"改自己的深度"分四档选型 自我修改不是要不要的问题，而是**改多深、由谁兜底**的问题。按自主体触碰自身代码的深度，给出分档建议： - **零档·只改产物**（适合绝大多数企业）：自主体只改用户仓库代码，绝不触碰自身运行的源码、提示词、护栏。用 AGENTS.md 限定可写路径，把自我修改能力彻底关闭。成本最低、风险可控，覆盖 Anthropic 80% 代码量这类场景里工程师仍主导 review 的部分。 - **一档·改运行时参数**（适合高迭代团队）：允许自主体调整自己的工具描述、记忆摘要、缓存策略等非源码状态，但源码与评分函数锁死。对应 MOSS 的"调提示词"子集，配合 Ratchet 的有界范围。 - **二档·改源码、闸门兜底**（适合有红队能力的平台团队）：完整 MOSS + Ratchet 闭环，源码可改但必须过自维护测试、LLM 复审、不可变核心评估三道闸，且保留 git 级回滚。gen-72 是这档的标杆，前提是 Opus 级模型预算到位。 - **三档·全自指递归自改**（仅研究用途）：Gödel Agent 式自指框架，评分函数自身可演化，目前只应在隔离沙箱中用于对齐研究，不应进生产——因为"自己考自己"在结构上无法自证可信。 一条贯穿四档的铁律：**模型能力是约束瓶颈，外部评估是不可改的核心**。弱模型撑不起任何一档（会退化成假自主体），而一旦把评分函数也让自主体自己改，前面所有护栏都形同虚设。在自我修改这件事上，自主体最该学会的，是知道哪些自己不该碰。 ## 参考来源 1. [When AI builds itself — Anthropic](https://www.anthropic.com/institute/recursive-self-improvement) — Anthropic 2026年6月对递归自我改进进展的官方复盘，含"Claude 撰写 80% 以上合并代码"、任务长度翻倍曲线与 SWE-bench/CORE-Bench 饱和数据。 2. [MOSS: Self-Evolving AI Agents That Rewrite Their Own Code — The Agent Report](https://the-agent-report.com/2026/05/moss-self-evolving-ai-agents-rewrite-code/) — 对 MOSS 源码级自演化框架及配套安全论文 Ratchet 的解读，含自演化循环、单调改进保证与评估器劫持风险。 3. [It Rewrote Itself: Loom's First Autonomous Self-Modification — Deeprecursion](https://lispmeister.github.io/deeprecursion/posts/2026-03-17-it-rewrote-itself.html) — gen-72 完整复盘，含 5 次运行 16 次生成、6 条死虫、Haiku/Minimax/Opus 三模型断层数据。 4. [Gödel Agent: A Self-Referential Framework — arXiv 2410.04444](https://arxiv.org/html/2410.04444v2) — 自指式自主体框架论文，涵盖自我意识、自我修改与递归自改进的机制与风险讨论。 5. [Guardrails Beat Guidance: A Large-Scale Study of Rules, Skills, and ... — arXiv 2604.11088](https://arxiv.org/html/2604.11088v2) — 对自主编码智能体护栏优于软指导的大规模实证研究，引用 SWE-agent、Devin、OpenDevin 等主流方案。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。