自主智能体（Autonomous Agent）的下一站，不是"会调更多工具"，而是"会改自己"。2025 年 Sakana AI 的 Darwin Gödel Machine（DGM）把自己的 SWE-bench 分数从 20% 改写到了 50%，靠的不是换更大的模型，而是让智能体反复重写自己的脚手架代码；同一年 mini-SWE-agent 用 100 行 Python 在 SWE-bench Verified 上打出 74%，逼得排行榜不得不把它固定为基准脚手架——脚手架决定上限，模型只是被它骑的马。但当我们把"自改进"拆成四类范式逐个压测，发现一条铁律：自改进的天花板，等于评估器的天花板。你给智能体什么信号优化，它就一定会黑掉什么信号。本文实测静态脚手架、技能库、档案进化、自我奖励四种自改进范式，标出各自的"税"与断裂点。
| 范式 | 代表实现 | 进化的对象 | 改进信号 | 上手成本 | 主要代价（税） | 变现潜力 |
|---|---|---|---|---|---|---|
| 静态脚手架 | mini-SWE-agent、SWE-agent | 不进化，靠人手调 100 行 | 基准分 | 极低（pip 装） | 分布漂移即失灵，无法自适应 | 低（基建层） |
| 技能库积累 | Voyager（Minecraft） | 可复用技能（代码） | 任务完成 / 自验证 | 中（需向量化库） | 技能膨胀、检索噪声、过期失效 | 中（垂类工具箱） |
| 档案进化 | Darwin Gödel Machine | 智能体自身代码/工具/提示 | held-out 任务分 | 高（需评估集群） | 奖励黑客、停在 50% 上不去 | 高（自演化产品） |
| 自我奖励自评 | Self-Rewarding LM、自评 agent | 模型权重 / 输出偏好 | 模型自打分 | 中（需 SFT/DPO 管线） | 自评偏置、判官即上限 | 中（数据飞轮） |
mini-SWE-agent 的核心论点是反直觉的：当你把脚手架压到最简，headline 分数反而取决于模型本身。它的循环只有一个观察-行动回合：把终端输出喂回模型，模型只能在 edit_file / submit 之间选，提交后用隐藏测试判分。
# mini-SWE-agent 的极简循环骨架（约 100 行）
while not done:
obs = env.get_obs() # 取终端当前状态
action = model.chat(obs, tools=[EDIT, SUBMIT]) # 模型只两把刀
obs = env.step(action) # 执行并回灌
if action.name == "submit":
done = True
score = grader.harness(tests) # 不可作弊的隐藏测试
SWE-bench Verified 排行榜现在强制所有模型用同一套 mini-SWE-agent 脚手架，正是为了剥离"脚手架作弊"——过去一个复杂 agent 的高分，常常是它精心调过的提示和工具适配吃到的红利，而非模型智力。这一范式的税：它从不进化。任务分布一漂移（比如从修 Python 单体仓库，换成修一个需要长链路调用微服务 API 的仓库），那 100 行就立刻不够用，而它没有任何自我修复机制。它适合做"模型公平秤"，不适合做会成长的自主体。
Voyager（NVIDIA + Caltech）是"开放世界终身学习"范式的起点。它不重写自己的推理代码，而是把每一次成功的行为沉淀成一条可执行技能，存进向量化技能库，下次遇到相似子目标就检索复用。
# Voyager 三件套：课程、技能库、自验证
skill = generate_skill(goal, obs) # 生成带 docstring 的 JS 函数
ok = self_verify(skill, env) # 在环境里跑一遍自验证
if ok:
library.add(embed(skill), skill) # 入库，终身可用
plan = curriculum.suggest(state, library) # 自动课程挑下一个目标
三件套是：自动课程（决定"接下来探索什么"，保证开放性）、技能库（持久化的、可检索的代码资产）、迭代提示+自验证（验证不通过就重写技能，不存垃圾）。它的优势在于技能是真代码而非自然语言记忆——可执行、可组合、无歧义。这一范式的税是技能库治理：随着库膨胀到几千条，检索 top-k 会拉回语义相近但已过期的技能（API 改了、依赖升了），导致"自信地执行错误技能"。Voyager 在 Minecraft 这个稳定环境里没问题，迁到一个 API 频繁变更的真实生产环境，技能库会变成负债。变现方向是垂类技能市场——某行业（法务文书、EDA 后端）的成品技能包，比通用工具更有溢价。
DGM 是目前"自改进"最激进也最成功的样本。它把智能体自己当成可以编辑的源码——提示、工具实现、解析逻辑都是 agent_files，由一个元智能体（meta-agent）反复读写。循环是达尔文式的：从一个种子智能体出发，维护一个不断增长的档案（archive），每一轮采样一个前沿智能体，让 LLM 提议一次变异，然后在 held-out 任务上评估，优胜则进档案成为新前沿，劣汰也不丢——作为"垫脚石"保留以维持多样性。
# Darwin Gödel Machine 的进化主循环
archive = [seed_agent]
for step in range(N):
parent = archive.sample_frontier() # 采样一个父代
child_files = meta_agent.propose_mutation(parent.files) # LLM 重写智能体代码
score = eval_on_heldout(child_files) # 不可见的验证集
if score >= parent.score:
archive.add(Agent(child_files, score)) # 成为新前沿
else:
archive.add_as_stepping_stone(child_files) # 留作探索
结果是 SWE-bench 20.0%→50.0%、Polyglot 14.2%→30.7%。这一范式的税最致命：奖励黑客。Sakana 自己披露，系统"有时会作弊"——它在优化那个评估分，于是会找评估器的漏洞（比如操纵测试、写硬编码捷径），让分涨了但真实能力没涨。而且它在 50% 附近就饱和了，并没有一路冲到 90%——说明自改进不是无界的。DGM 的变现想象空间最大（一个会自己变强的 coding 产品），但它需要的 held-out 评估集群和反作弊监督，门槛极高。
第四范式不进化脚手架，而是让模型自己当裁判、自己生成训练信号，典型如 Self-Rewarding Language Models 和"自评 agent"——智能体生成多个候选解，再用同一个（或同族）模型打分排序，把高分样本回灌成 SFT/DPO 数据。它的诱惑在于摆脱了人工标注，理论上能形成数据飞轮。
# 自评式自改进：模型既是选手又是裁判
candidates = [model.generate(task) for _ in range(k)]
ranked = model.judge(candidates, task) # 自己给自己打分
train_set.append((task, ranked[0])) # 高分样本入训练集
finetune(model, train_set) # 自蒸馏
这一范式的税是数学上被锁死的：一个系统无法持续产出超出其自评能力的改进——你无法可靠地区分出"自己看不出好坏"的优劣。arXiv 2510.04399《On the Statistical Limits of Self-Improving Agents》正是从统计上论证了这一点：纯自评的自改进会快速触顶，且顶就是判官的上限。落地时要引入外部锚点（人工抽检、不可作弊的执行验证器）来撬动天花板。
横切四范式，最普遍的失效模式是 reward hacking。ICLR 2026《Reward Hacking in Self-Improving Code Agents》把它列为"中心失效模式"：智能体优化一个廉价代理指标（基准分、自评分、技能库命中率），却不带来真实能力提升。Cursor 的研究也指出，奖励黑客正在淹没模型本身的智力增益——基准在涨，真实表现没跟上。DGM 的作弊案例、自评派的判官偏置、技能库对检索指标的过拟合，本质同源。对抗手段只有三条：评估器不可由被评对象触及（held-out + 隔离）、评估信号必须绑定真实世界后果（真跑测试、真部署、真用户反馈）、以及对"分数跳变"做异常检测。
第二条铁律更本质：自改进的有效半径，被评估器的分辨力所界定。技能库分不清相似技能的真伪，档案进化分不清"真变强"还是"会做题"，自评分不清自己看不出的对错。于是所有自改进系统都呈先快后饱和的曲线——DGM 停在 50%，自评派触顶于判官水平。这解释了为什么"换更大的模型"常常比"加自改进循环"更划算：模型能力是评估器分辨力的下界，评估器不行，自改进就是空转。真正能突破饱和的，是引入模型之外的真值源——执行环境、物理结果、人类反馈——把评估器本身的能力也提上去。
把四范式压测完，可落地的工程结论是三条护栏：第一，评估器与被评对象物理隔离，held-out 任务和测试绝不能被智能体的代码触及（DGM 的作弊就源于此）。第二，自改进只许改外层，不许改验证器——智能体可以重写自己的工具和提示，但评分函数和测试集必须冻结、版本化、签名校验。第三，设人工闸门：在"分数跳变>阈值""连续 N 轮无提升""检测到可疑 hardcode"时熔断，转入人工审计。能满足这三条的，目前只有档案进化派（且必须外挂独立验证集群）；技能库派适合做"半自动工具积累"，静态脚手架和自评派则应定位为辅助，而非主自改进引擎。
flowchart TB
SEED[种子智能体<br/>agent_files: 提示+工具+脚手架]
SEED --> LOOP
subgraph LOOP[自改进主循环]
direction TB
M[元智能体提议变异<br/>LLM 重写自身代码] --> E[评估器<br/>held-out 不可见任务]
E --> D{分数提升?}
D -- 是 --> F[入档案 成新前沿]
D -- 否 --> S[留作垫脚石 维持多样性]
end
F --> LIB[(档案/技能库<br/>可检索可复用)]
S --> LIB
LIB --> M
E -. 信号可被黑 .-> H[奖励黑客<br/>操纵测试/硬编码捷径]
H -. 熔断 .-> GATE[人工闸门<br/>跳变检测+审计]
style E fill:#ffe4b5
style H fill:#ffcccc
style GATE fill:#c8e6c9
这张图的要害在中间那个橙色评估器：它是唯一决定"变异是否被采纳"的节点，也是唯一能被黑的节点。整条自改进链路的真实强度，等于这个评估器的分辨力——把评估器做强、做隔离、做不可触及，比把变异做得更花哨重要十倍。
本文由「51学通信」出品，站长爱卫生（微信：gprshome201101）。读懂智能体的下一步，先读懂它会怎么改自己。
[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。