静态的智能体框架在 2026 年遭遇了一次根本性转向：业界不再满足于"一次性答对"，而是要求智能体**把自己跑过的轨迹当训练集、把自己的失败当梯度**，在部署后持续优化自身的提示词、工具、工作流乃至权重。这套范式被 2025–2026 年的两篇综述正式命名为 **Self-Evolving Agents（自进化智能体）**，其统一模型把所有变体收束进同一个反馈回路：**System Inputs → Agent System → Environment → Optimisers**。本文以该"闭环四件套"为骨架，拆解四台真正跑通自进化的引擎——Sakana AI Scientist-v2（登顶 Nature）、DeepMind AlphaEvolve、ICML 2026 的 EvolveR、以及开源工程化框架 EvoAgentX，给出每一台的优化对象、闭环代码与落地取舍。 ## 一、对比：四台自进化引擎横评 | 引擎 | 优化对象 | 闭环机制 | 反馈来源 | 代表战绩 | 上手/变现 | |------|----------|----------|----------|----------|-----------| | **AI Scientist-v2**（Sakana） | 研究方案/代码/论文 | 树搜索 + 同行评审模拟 | 评审模型打分 | 首个过 ICLR Workshop 同行评审、登 Nature | 高门槛，学术向 | | **AlphaEvolve**（DeepMind） | 程序/算法本身 | 进化算法（变异+选择） | 可验证的适应度函数 | 重现并改进矩阵乘法算法 | 需明确定义 fitness | | **EvolveR**（ICML 2026） | 策略权重 + 经验原则 | 离线蒸馏 + 在线交互 + GRPO | 多跳 QA 正确率 | 多跳问答超 agentic 强基 | 需 RL 栈，研究友好 | | **EvoAgentX**（开源） | 工作流 + 提示词 | 自动构建 + 评测 + 自进化算法 | 任务评测器 | 通用业务工作流 | 工程化最好，适合训练营 | > 共性：四者都把"**Agent System 的某个部件**"当成可被优化器改写的对象，而非黑盒。 ## 二、统一闭环：四件套到底是什么 综述（arXiv 2508.07407）给出的抽象足以解释一切自进化系统，关键在于区分**四个边界清晰的组件**： - **System Inputs（系统输入）**：任务描述、先验知识，以及最关键的——**经验库**（历史轨迹、已蒸馏的策略原则、技能库）。这是自进化的"记忆",决定了 Agent 不会重复同样的错误。 - **Agent System（智能体本体）**：可被改写的全部部件——提示词、工具集、工作流拓扑、记忆模块、甚至模型权重。**自进化的本质就是"本体可变"**。 - **Environment（环境）**：沙箱执行器、评测器、可验证的反馈信号。没有可信反馈，自进化就是自嗨。 - **Optimisers（优化器）**：定义"改什么、怎么改"——提示词进化、工具进化、工作流进化、权重更新（GRPO/DPO），以及更新触发的时机。 一个最小可运行的自进化内核只有五行： ```python def self_evolve(agent, env, optimiser, rounds=10): for r in range(rounds): traj = agent.rollout(env) # Agent <-> Environment score = env.evaluate(traj) # 可信反馈信号 agent = optimiser.update(agent, traj, score)# 改写本体 agent.memory.write(traj, score) # 沉淀进经验库 ``` 理解了这五行，就理解了下面四台引擎的全部差异——它们只是在"**优化器改写本体的哪一层**"上做了不同选择。 ## 三、优化器分野：到底进化哪一层 这是选型时最该先问的问题。把上面的 `optimiser.update` 展开，自进化被实践证明有四条互不替代的赛道： | 层级 | 改什么 | 代表方法 | 适用场景 | |------|--------|----------|----------| | **Prompt 层** | 系统提示 / few-shot | EvoAgentX、DSPy | 业务工作流调优 | | **Tool 层** | 技能库 / 可复用代码 | Voyager、AlphaEvolve | 长周期探索任务 | | **Workflow 层** | Agent 拓扑 / 分工 | AI Scientist-v2 树搜索、EvoAgentX 自动构建 | 复杂多步任务 | | **Weight 层** | 模型参数 | EvolveR（GRPO） | 有大量可验证样本时 | 工程上的关键洞察：**越靠上层，反馈越快、成本越低、但天花板越低**；越往下沉到权重层，反馈越贵、见效越慢，但能学到提示词表达不出的策略。多数生产系统应从 Prompt/Workflow 层起步，确有海量可验证轨迹时再下沉到 Weight 层。盲目一上来就 GRPO，是自进化最常见的烧钱陷阱。 ## 四、EvolveR：两段式闭环与策略蒸馏 EvolveR（arXiv 2510.16079，已被 ICML 2026 收录）解决的是一个根本矛盾：现有 Agent 框架只补"外部知识缺口"，却不会**从自己解题的轨迹里提炼可复用策略**。它给出两段式闭环： 1. **Offline Self-Distillation（离线自蒸馏）**：把历史交互轨迹综合成一个**抽象、可复用的策略原则库**——不是记流水账，而是升维成"遇到这类多跳问题时先做证据拆解"这类规则。 2. **Online Interaction（在线交互）**：面对新任务时主动**检索**这些蒸馏原则来引导决策，并继续累积行为轨迹，形成新的训练样本。 闭环用 **GRPO** 做策略强化，按表现迭代更新权重，在复杂多跳问答基准上超越强 agentic 基线。其代码骨架可抽象为： ```python # EvolveR 经验驱动生命周期 trajectories = collect(agent, tasks) # 在线交互：累积轨迹 principles = distill(trajectories) # 离线蒸馏：轨迹 -> 策略原则库 agent.policy = grpo_update( # 策略强化：按表现更新权重 agent.policy, rollouts = trajectories, rewards = task_rewards, guidance = retrieve(principles, tasks), # 在线检索原则引导决策 ) ``` EvolveR 的贡献不在某项指标，而在给出"**从自己行为的后果中学习**"的完整蓝图。对垂直行业（金融尽调、法律检索这类天然多跳的活），这是把 Agent 从"每次重学"推进到"越用越准"的现成范式。 ## 五、AlphaEvolve：当进化算法遇上 LLM DeepMind 的 AlphaEvolve 走的是 Tool/Program 层的硬核路线：**LLM 不直接答，而是不断变异程序种群，用可验证的适应度函数筛选**。流程是经典进化算法，但"变异算子"换成了 LLM： ```python population = seed_programs() archive = {} # 去重存档，防退化 for gen in range(G): parents = select(population) # 精英选择 children = [llm.mutate(p, archive) for p in parents] # LLM 当变异算子 scored = [(c, fitness(c)) for c in children] # 可验证适应度 population = elites(scored) archive.update(unique(scored)) ``` 它的战绩极具说服力：**重新发现了已知的矩阵乘法技巧，并在若干人类启发式上做出改进**。AlphaEvolve 的关键前提是——**你必须能给"对/错"写出一个机器可验证的 fitness**（数学可证明、单元测试可跑、延迟可测）。没有可验证目标，进化就是随机游走。这恰好划定了它的适用边界：算法发现、数学计算、编译优化这类**有客观 ground truth 的领域**是主场；开放性创意写作则基本不适用。 ## 六、AI Scientist-v2：去模板化 + 树搜索，登上 Nature Sakana AI 的 AI Scientist-v2（arXiv 2504.08066，成果发表于 *Nature*）是 Workflow 层自进化的标杆。相比 v1，v2 最关键的改进是**移除了对人工撰写模板的依赖**，转而用**树搜索（tree-based exploration）**让系统自己探索研究方案的分支、自我评审、自我淘汰： ```text 根问题 ├── 分支A：方案A → 自动实验 → 评审模型打分 → 留/弃 │ └── 细化A1 → 实验Z → 评审 → 留 ├── 分支B：方案B → 自动实验 → 评审 → 弃 └── 分支C：方案C → ... ``` 评审由 LLM 模拟同行评审，按新颖性、清晰度、与会议契合度打分，淘汰低分分支、细化高分分支。结果是该系统**成为首个通过 ICLR Workshop 级别同行评审的完全自主研究系统**，并在 2026 年登上 *Nature*。它的启示有二：一是"**把人写的固定流程换成可被搜索优化的工作流**"是自进化最容易落地、性价比最高的一层；二是**模拟评审的质量直接决定搜索方向**，评审模型若系统性偏好某种文风，整个进化就会朝该文风漂移。 ## 七、EvoAgentX：工程化最好的一台，适合做训练营 如果说前三台偏研究，EvoAgentX（GitHub，MIT 协议）是把自进化做成**开箱即用产品**的代表。它主张：**给一段模糊目标描述，自动构建多智能体工作流，再内置评测器驱动自进化**。核心特性包括： - **工作流自动构建**：从单条 prompt 出发生成结构化多智能体拓扑； - **内置评测器**：用任务特定标准给 Agent 行为打分； - **自进化引擎**：用 SOTA 自进化算法迭代优化工作流； - **即插即用模型**：原生支持 OpenAI、Qwen，并通过 LiteLLM/SiliconFlow/OpenRouter 接 Claude、DeepSeek、Kimi； - **短期 + 长期记忆**与 **HITL 人工介入检查点**。 用法极简，这也是它变现潜力的来源： ```python from evoagentx.app.workflow import Workflow # 一句话目标 -> 自动组装多智能体工作流 wf = Workflow.from_prompt("调研竞品并产出对比报告", models="gpt-4o") # 用数据集和目标驱动自进化 wf.evolve(dataset, goal="提升报告事实准确率", rounds=8) ``` EvoAgentX 把"闭环四件套"全部封装成可调用 API，**是从论文走向付费训练营/企业内训最顺滑的载体**：学员能在一个下午跑通"目标→工作流→评测→自进化"全链路，亲眼看到工作流被自动改写、指标上升。这是前三台给不了的教学密度。 ## 八、记忆即经验库：自进化的真正瓶颈 四台引擎有一个容易被忽视的共性——**它们都把"经验库"当作一等公民**：EvolveR 的策略原则库、AlphaEvolve 的去重存档（archive）、AI Scientist-v2 的评审历史、EvoAgentX 的长期记忆。原因很简单：**没有沉淀的自进化等于每次从零随机搜索**。 经验库的设计直接决定收敛速度与成本： - **存什么**：原始轨迹（贵但信息全）vs 蒸馏后的原则（省、可检索、但可能丢信息）——EvolveR 选了后者并验证有效； - **怎么检索**：原则要能被新任务按相似度召回，否则等于没存，这是"**记忆即瓶颈**"的根因； - **怎么去重防退化**：AlphaEvolve 的 archive 用哈希去重，防止种群被相似劣解淹没。 实战结论：**经验库的检索召回质量，比本体模型的能力更能决定一个自进化系统的上限**。一个配了强模型却用随机捞取经验库的系统，跑不过一个弱模型但检索精准的系统。 ## 九、自己改自己的风险：自进化的安全税 把本体设为可变，意味着系统获得了**自我改写提示词、自我生成工具、自我重组工作流**的能力——这正是自进化综述专门辟出"安全与伦理"章节的原因。三类典型塌方： 1. **提示词自漂移**：自我提示工程（self-prompt engineering）若以"提升任务完成率"为唯一目标，可能漂移到越狱式捷径（如让评测器短路）； 2. **工具自我扩张**：Agent 自己写的技能若未经沙箱隔离，可能引入越权副作用； 3. **评审同质化**：AI Scientist-v2 这类靠模拟评审搜索的系统，评审偏好会被放大成系统性偏差。 工程对策已被实践验证：**适应度对齐**（fitness 必须包含可验证性与安全性约束）、**评测护栏**（关键步骤插不可绕过的校验）、**HITL 检查点**（EvoAgentX 的人介入正好用在这里）。把这三道闸门接进 `env.evaluate`，自进化的边际风险就可控。 ## 系统架构：自进化多智能体闭环 ```mermaid flowchart LR subgraph SI["① System Inputs 系统输入"] TASK[任务描述] EXP[经验库/策略原则] end subgraph AS["② Agent System 智能体本体（可被改写）"] PROMPT[提示词] TOOLS[工具/技能] WF[工作流拓扑] W[模型权重] end subgraph ENV["③ Environment 环境"] EXEC[沙箱执行] EVAL[评测器/适应度] end subgraph OPT["④ Optimisers 优化器"] PE[提示词进化] TE[工具进化] WE[工作流进化] RL[权重更新 GRPO] end TASK --> AS EXP -.检索召回.-> AS AS -->|rollout 轨迹| EXEC EXEC --> EVAL EVAL -->|反馈分数| OPT OPT -->|改写本体| AS AS -->|沉淀轨迹/原则| EXP EVAL -->|人工检查点 HITL| H[(人)] H -.纠正.-> OPT classDef core fill:#e8f0fe,stroke:#1a73e8,stroke-width:2px; classDef opt fill:#fce8e6,stroke:#d93025,stroke-width:2px; class AS core class OPT opt ``` 图中四件套首尾相接形成闭环：**优化器改写本体→本体在环境中产生新轨迹→轨迹沉淀回经验库→经验库召回引导下一轮**。HITL 检查点是阻断"自进化失控"的人工闸门。 ## 推荐方案：按场景选引擎 - **算法/数学发现、编译优化**（有可验证目标）→ **AlphaEvolve 式进化**：先把 fitness 写扎实，再谈种群。 - **科研论文自动化**→ **AI Scientist-v2 式树搜索**：核心是评审模型质量，警惕文风漂移。 - **多跳推理 / 检索增强业务**（金融、法律、尽调）→ **EvolveR 式策略蒸馏 + GRPO**：经验库先行。 - **通用业务工作流 / 训练营产品**→ **EvoAgentX**：从一句话到自进化全链路，工程化与教学密度最高。 - **轻量起步**：任何团队都应**先在 Prompt/Workflow 层做自进化**，确认反馈可信、经验库可用后，再决定是否下沉到 Weight 层——这是把自进化税单压到最低的通用姿势。 一句话收口：2026 年的自进化多智能体，比的不是"谁模型大"，而是"**谁的闭环四件套接得更紧、经验库召回更准、闸门更可靠**"。把优化对象、反馈信号、记忆沉淀三件事想清楚，再贵的引擎也只是这三件事的不同打包。 ## 参考来源 1. [A Comprehensive Survey of Self-Evolving AI Agents: A New Paradigm](https://arxiv.org/abs/2508.07407) — 自进化智能体综述，提出 System Inputs / Agent System / Environment / Optimisers 统一闭环框架。 2. [EvolveR: Self-Evolving LLM Agents through an Experience-Driven Lifecycle (ICML 2026)](https://arxiv.org/abs/2510.16079) — 离线自蒸馏 + 在线交互 + GRPO 的两段式闭环蓝图。 3. [The AI Scientist-v2: Workshop-Level Automated Scientific Discovery](https://arxiv.org/abs/2504.08066) — 去模板化 + 树搜索，首个过 ICLR Workshop 同行评审；相关成果见 [Nature s41586-026-10265-5](https://www.nature.com/articles/s41586-026-10265-5)。 4. [EvoAgentX: Building a Self-Evolving Ecosystem of AI Agents (GitHub)](https://github.com/EvoAgentX/EvoAgentX) — 开源自进化框架，工作流自动构建 + 内置评测 + 自进化引擎 + 记忆/HITL。 5. [A Survey of Self-Evolving Agents: What, When, How, and Where to Evolve](https://www.alphaxiv.org/abs/2507.21046) — 自进化"何时/如何/何处"的系统分类，补充选型维度。 --- *本文为「51学通信」AI 智能体实战分析系列（Round 3），更多 AI Agent 落地拆解与通信技术深度内容，关注公众号「51学通信」，站长爱卫生微信：gprshome201101。* > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。