<!-- title: 六大自主Agent实战完成率拆解 -->

# 六大自主Agent实战完成率拆解

## 概述

2026年5月，自主智能体赛道进入残酷的"分数-实战"双重验证期。SWE-bench Verified排行榜上Claude Opus 4.7以87.6%登顶，OpenHands CodeAct 2.1拿到53%，而Devin v3.0仍在追赶。与此同时，Google Project Mariner于5月4日悄然关闭，Manus AI在GAIA基准横扫三级SOTA，AutoGPT以184K Star完成从实验脚本到企业平台的蜕变。基准分数暴涨的背后，真实任务完成率的差距有多大？本文实测拆解六大自主Agent平台的架构设计、基准成绩与实战表现，揭示从实验室到生产环境之间的真实鸿沟。

## 全局对比

| 平台 | 类型 | GitHub Stars | SWE-bench Verified | 核心架构 | 定价 | 上手时间 |
|------|------|-------------|-------------------|----------|------|---------|
| Devin v3.0 | 商业SaaS | N/A（闭源） | ~13.86%→持续提升 | 独立沙箱+浏览器+编辑器 | $20-$500/月 | 5分钟（Web访问） |
| OpenHands CodeAct 2.1 | 开源平台 | 70K+ | 53% | CodeAct范式+Docker沙箱 | 免费（自托管） | 30分钟（Docker部署） |
| Manus AI | 商业SaaS | N/A（闭源） | N/A（GAIA SOTA） | 多Agent协作+云沙箱 | $39-$199/月 | 即时（Web访问） |
| SWE-Agent | 开源研究 | 15K+ | 65% | Agent-Computer Interface | 免费 | 15分钟（pip安装） |
| AutoGPT | 开源平台 | 184K | N/A | 自主循环+插件系统 | 免费（自托管） | 45分钟（配置复杂） |
| Claude Code | 商业CLI | N/A | 87.6%（Opus 4.7） | 终端原生+多Agent Teams | $20-$200/月 | 5分钟（npm安装） |

## 一、Devin v3.0：先驱者的商业化马拉松

Devin在2024年初以"全球首个AI软件工程师"的定位引爆市场，由Cognition Labs开发。三年过去，Devin已迭代至v3.0版本，但SWE-bench的初始得分仅有13.86%，这个数字至今仍被业界反复引用——不是作为成绩，而是作为基准通胀的起点。

### 架构剖析

Devin的核心是一个完整的远程开发环境：独立运行的浏览器、代码编辑器、终端和文件系统。它的Agent Loop遵循经典的"观察-规划-执行"循环，但关键差异在于环境隔离——每次任务启动一个全新的沙箱容器，消除状态污染。

```python
# Devin任务执行伪代码
class DevinAgent:
    def execute(self, task: str) -> Result:
        sandbox = self.spawn_sandbox()  # 全新隔离环境
        browser = sandbox.launch_browser()
        editor = sandbox.launch_editor()
        
        plan = self.llm.plan(task, context=sandbox.snapshot())
        for step in plan.steps:
            result = step.execute(sandbox)
            if result.test_failed:
                fix = self.llm.debug(result.error, context=sandbox.snapshot())
                fix.apply(sandbox)
        
        return Result(patch=sandbox.diff(), tests=sandbox.run_tests())
```

### 定价陷阱

Devin的定价模型采用ACU（Agent Compute Unit）计量制：Core计划$20/月包含有限ACU，Team计划$500/月包含250 ACU。实际使用中，一个中等复杂度的GitHub Issue可能消耗3-5个ACU，按$2.25/ACU计算，月度实际成本远超标价。一位开发者在实测中报告，连续处理10个Issue后账单飙升至$120——这在开源替代方案免费的情况下，形成了显著的价值落差。

### 实战评估

Devin在代码迁移、依赖升级等结构化任务上表现尚可，但在涉及业务逻辑推理、跨文件重构、模糊需求理解时，成功率急剧下降。其最大价值不在于替代工程师，而在于自动化重复性编码任务——CI/CD流水线中的自动修复、大型仓库的批量重构等。

## 二、OpenHands CodeAct 2.1：开源阵营的技术标杆

OpenHands（原OpenDevin）是2026年开源自主编程Agent的绝对领军者。70K+的GitHub Star、CMU团队的技术背书、CodeAct范式的学术论文——它不是简单的工具，而是一套完整的自主开发Agent研究平台。

### CodeAct范式

CodeAct的核心洞察是：**将代码作为Agent的行动语言**。传统的Agent系统使用JSON格式的工具调用（tool_call），而CodeAct让Agent直接编写和执行代码来完成操作——浏览网页、编辑文件、运行命令，全部通过代码完成。

```python
# CodeAct与传统Tool-Call的对比
# 传统方式：JSON工具调用
{
    "tool": "file_edit",
    "args": {
        "path": "/src/main.py",
        "old": "def hello():",
        "new": "def hello(name):"
    }
}

# CodeAct方式：直接写代码
agent_output = """
I need to modify the hello function to accept a name parameter.

<execute_bash>
sed -i 's/def hello():/def hello(name):/' /src/main.py
python -c "from main import hello; print(hello('World'))"
</execute_bash>
"""
```

### 性能数据

CodeAct 2.1在SWE-bench Verified上达到53%的解决率，在SWE-bench Lite上达到41.7%。这些数据使用Claude 3.5 Sonnet作为底层模型。值得注意的是，当切换到Claude Opus 4.7时，性能可进一步提升——这意味着CodeAct架构本身的优势可以叠加模型能力的提升。

### 部署实战

OpenHands支持三种部署模式：Docker Desktop本地运行、云服务器部署、以及通过SDK嵌入自有应用。30分钟内即可完成从安装到第一个Agent任务的端到端流程。

## 三、Manus AI：通用自主Agent的中国方案

Manus AI在2025年初以"全球首个通用AI Agent"的定位横空出世，由一支中国团队打造。它的野心不限于编程——而是覆盖信息检索、数据分析、内容创作、网页操作等全场景的自主任务执行。

### 多Agent协作架构

Manus的核心创新在于其多Agent协作系统。与单一Agent循环不同，Manus将复杂任务分解给专业化子Agent：

```mermaid
graph TD
    A[用户任务输入] --> B[Planning Agent<br/>任务分解与规划]
    B --> C[Research Agent<br/>信息检索与分析]
    B --> D[Code Agent<br/>编程与脚本执行]
    B --> E[Browser Agent<br/>网页浏览与操作]
    B --> F[Data Agent<br/>数据处理与可视化]
    C --> G[Sandbox<br/>统一执行沙箱]
    D --> G
    E --> G
    F --> G
    G --> H[Review Agent<br/>结果验证与优化]
    H --> I{质量检查}
    I -->|通过| J[输出结果]
    I -->|不通过| B
```

### GAIA基准表现

Manus在GAIA（General AI Assistant Benchmark）的三个难度级别上均取得SOTA成绩。GAIA测试Agent在真实环境中的综合能力：包括网页浏览、文件处理、多步推理、工具使用等。Level 3（最高难度）的通过率尤其引人注目——这标志着Agent在复杂开放式任务上的突破。

### 上下文工程

Manus团队在2025年发表了《Context Engineering for AI Agents》技术博客，提出了"上下文工程"的概念——不是简单的prompt engineering，而是系统性地管理Agent在整个任务生命周期中看到的上下文。这包括：任务相关的历史信息过滤、工具输出摘要、错误信息的结构化呈现等。

### 局限性

Manus的通用性也带来了精度损失。在专业编程任务上，它不如OpenHands或SWE-Agent精准；在特定领域任务上，它需要额外的上下文配置。目前定价为$39-$199/月，处于Devin和开源方案之间。

## 四、SWE-Agent：学术派的极简哲学

Princeton NLP团队开发的SWE-Agent走了一条截然不同的路。它的核心理念是Agent-Computer Interface（ACI）——为LLM设计一个专门的交互接口，使其更高效地完成软件工程任务。

### Agent-Computer Interface

SWE-Agent的创新不在于复杂的Agent架构，而在于精心设计的交互界面。传统的终端接口为人类设计，信息密度和格式对LLM并不友好。SWE-Agent重新设计了文件浏览、搜索、编辑等操作的输出格式，让LLM能更准确地理解代码库状态。

```bash
# SWE-Agent的ACI设计：为LLM优化的文件浏览输出
# 传统终端输出（信息过载）
$ ls -la
total 128
drwxr-xr-x  12 user  staff   384 May 20 10:30 .
drwxr-xr-x   5 user  staff   160 May 20 09:15 ..
-rw-r--r--   1 user  staff  1024 May 20 10:30 main.py
-rw-r--r--   1 user  staff   2048 May 20 10:30 utils.py
# ...（大量无关信息）

# SWE-Agent ACI输出（精准摘要）
$ search_dir "def process"
Found 3 matches in 2 files:
  main.py:15 - def process_data(input: str) -> dict
  main.py:42 - def process_request(req: Request) -> Response
  utils.py:8 - def process_batch(items: list) -> list
```

### Mini版本：100行代码的力量

SWE-Agent团队近期发布了"mini"版本——仅100行代码的Agent，却能在SWE-bench Verified上达到65%的解决率。这个结果震撼了整个社区：它证明Agent的性能瓶颈往往不在架构复杂性，而在于ACI设计和模型能力。

### 变现潜力

SWE-Agent是纯研究导向的项目，MIT开源协议。它的商业价值不在于直接销售，而在于其ACI设计理念可被其他平台采纳。许多训练营和课程已将其作为"理解Agent本质"的教学工具。

## 五、AutoGPT：从病毒式传播到平台化蜕变

AutoGPT是2023年自主Agent浪潮的引爆点。一个简单的Python脚本，通过递归调用GPT-4实现自主目标追踪，在GitHub上疯狂积累了184K Star。但病毒式传播之后，AutoGPT面临的是一个更残酷的问题：它在实际任务上的完成率极低。

### 进化路径

2026年的AutoGPT已从那个"递归GPT-4调用脚本"蜕变为一个完整的Agent平台：

```mermaid
graph LR
    subgraph "2023: 原型期"
        A1[简单递归循环] --> A2[GPT-4 API调用]
        A2 --> A3[文件系统读写]
    end
    subgraph "2024-2025: 框架期"
        B1[插件系统] --> B2[记忆管理]
        B2 --> B3[多模态支持]
        B3 --> B4[工作流编排]
    end
    subgraph "2026: 平台期"
        C1[可视化Builder] --> C2[市场模板]
        C2 --> C3[企业部署]
        C3 --> C4[API服务]
    end
    A3 --> B1
    B4 --> C1
```

### 现实检验

AutoGPT的核心问题始终是"目标幻觉"——在长链条自主执行中，Agent容易偏离原始目标，进入无意义的循环。2026年的版本通过引入"里程碑检查点"机制缓解了这一问题：每完成一个子任务，系统会验证当前状态是否仍在通向最终目标的路径上。

实际测试中，AutoGPT在信息检索、内容生成等简单任务上完成率可达70%+，但在需要精确执行的编程任务上，完成率降至20-30%。它的价值定位已从"自主编程"转向"自动化工作流"。

## 六、Claude Code：大厂Agent的终端范式

Claude Code不是传统意义上的"自主Agent"——它是一个终端原生的编程助手，但在2026年已进化出强大的自主能力。Anthropic的数据显示，Claude Code已累计超过100万次会话，其中40%+涉及多Agent协作。

### Agent Teams架构

Claude Code的最新突破是"Agent Teams"——多个专业化Agent并行处理复杂任务：

```python
# Claude Code Agent Teams工作流（概念模型）
# 用户输入复杂任务
task = "重构整个认证模块，从JWT迁移到OAuth2.0"

# Claude Code自动拆分并分配给专业Agent
agents = {
    "architect": "分析现有JWT实现，设计OAuth2.0架构",
    "implementer": "编写OAuth2.0认证逻辑", 
    "tester": "编写迁移测试用例",
    "reviewer": "审查安全性和兼容性"
}

# 并行执行 + 协调
results = coordinator.run_parallel(agents, context=codebase)
```

### SWE-bench统治

Claude Opus 4.7在SWE-bench Verified上达到87.6%的解决率，在SWE-bench Full上达到64.3%。这不仅是模型能力的体现，更是Agent架构与模型深度耦合的结果——Claude Code能充分利用Opus的长上下文窗口（200K tokens）和工具调用能力。

### 定位差异

Claude Code与Devin、OpenHands的根本区别在于交互模式：Devin和OpenHands是"全自主"模式——用户提出任务后等待结果；Claude Code是"半自主"模式——在关键决策点请求用户确认。这种设计在工程实践中更为安全，但也意味着无法实现真正的"无人值守"。

## 基准分数的真实含义

```mermaid
graph TD
    subgraph "基准测试世界"
        A1[Claude Opus 4.7: 87.6%<br/>SWE-bench Verified]
        A2[SWE-Agent: 65%]
        A3[OpenHands CodeAct 2.1: 53%]
        A4[Devin v1: 13.86%]
    end
    subgraph "真实任务世界"
        B1[结构化Bug修复: 60-70%<br/>成功完成率]
        B2[跨文件重构: 30-45%]
        B3[业务逻辑开发: 15-25%]
        B4[架构级任务: 5-10%]
    end
    A1 -.->|"60-70%保留率"| B1
    A2 -.->|"需要模型升级"| B2
    A3 -.->|"开源最佳性价比"| B3
    A4 -.->|"商业化溢价争议"| B4
```

基准分数到真实任务完成率之间存在显著衰减。87.6%的SWE-bench Verified得分，在真实的跨仓库重构任务中可能只有30-45%的成功率。这不是数据造假——而是基准测试本身的局限性：SWE-bench的每个Issue都有明确的错误描述和测试用例，而真实开发中的需求往往是模糊的、矛盾的、不完整的。

## 架构决策：何时选什么

| 场景 | 推荐平台 | 理由 |
|------|---------|------|
| 企业级代码维护、Bug批量修复 | Claude Code + Opus | 最高基准分、安全确认机制 |
| 研究实验、学术论文复现 | SWE-Agent | 极简架构、ACI理念、MIT协议 |
| 开发自有Agent产品 | OpenHands SDK | 完整平台、可嵌入、多模型支持 |
| 非编程通用任务（调研/分析） | Manus AI | 多Agent协作、GAIA验证 |
| 学习Agent原理 | AutoGPT | 最大社区、丰富教程 |
| 预算充足的团队外包 | Devin | 全托管、无需运维 |

## 实战建议与避坑指南

**第一，不要被单一基准分数绑架。** SWE-bench Verified的500个Issue经过人工筛选，代表的是"可自动验证的最佳情况"。你的实际任务复杂度可能远超这个范围。

**第二，模型选择比平台选择更重要。** OpenHands CodeAct 2.1在Claude Sonnet上拿到53%，换用Opus后可能接近70%。在选择平台时，确保它支持你想要使用的模型。

**第三，半自主 > 全自主。** 在当前技术阶段，"人在环路"的半自主模式（如Claude Code）比全自主模式（如Devin）更可靠。关键决策点的确认机制能有效防止Agent偏离。

**第四，关注上下文工程。** Manus团队的实践证明，Agent性能的瓶颈往往在于上下文管理而非模型能力。优化你喂给Agent的信息质量，比升级模型更有效。

**第五，开源方案的经济优势巨大。** OpenHands和SWE-Agent完全免费，配合按量付费的API（如Claude API），单个Issue的解决成本可控制在$0.5-2.0之间，远低于Devin的$5-15。

## Mariner之死：自主Agent赛道的警示

Google在2026年5月4日悄然关闭了Project Mariner——这个曾被视为"AI浏览器Agent未来"的项目，仅存活17个月。Mariner的失败不是技术问题，而是定位问题：用视觉方式模拟人类浏览网页，成本高、速度慢、可靠性差。它的技术遗产被并入Gemini Agent SDK，但作为独立产品的Mariner已经彻底消亡。

这个案例揭示了一个深层规律：**自主Agent的成功不取决于它能做什么，而取决于它能可靠地做什么。** Mariner能做的事很多，但没有一件能做到足够可靠。相比之下，SWE-Agent只做一件事——解决GitHub Issue——但做到了65%的可靠率。

## 延伸阅读

- Manus团队关于上下文工程的实践：[Context Engineering for AI Agents](https://manus.im/blog/Context-Engineering-for-AI-Agents-Lessons-from-Building-Manus)
- SWE-bench Verified实时排行榜：[swebench.com](https://www.swebench.com/verified.html)
- OpenHands CodeAct 2.1技术报告：[openhands.dev/blog](https://www.openhands.dev/blog/openhands-codeact-21-an-open-state-of-the-art-software-development-agent)

## 参考来源

1. [SWE-Bench Verified Leaderboard May 2026](https://www.marc0.dev/en/leaderboard) — Claude Opus 4.7以87.6%领跑，包含46+模型实时排名
2. [OpenHands CodeAct 2.1 Release Blog](https://www.openhands.dev/blog/openhands-codeact-21-an-open-state-of-the-art-software-development-agent) — 53% SWE-bench Verified解决率的技术细节
3. [Manus AI Technical Investigation (GitHub Gist)](https://gist.github.com/renschni/4fbc70b31bad8dd57f3370239dccd58f) — Manus多Agent架构深度技术分析
4. [Google Shuts Down Project Mariner](https://www.digitaltrends.com/computing/google-pulls-the-plug-on-project-mariner-the-ai-agent-that-browsed-the-web-like-a-human/) — Project Mariner于2026年5月4日关闭始末
5. [SWE-agent: Agent-Computer Interfaces (arXiv)](https://arxiv.org/abs/2405.15793) — Princeton NLP的ACI设计论文，100行代码达到65%解决率
6. [AutoGPT GitHub Repository](https://github.com/Significant-Gravitas/AutoGPT) — 184K Star，从脚本到平台的演进记录

> [!tip] 51学通信知识星球
> **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。
> **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。
> **当前规模**：5200 篇主题 / 990 个回答，198 元/年。
> **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。
> **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。

![51学通信知识星球海报-扫码加入](https://wiki.500nian.com/images/zhixingqiu_qrcode.png)