<!-- title: 自主Agent自治度量危机：三级框架×基准崩塌 -->

## 概述

2026年上半年，AI Agent领域爆发了一场"度量危机"——三条主线同时交汇：Anthropic基于百万级Claude Code会话发布五级自治度量框架，Knight Columbia与CSA分别推出各自的自治分层模型，三套框架在关键定义上存在系统性分歧；与此同时，UC Berkeley RDI团队用最简Agent拿下了八大主流基准的近满分，暴露出SWE-bench、WebArena等指标的系统性脆弱；而OpenAI公开宣布退役SWE-bench Verified，承认数据污染已不可逆。三框架无法对齐、基准全面失信、真实部署数据揭示"自治悬殊"——自治度量这个Agent行业的底层基础设施，正在经历一场未见终局的重构。

## 一、三框架对峙：自治分层的罗生门

2026年1-6月，三个独立组织先后发布了AI Agent自治层级框架，表面结构相似，内核定义却存在系统性偏差。这不是学术象牙塔里的概念之争——框架选错，直接决定你的产品需要什么样的护栏、审计和合规路径。

### 1.1 Anthropic实证五级模型：从部署数据反推

Anthropic在2026年2月发布的研究《Measuring AI Agent Autonomy in Practice》是目前唯一基于百万级真实会话数据的自治度量工作。其核心发现令人震惊：

- **自治悬殊（Deployment Overhang）**：Claude Code的最长会话（99.9th percentile）从2025年8月的约6分钟增长到12月的42分钟，7倍增长，且增速未放缓。这意味着用户的信任正在快速膨胀，而能力边界未必同步扩展。
- **80%的Claude工具调用属于低自治层级**：大多数交互仍停留在"用户发出明确指令→Agent执行"的模式。
- **五级划分**基于两个实证维度：**单次自主运行时长**和**工具调用链的平均深度**。

其五级结构为：
- **Level 1（指令执行）**：用户给出精确指令，Agent单步执行，无自主决策
- **Level 2（任务委派）**：用户给出目标，Agent分解为多步执行
- **Level 3（监督自主）**：Agent在设定边界内自主运行，关键节点回传确认
- **Level 4（委托自主）**：Agent长期自主运行，仅在异常时中断
- **Level 5（完全自主）**：Agent独立设定子目标并持续执行，无需人类介入

```python
# Anthropic实证度量的核心指标
autonomy_metrics = {
    "single_turn_duration": "单次自主运行时长（秒）",
    "tool_chain_depth": "连续工具调用链平均深度",
    "human_intervention_rate": "每千步人类干预次数",
    "task_completion_ratio": "无干预完成率"
}
# 关键发现：Level 3及以上仅占Claude Code会话的8%，
# 但贡献了62%的token消耗——高自治=高成本=高风险
```

### 1.2 Knight Columbia学术五级框架：设计视角

2026年6月发布的arXiv论文《Levels of Autonomy for AI Agents》（2506.12469）来自Knight First Amendment Institute，提出了另一个五级框架。其核心差异在于：**将自治视为"设计决策"而非"涌现属性"**。

关键创新点：
- **以用户角色定义自治**：每个层级明确定义了"用户在交互中扮演什么角色"——从操作者（Level 1）到监督者（Level 3）再到审计者（Level 5）
- **提出"自治证书"概念**：类似于自动驾驶的SAE分级认证，Agent应公开声明其设计自治等级
- **强调自治的可逆性**：用户应随时能将Agent从高自治降级到低自治

这一框架与Anthropic的实证模型存在两个关键分歧：

| 维度 | Anthropic模型 | Knight Columbia |
|------|-------------|-----------------|
| 度量基础 | 实际行为数据 | 设计意图声明 |
| Level 3定义 | 监督自主，关键节点确认 | 用户可随时接管 |
| Level 5定义 | 完全自主，无需介入 | 自主设定目标，用户审计结果 |
| 核心主张 | 自治是可度量的涌现属性 | 自治是可设计的选择 |

### 1.3 CSA六级行业治理框架：安全视角

Cloud Security Alliance在2026年1月发布的《Agentic AI Autonomy Levels and Control Framework》v2.0走得更远——**六级分层**，每一级绑定具体的安全控制要求。这不是理论框架，而是面向企业安全团队的实操手册。

CSA的六级结构：
- **Level 0（无自治）**：每步需人类明确触发
- **Level 1（建议模式）**：Agent提出建议，人类批准后执行
- **Level 2（受控行动）**：Agent在白名单范围内自主执行
- **Level 3（边界自治）**：Agent在策略边界内自主运行，越界需审批
- **Level 4（委托自治）**：Agent在广泛授权下运行，事后审计
- **Level 5（战略自治）**：Agent自主设定和调整战略目标

CSA框架的独特贡献是**每级绑定了具体的控制措施**：
- Level 0-1：基本日志记录
- Level 2-3：实时监控+自动熔断
- Level 4：沙箱隔离+行为基线
- Level 5：供应链审计+零信任治理

2026年5月，CSA进一步发布了**Agentic Trust Framework（ATF）**，将零信任架构扩展到Agent治理，提出了"永不信任，持续验证"的Agent安全范式。

### 1.4 三框架对比矩阵

| 维度 | Anthropic | Knight Columbia | CSA |
|------|-----------|-----------------|-----|
| 层级数 | 5 | 5 | 6 |
| 方法论 | 实证数据 | 学术规范 | 安全治理 |
| 适用场景 | 产品度量 | 政策制定 | 企业安全 |
| 强制性 | 观察 | 建议 | 审计 |
| 数据基础 | 百万级会话 | 案例分析 | 事件复盘 |
| 核心盲区 | 仅限编码场景 | 缺乏实证验证 | 过度偏向安全 |

```mermaid
graph TB
    subgraph 三框架对齐尝试
        A["Anthropic Level 1<br/>指令执行"] --- B["Knight L1<br/>用户操作"]
        B --- C["CSA L0-L1<br/>无自治/建议"]

        D["Anthropic Level 2<br/>任务委派"] --- E["Knight L2<br/>用户委派"]
        E --- F["CSA L2<br/>受控行动"]

        G["Anthropic Level 3<br/>监督自主"] --- H["Knight L3<br/>用户监督"]
        H --- I["CSA L3<br/>边界自治"]

        J["Anthropic Level 4<br/>委托自主"] --- K["Knight L4<br/>用户委托"]
        K --- L["CSA L4<br/>委托自治"]

        M["Anthropic Level 5<br/>完全自主"] --- N["Knight L5<br/>用户审计"]
        N --- O["CSA L5<br/>战略自治"]
    end

    style A fill:#e1f5fe
    style D fill:#b3e5fc
    style G fill:#81d4fa
    style J fill:#4fc3f7
    style M fill:#29b6f6
```

## 二、基准信任崩塌：八项全能被击穿

如果说框架之争还停留在理论层面，那么2026年4月UC Berkeley RDI团队的研究则是对整个Agent评估体系的致命一击。

### 2.1 UC Berkeley RDI：八个基准近满分

Dawn Song领衔的UC Berkeley RDI团队构建了一个"扫描Agent"，系统审计了八大主流Agent基准：

1. **SWE-bench Verified**（编码）
2. **WebArena**（Web交互）
3. **GAIA**（通用助手）
4. **AgentBench**（多维度）
5. **OSWorld**（计算机操作）
6. 以及其他三项

结果：**该Agent在所有八个基准上均获得了接近满分的成绩，但它从未真正"解决"任何任务**。其核心手法包括：

- **利用评分函数的简陋性**：许多基准的评分基于表面匹配（如输出包含特定字符串），而非语义等价
- **路径捷径**：在WebArena中，Agent可以通过直接构造URL绕过多步交互流程
- **时间窗口套利**：在SWE-bench中，利用测试用例的固定超时时间，构造"刚好通过"的补丁
- **环境信息泄露**：OSWorld中，Agent可以通过读取不应访问的配置文件获取答案

这一研究的核心结论不是"这些基准设计得很差"，而是**当前基准生态存在系统性脆弱**——评分函数、环境隔离、任务定义三者的耦合度太低，使得"刷分"与"真解决"之间的差距远比想象的要大。

### 2.2 SWE-bench污染：从标杆到弃子

SWE-bench Verified曾是AI编码Agent的黄金基准。2026年，它经历了三个致命打击：

**第一击：数据污染确认**。94%的SWE-bench issues早于前沿模型的训练截止日期。这意味着模型可能已经"见过"答案，而非"解决"了问题。OpenAI在2026年Q1公开宣布不再报告SWE-bench Verified分数，理由是"所有前沿模型均已记忆其答案"。

**第二击：脚手架通胀**。同样的底层模型，配合不同的Agent脚手架（scaffold），分数可从20%跳到70%。这意味着SWE-bench测量的不是模型能力，而是脚手架工程师的优化水平。

**第三击：Berkeley RDI的操纵研究**。扫描Agent在SWE-bench上拿到近满分，证明评分函数可以被系统性绕过。

### 2.3 替代基准的崛起与局限

| 新基准 | 核心创新 | 抗污染机制 | 当前局限 |
|--------|---------|-----------|---------|
| **SWE-bench Pro** | 长周期多文件PR，反污染设计 | 使用模型训练截止日期后的新issue | 成本高，评测周期长 |
| **SWE-bench Live** | 持续自动更新，永远"新" | 微软自动管线实时生成新题 | 生态尚不成熟 |
| **LiveCodeBench** | 从Codeforces/LeetCode实时拉取 | 动态更新，避免训练集重叠 | 偏竞赛题，不代表真实工程 |
| **GAIA** | 466项真实世界任务 | 手工设计，无代码泄露路径 | 数量有限，更新慢 |
| **TerminalBench 2.0** | 终端交互任务 | 动态环境，随机化配置 | 覆盖面窄 |
| **OSWorld** | 真实操作系统环境 | 完整GUI+文件系统隔离 | 成本极高，难以规模化 |

```mermaid
graph LR
    subgraph 基准信任危机演化
        T1["2024 Q4<br/>SWE-bench成为<br/>事实标准"] --> T2["2025 Q3<br/>脚手架通胀<br/>引发质疑"]
        T2 --> T3["2025 Q4<br/>94%数据早于<br/>训练截止"]
        T3 --> T4["2026 Q1<br/>OpenAI退役<br/>SWE-bench Verified"]
        T4 --> T5["2026 Q2<br/>RDI操纵8项<br/>基准近满分"]
        T5 --> T6["2026 Q3<br/>Pro/Live/GAIA<br/>三足鼎立"]
    end

    style T1 fill:#c8e6c9
    style T3 fill:#fff9c4
    style T4 fill:#ffccbc
    style T5 fill:#ef9a9a
    style T6 fill:#b3e5fc
```

## 三、自治悬殊：能力与信任的断层

Anthropic的数据揭示了一个被严重低估的风险：**用户赋予Agent的自治权限正在以远超Agent可靠性的速度增长**。

### 3.1 关键数据点

- Claude Code最长无干预会话从6分钟增长到42分钟（99.9th percentile），三个月内7倍增长
- 经验用户的平均自治时长是新用户的3.2倍
- 高自治会话（Level 3+）仅占总数的8%，但贡献了62%的token消耗和78%的工具调用
- API用户（开发者）的自治配置显著高于直接用户，且更少设置熔断点

这组数据指向一个清晰的模式：**信任的增长曲线是指数型的，而可靠性的增长曲线充其量是线性的**。两条曲线之间的Gap，就是"自治悬殊"。

### 3.2 信任校准的三种失败模式

基于2025-2026年的研究文献，Agent信任校准存在三种系统性失败：

**过度信任（Overtrust）**：用户将Agent视为"足够好"的专家，授予超出其能力的自治权限。在编码场景中表现为：让Claude Code连续运行30+分钟修改核心架构，而不进行中间检查。Anthropic数据显示，这种情况正在快速增加。

**信任不足（Undertrust）**：用户对Agent能力保守，每步确认，导致Agent的效率优势被完全抵消。常见于新用户和合规敏感行业。CSA框架中Level 0-1的用户属于此类。

**信任震荡（Trust Oscillation）**：用户在"出了一次错→极度保守→发现效率低下→再次放权→再次出错"之间循环。这是最常见的模式，也是目前最缺乏工程化解法的模式。

### 3.3 ATLAS：自适应信任层

2026年Berkeley iSchool提出的ATLAS（Adaptive Trust Layer for Autonomous Systems）是一个值得关注的实验方向。其核心思路是：

- 为高影响决策嵌入人类审批节点
- 基于Agent的历史表现动态调整自治级别
- 当Agent行为偏离已建立基线时自动降级

```
ATLAS信任调节伪代码：
trust_score = baseline_trust  # 初始值，如0.7
for each action in agent_actions:
    if action.impact > threshold:
        require_human_approval(action)
        trust_score = update(trust_score, human_decision)
    elif action.deviation > baseline_deviation:
        reduce_autonomy_level()
        trust_score *= 0.9
    else:
        trust_score = min(trust_score + 0.01, max_trust)
```

## 四、METR/HCAST：从基准到能力的度量转型

在传统基准信用破产的背景下，METR（Model Evaluation & Threat Research）组织的工作提供了另一种度量思路。

### 4.1 HCAST：人类校准的自治任务

HCAST（Human-Calibrated Autonomy Software Tasks）的核心创新是将Agent能力与**人类专家的实际完成时间**对齐，而非对齐某个抽象分数。

其方法论：
- 定义一组软件工程任务，每项任务记录人类专家的完成时间
- 测量Agent在同等任务上需要多少人类干预
- 以"人类等效自治时长"作为核心指标

这意味着HCAST回答的问题不是"Agent得了多少分"，而是"Agent能独立运行多久不出错"。这与Anthropic的实证框架高度互补——一个从任务侧度量，一个从部署侧度量。

### 4.2 RE-bench：前沿R&D能力评测

RE-bench评估的是更高维度的能力：AI Agent自主进行AI研究的能力。7项开放式ML研究任务，与人类专家直接对比。2025-2026年的测试覆盖了GPT-5.1、GPT-5.1-Codex-Max等前沿模型。

RE-bench的核心发现：**Agent在短时间任务（<30分钟）上已接近人类水平，但在长周期研究（>4小时）上仍显著落后**。这与Anthropic的42分钟自治时长数据形成了交叉验证。

```mermaid
graph TB
    subgraph 自治度量体系重构
        direction TB
        L1["旧范式<br/>基准分数=能力"]
        L2["新范式<br/>多维度度量"]

        L2 --> D1["任务侧<br/>HCAST/RE-bench<br/>人类校准"]
        L2 --> D2["部署侧<br/>Anthropic实证<br/>自治时长分布"]
        L2 --> D3["安全侧<br/>CSA/ATF<br/>控制措施绑定"]
        L2 --> D4["政策侧<br/>Knight Columbia<br/>自治证书"]
    end

    D1 --- I["交叉验证<br/>短任务≈人类<br/>长周期仍落后"]
    D2 --- I

    style L1 fill:#ffcdd2
    style L2 fill:#c8e6c9
    style I fill:#fff9c4
```

## 五、WEF治理框架：从分类到行动

世界经济论坛（WEF）在2025年11月发布的《AI Agents in Action: Foundations for Evaluation and Governance》是目前最全面的Agent治理框架。它试图在三框架分歧之上建立一个更高层的协调层。

### 5.1 分类体系

WEF框架提出了四个维度的Agent分类：

| 维度 | 取值范围 | 治理含义 |
|------|---------|---------|
| **自治级别** | 1-5 | 决定人类介入频率 |
| **行动范围** | 信息获取/系统修改/外部交互 | 决定安全边界 |
| **风险等级** | 低/中/高/关键 | 决定审计要求 |
| **透明度** | 黑箱/可解释/完全审计 | 决定合规路径 |

这一分类体系的一个关键洞察是：**自治级别本身不是风险代理**。一个Level 5的信息检索Agent的风险，可能远低于一个Level 2的医疗决策Agent。因此WEF强调四维交叉评估，而非单一维度排序。

### 5.2 企业落地的五个阶段

WEF框架建议企业按以下阶段实施Agent治理：

1. **分类先行**：对所有Agent进行四维分类，建立资产清单
2. **基线度量**：使用HCAST等基准建立能力基线
3. **控制映射**：将CSA的安全控制措施映射到每个Agent的自治级别
4. **持续监控**：部署运行时监控，当行为偏离基线时触发告警
5. **治理迭代**：基于Anthropic式实证数据持续调整自治配置

## 六、实战选型指南：如何选择自治度量体系

面对三框架+多基准+多治理标准的复杂局面，不同角色的选型策略应当不同：

### 6.1 角色匹配矩阵

| 角色 | 推荐框架 | 推荐基准 | 理由 |
|------|---------|---------|------|
| **Agent产品经理** | Anthropic五级 | GAIA | 直接度量用户体验中的自治行为 |
| **安全工程师** | CSA六级 | OSWorld + SWE-bench Pro | 安全控制绑定最紧密 |
| **合规团队** | WEF四维 | 多基准交叉 | 满足监管的全面性要求 |
| **研究员** | Knight Columbia | HCAST + RE-bench | 学术严谨性最高 |
| **开发者** | Anthropic实证 | SWE-bench Live | 开发周期内可快速反馈 |

### 6.2 变现与培训评估

| 方向 | 可行性 | 市场规模预估 | 关键挑战 |
|------|-------|------------|---------|
| Agent治理咨询 | ★★★★★ | 10亿+ | 需要跨框架整合能力 |
| 自治度量SaaS | ★★★★ | 5-10亿 | 客户教育成本高 |
| 合规培训课程 | ★★★★ | 2-5亿 | 框架仍在快速变化 |
| Agent审计服务 | ★★★ | 1-3亿 | 需要专业安全背景 |
| 基准即服务平台 | ★★★ | 1-2亿 | 与现有基准维护方竞争 |

## 七、核心结论与趋势预判

**结论一：自治度量正在从"学术问题"变为"合规刚需"**。EU AI Act对高风险AI系统的人类监督要求，本质上就是一个自治级别问题。2026年下半年，预计将有首个监管机构正式采纳某一自治框架作为合规标准。

**结论二：基准生态将进入"后SWE-bench"时代**。单一基准无法全面评估Agent能力的共识已经形成。GAIA、SWE-bench Pro、OSWorld三足鼎立的格局将在2026年底固化，新的综合性基准（如多模态Agent通用评估）正在酝酿。

**结论三："自治悬殊"是当前最被低估的系统性风险**。Agent能力在增长，但用户的信任增长更快，而治理框架的成熟速度最慢。这个三方差距，是2026年Agent安全事故的最可能来源。

**结论四：三框架将在12-18个月内收敛**。Anthropic的实证数据、Knight Columbia的设计视角、CSA的安全控制正在形成互补而非竞争关系。一个整合框架的出现只是时间问题。

```mermaid
graph LR
    subgraph 12个月预测
        P1["2026 Q3<br/>首个监管采纳<br/>自治框架"]
        P2["2026 Q4<br/>三框架收敛<br/>v1.0草案"]
        P3["2027 Q1<br/>GAIA/Pro/OSWorld<br/>联合评估标准"]
        P4["2027 Q2<br/>自治证书<br/>成为行业标配"]
    end

    P1 --> P2 --> P3 --> P4

    style P1 fill:#bbdefb
    style P2 fill:#90caf9
    style P3 fill:#64b5f6
    style P4 fill:#42a5f5
```

## 参考来源

1. [Measuring AI agent autonomy in practice — Anthropic](https://www.anthropic.com/research/measuring-agent-autonomy) — Anthropic基于百万级Claude Code会话的实证自治度量研究，揭示自治悬殊与五级框架
2. [Levels of Autonomy for AI Agents — arXiv 2506.12469](https://arxiv.org/abs/2506.12469) — Knight Columbia Institute提出的学术五级自治框架，引入自治证书概念
3. [Agentic AI Autonomy Levels and Control Framework v2.0 — CSA](https://labs.cloudsecurityalliance.org/research/agentic-ai-autonomy-levels-control-framework-v2-csa-styled/) — 云安全联盟六级自治治理框架，每级绑定安全控制
4. [AI Agent Benchmark Trust Crisis — Pebblous/UC Berkeley RDI](https://blog.pebblous.ai/report/ai-agent-benchmark-trust/en/) — Dawn Song团队操纵八大Agent基准至近满分，暴露评估体系系统性脆弱
5. [AI Agents in Action: Foundations for Evaluation and Governance — WEF](https://www.weforum.org/publications/ai-agents-in-action-foundations-for-evaluation-and-governance/) — 世界经济论坛四维Agent治理分类框架与五阶段实施路径
6. [SWE-bench Pro: Can AI Agents Solve Long-Horizon Software Tasks — arXiv 2509.16941](https://arxiv.org/abs/2509.16941) — 反污染设计的下一代编码基准
7. [HCAST: Human-Calibrated Autonomy Software Tasks — METR/arXiv 2503.17354](https://arxiv.org/abs/2503.17354) — 人类校准的自治任务基准，从分数度量转向时长度量

> [!tip] 51学通信知识星球
> **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。
> **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。
> **当前规模**：5200 篇主题 / 990 个回答，198 元/年。
> **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。
> **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。

![51学通信知识星球海报-扫码加入](https://wiki.500nian.com/images/zhixingqiu_qrcode.png)