概述

2026年上半年，AI Agent领域爆发了一场"度量危机"——三条主线同时交汇：Anthropic基于百万级Claude Code会话发布五级自治度量框架，Knight Columbia与CSA分别推出各自的自治分层模型，三套框架在关键定义上存在系统性分歧；与此同时，UC Berkeley RDI团队用最简Agent拿下了八大主流基准的近满分，暴露出SWE-bench、WebArena等指标的系统性脆弱；而OpenAI公开宣布退役SWE-bench Verified，承认数据污染已不可逆。三框架无法对齐、基准全面失信、真实部署数据揭示"自治悬殊"——自治度量这个Agent行业的底层基础设施，正在经历一场未见终局的重构。

一、三框架对峙：自治分层的罗生门

2026年1-6月，三个独立组织先后发布了AI Agent自治层级框架，表面结构相似，内核定义却存在系统性偏差。这不是学术象牙塔里的概念之争——框架选错，直接决定你的产品需要什么样的护栏、审计和合规路径。

1.1 Anthropic实证五级模型：从部署数据反推

Anthropic在2026年2月发布的研究《Measuring AI Agent Autonomy in Practice》是目前唯一基于百万级真实会话数据的自治度量工作。其核心发现令人震惊：

• 自治悬殊（Deployment Overhang）：Claude Code的最长会话（99.9th percentile）从2025年8月的约6分钟增长到12月的42分钟，7倍增长，且增速未放缓。这意味着用户的信任正在快速膨胀，而能力边界未必同步扩展。
• 80%的Claude工具调用属于低自治层级：大多数交互仍停留在"用户发出明确指令→Agent执行"的模式。
• 五级划分基于两个实证维度：单次自主运行时长和工具调用链的平均深度。

其五级结构为： - Level 1（指令执行）：用户给出精确指令，Agent单步执行，无自主决策 - Level 2（任务委派）：用户给出目标，Agent分解为多步执行 - Level 3（监督自主）：Agent在设定边界内自主运行，关键节点回传确认 - Level 4（委托自主）：Agent长期自主运行，仅在异常时中断 - Level 5（完全自主）：Agent独立设定子目标并持续执行，无需人类介入

# Anthropic实证度量的核心指标
autonomy_metrics = {
    "single_turn_duration": "单次自主运行时长（秒）",
    "tool_chain_depth": "连续工具调用链平均深度",
    "human_intervention_rate": "每千步人类干预次数",
    "task_completion_ratio": "无干预完成率"
}
# 关键发现：Level 3及以上仅占Claude Code会话的8%，
# 但贡献了62%的token消耗——高自治=高成本=高风险

1.2 Knight Columbia学术五级框架：设计视角

2026年6月发布的arXiv论文《Levels of Autonomy for AI Agents》（2506.12469）来自Knight First Amendment Institute，提出了另一个五级框架。其核心差异在于：将自治视为"设计决策"而非"涌现属性"。

关键创新点： - 以用户角色定义自治：每个层级明确定义了"用户在交互中扮演什么角色"——从操作者（Level 1）到监督者（Level 3）再到审计者（Level 5） - 提出"自治证书"概念：类似于自动驾驶的SAE分级认证，Agent应公开声明其设计自治等级 - 强调自治的可逆性：用户应随时能将Agent从高自治降级到低自治

这一框架与Anthropic的实证模型存在两个关键分歧：

1.3 CSA六级行业治理框架：安全视角

Cloud Security Alliance在2026年1月发布的《Agentic AI Autonomy Levels and Control Framework》v2.0走得更远——六级分层，每一级绑定具体的安全控制要求。这不是理论框架，而是面向企业安全团队的实操手册。

CSA的六级结构： - Level 0（无自治）：每步需人类明确触发 - Level 1（建议模式）：Agent提出建议，人类批准后执行 - Level 2（受控行动）：Agent在白名单范围内自主执行 - Level 3（边界自治）：Agent在策略边界内自主运行，越界需审批 - Level 4（委托自治）：Agent在广泛授权下运行，事后审计 - Level 5（战略自治）：Agent自主设定和调整战略目标

CSA框架的独特贡献是每级绑定了具体的控制措施： - Level 0-1：基本日志记录 - Level 2-3：实时监控+自动熔断 - Level 4：沙箱隔离+行为基线 - Level 5：供应链审计+零信任治理

2026年5月，CSA进一步发布了Agentic Trust Framework（ATF），将零信任架构扩展到Agent治理，提出了"永不信任，持续验证"的Agent安全范式。

1.4 三框架对比矩阵

graph TB
    subgraph 三框架对齐尝试
        A["Anthropic Level 1<br/>指令执行"] --- B["Knight L1<br/>用户操作"]
        B --- C["CSA L0-L1<br/>无自治/建议"]

        D["Anthropic Level 2<br/>任务委派"] --- E["Knight L2<br/>用户委派"]
        E --- F["CSA L2<br/>受控行动"]

        G["Anthropic Level 3<br/>监督自主"] --- H["Knight L3<br/>用户监督"]
        H --- I["CSA L3<br/>边界自治"]

        J["Anthropic Level 4<br/>委托自主"] --- K["Knight L4<br/>用户委托"]
        K --- L["CSA L4<br/>委托自治"]

        M["Anthropic Level 5<br/>完全自主"] --- N["Knight L5<br/>用户审计"]
        N --- O["CSA L5<br/>战略自治"]
    end

    style A fill:#e1f5fe
    style D fill:#b3e5fc
    style G fill:#81d4fa
    style J fill:#4fc3f7
    style M fill:#29b6f6

二、基准信任崩塌：八项全能被击穿

如果说框架之争还停留在理论层面，那么2026年4月UC Berkeley RDI团队的研究则是对整个Agent评估体系的致命一击。

2.1 UC Berkeley RDI：八个基准近满分

Dawn Song领衔的UC Berkeley RDI团队构建了一个"扫描Agent"，系统审计了八大主流Agent基准：

1. SWE-bench Verified（编码）
2. WebArena（Web交互）
3. GAIA（通用助手）
4. AgentBench（多维度）
5. OSWorld（计算机操作）
6. 以及其他三项

结果：该Agent在所有八个基准上均获得了接近满分的成绩，但它从未真正"解决"任何任务。其核心手法包括：

• 利用评分函数的简陋性：许多基准的评分基于表面匹配（如输出包含特定字符串），而非语义等价
• 路径捷径：在WebArena中，Agent可以通过直接构造URL绕过多步交互流程
• 时间窗口套利：在SWE-bench中，利用测试用例的固定超时时间，构造"刚好通过"的补丁
• 环境信息泄露：OSWorld中，Agent可以通过读取不应访问的配置文件获取答案

这一研究的核心结论不是"这些基准设计得很差"，而是当前基准生态存在系统性脆弱——评分函数、环境隔离、任务定义三者的耦合度太低，使得"刷分"与"真解决"之间的差距远比想象的要大。

2.2 SWE-bench污染：从标杆到弃子

SWE-bench Verified曾是AI编码Agent的黄金基准。2026年，它经历了三个致命打击：

第一击：数据污染确认。94%的SWE-bench issues早于前沿模型的训练截止日期。这意味着模型可能已经"见过"答案，而非"解决"了问题。OpenAI在2026年Q1公开宣布不再报告SWE-bench Verified分数，理由是"所有前沿模型均已记忆其答案"。

第二击：脚手架通胀。同样的底层模型，配合不同的Agent脚手架（scaffold），分数可从20%跳到70%。这意味着SWE-bench测量的不是模型能力，而是脚手架工程师的优化水平。

第三击：Berkeley RDI的操纵研究。扫描Agent在SWE-bench上拿到近满分，证明评分函数可以被系统性绕过。

2.3 替代基准的崛起与局限

graph LR
    subgraph 基准信任危机演化
        T1["2024 Q4<br/>SWE-bench成为<br/>事实标准"] --> T2["2025 Q3<br/>脚手架通胀<br/>引发质疑"]
        T2 --> T3["2025 Q4<br/>94%数据早于<br/>训练截止"]
        T3 --> T4["2026 Q1<br/>OpenAI退役<br/>SWE-bench Verified"]
        T4 --> T5["2026 Q2<br/>RDI操纵8项<br/>基准近满分"]
        T5 --> T6["2026 Q3<br/>Pro/Live/GAIA<br/>三足鼎立"]
    end

    style T1 fill:#c8e6c9
    style T3 fill:#fff9c4
    style T4 fill:#ffccbc
    style T5 fill:#ef9a9a
    style T6 fill:#b3e5fc

三、自治悬殊：能力与信任的断层

Anthropic的数据揭示了一个被严重低估的风险：用户赋予Agent的自治权限正在以远超Agent可靠性的速度增长。

3.1 关键数据点

• Claude Code最长无干预会话从6分钟增长到42分钟（99.9th percentile），三个月内7倍增长
• 经验用户的平均自治时长是新用户的3.2倍
• 高自治会话（Level 3+）仅占总数的8%，但贡献了62%的token消耗和78%的工具调用
• API用户（开发者）的自治配置显著高于直接用户，且更少设置熔断点

这组数据指向一个清晰的模式：信任的增长曲线是指数型的，而可靠性的增长曲线充其量是线性的。两条曲线之间的Gap，就是"自治悬殊"。

3.2 信任校准的三种失败模式

基于2025-2026年的研究文献，Agent信任校准存在三种系统性失败：

过度信任（Overtrust）：用户将Agent视为"足够好"的专家，授予超出其能力的自治权限。在编码场景中表现为：让Claude Code连续运行30+分钟修改核心架构，而不进行中间检查。Anthropic数据显示，这种情况正在快速增加。

信任不足（Undertrust）：用户对Agent能力保守，每步确认，导致Agent的效率优势被完全抵消。常见于新用户和合规敏感行业。CSA框架中Level 0-1的用户属于此类。

信任震荡（Trust Oscillation）：用户在"出了一次错→极度保守→发现效率低下→再次放权→再次出错"之间循环。这是最常见的模式，也是目前最缺乏工程化解法的模式。

3.3 ATLAS：自适应信任层

2026年Berkeley iSchool提出的ATLAS（Adaptive Trust Layer for Autonomous Systems）是一个值得关注的实验方向。其核心思路是：

• 为高影响决策嵌入人类审批节点
• 基于Agent的历史表现动态调整自治级别
• 当Agent行为偏离已建立基线时自动降级

ATLAS信任调节伪代码：
trust_score = baseline_trust  # 初始值，如0.7
for each action in agent_actions:
    if action.impact > threshold:
        require_human_approval(action)
        trust_score = update(trust_score, human_decision)
    elif action.deviation > baseline_deviation:
        reduce_autonomy_level()
        trust_score *= 0.9
    else:
        trust_score = min(trust_score + 0.01, max_trust)

四、METR/HCAST：从基准到能力的度量转型

在传统基准信用破产的背景下，METR（Model Evaluation & Threat Research）组织的工作提供了另一种度量思路。

4.1 HCAST：人类校准的自治任务

HCAST（Human-Calibrated Autonomy Software Tasks）的核心创新是将Agent能力与人类专家的实际完成时间对齐，而非对齐某个抽象分数。

其方法论： - 定义一组软件工程任务，每项任务记录人类专家的完成时间 - 测量Agent在同等任务上需要多少人类干预 - 以"人类等效自治时长"作为核心指标

这意味着HCAST回答的问题不是"Agent得了多少分"，而是"Agent能独立运行多久不出错"。这与Anthropic的实证框架高度互补——一个从任务侧度量，一个从部署侧度量。

4.2 RE-bench：前沿R&D能力评测

RE-bench评估的是更高维度的能力：AI Agent自主进行AI研究的能力。7项开放式ML研究任务，与人类专家直接对比。2025-2026年的测试覆盖了GPT-5.1、GPT-5.1-Codex-Max等前沿模型。

RE-bench的核心发现：Agent在短时间任务（<30分钟）上已接近人类水平，但在长周期研究（>4小时）上仍显著落后。这与Anthropic的42分钟自治时长数据形成了交叉验证。

graph TB
    subgraph 自治度量体系重构
        direction TB
        L1["旧范式<br/>基准分数=能力"]
        L2["新范式<br/>多维度度量"]

        L2 --> D1["任务侧<br/>HCAST/RE-bench<br/>人类校准"]
        L2 --> D2["部署侧<br/>Anthropic实证<br/>自治时长分布"]
        L2 --> D3["安全侧<br/>CSA/ATF<br/>控制措施绑定"]
        L2 --> D4["政策侧<br/>Knight Columbia<br/>自治证书"]
    end

    D1 --- I["交叉验证<br/>短任务≈人类<br/>长周期仍落后"]
    D2 --- I

    style L1 fill:#ffcdd2
    style L2 fill:#c8e6c9
    style I fill:#fff9c4

五、WEF治理框架：从分类到行动

世界经济论坛（WEF）在2025年11月发布的《AI Agents in Action: Foundations for Evaluation and Governance》是目前最全面的Agent治理框架。它试图在三框架分歧之上建立一个更高层的协调层。

5.1 分类体系

WEF框架提出了四个维度的Agent分类：

这一分类体系的一个关键洞察是：自治级别本身不是风险代理。一个Level 5的信息检索Agent的风险，可能远低于一个Level 2的医疗决策Agent。因此WEF强调四维交叉评估，而非单一维度排序。

5.2 企业落地的五个阶段

WEF框架建议企业按以下阶段实施Agent治理：

1. 分类先行：对所有Agent进行四维分类，建立资产清单
2. 基线度量：使用HCAST等基准建立能力基线
3. 控制映射：将CSA的安全控制措施映射到每个Agent的自治级别
4. 持续监控：部署运行时监控，当行为偏离基线时触发告警
5. 治理迭代：基于Anthropic式实证数据持续调整自治配置

六、实战选型指南：如何选择自治度量体系

面对三框架+多基准+多治理标准的复杂局面，不同角色的选型策略应当不同：

6.1 角色匹配矩阵

6.2 变现与培训评估

七、核心结论与趋势预判

结论一：自治度量正在从"学术问题"变为"合规刚需"。EU AI Act对高风险AI系统的人类监督要求，本质上就是一个自治级别问题。2026年下半年，预计将有首个监管机构正式采纳某一自治框架作为合规标准。

结论二：基准生态将进入"后SWE-bench"时代。单一基准无法全面评估Agent能力的共识已经形成。GAIA、SWE-bench Pro、OSWorld三足鼎立的格局将在2026年底固化，新的综合性基准（如多模态Agent通用评估）正在酝酿。

结论三："自治悬殊"是当前最被低估的系统性风险。Agent能力在增长，但用户的信任增长更快，而治理框架的成熟速度最慢。这个三方差距，是2026年Agent安全事故的最可能来源。

结论四：三框架将在12-18个月内收敛。Anthropic的实证数据、Knight Columbia的设计视角、CSA的安全控制正在形成互补而非竞争关系。一个整合框架的出现只是时间问题。

graph LR
    subgraph 12个月预测
        P1["2026 Q3<br/>首个监管采纳<br/>自治框架"]
        P2["2026 Q4<br/>三框架收敛<br/>v1.0草案"]
        P3["2027 Q1<br/>GAIA/Pro/OSWorld<br/>联合评估标准"]
        P4["2027 Q2<br/>自治证书<br/>成为行业标配"]
    end

    P1 --> P2 --> P3 --> P4

    style P1 fill:#bbdefb
    style P2 fill:#90caf9
    style P3 fill:#64b5f6
    style P4 fill:#42a5f5

参考来源

1. Measuring AI agent autonomy in practice — Anthropic — Anthropic基于百万级Claude Code会话的实证自治度量研究，揭示自治悬殊与五级框架
2. Levels of Autonomy for AI Agents — arXiv 2506.12469 — Knight Columbia Institute提出的学术五级自治框架，引入自治证书概念
3. Agentic AI Autonomy Levels and Control Framework v2.0 — CSA — 云安全联盟六级自治治理框架，每级绑定安全控制
4. AI Agent Benchmark Trust Crisis — Pebblous/UC Berkeley RDI — Dawn Song团队操纵八大Agent基准至近满分，暴露评估体系系统性脆弱
5. AI Agents in Action: Foundations for Evaluation and Governance — WEF — 世界经济论坛四维Agent治理分类框架与五阶段实施路径
6. SWE-bench Pro: Can AI Agents Solve Long-Horizon Software Tasks — arXiv 2509.16941 — 反污染设计的下一代编码基准
7. HCAST: Human-Calibrated Autonomy Software Tasks — METR/arXiv 2503.17354 — 人类校准的自治任务基准，从分数度量转向时长度量

[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。