首页 › ai-agents › 自主Agent时长边界:三大基准指数实测

概述

2026年,衡量自主Agent能力的核心标尺不再是单次问答的准确率,而是它能独立工作多久。METR的最新数据显示,前沿AI的50%任务时长边界以每7个月翻倍的速度指数增长——Claude Opus 4.6已达到14.5小时,意味着一个人类专家需要工作大半天才能完成的软件工程任务,AI有50%的概率独立搞定。与此同时,DeepPlanning基准暴露了规划力的深层断层:模型在短程规划上表现亮眼,但任务步骤超过20步后成功率骤降;AgencyBench用138个真实长程工作流验证了六大Agent能力维度,发现"能规划"与"能执行"之间存在巨大鸿沟。本文以三大长程基准为线索,实测六款前沿模型的任务时长边界,拆解指数曲线背后的工程意义。


一、时间边界:METR七个月翻倍律

METR(Model Evaluation and Threat Research)提出的"任务时长边界"(Time Horizon)是当前衡量自主Agent能力最直觉的指标:人类专家完成某任务需要T分钟,AI在该时长任务上的50%成功率对应的T值,即为该模型的时长边界。

这一指标的革命性在于,它将Agent能力从"能做多少题"转化为"能扛多久的活"。METR的追踪数据显示:

模型 50%时长边界 测量时间 对应人类任务
GPT-4 (2023初) ~4分钟 2023 Q1 简单bug修复
Claude 3.5 Sonnet ~15分钟 2024 Q3 单文件重构
GPT-5.2 ~2小时 2025 Q3 模块级开发
Claude Opus 4.6 14.5小时 2026 Q1 完整功能开发
GPT-5.3 Codex ~12小时(估计) 2026 Q1 跨仓库修复

核心发现:2019年至2026年,50%时长边界以约7个月为周期指数翻倍。Prosus的2026年AI Agent状态报告确认了这一 doubling time 约为196天。

这意味着什么?如果翻倍速率不变,到2027年初,前沿模型的50%时长边界将突破100小时——相当于人类两周的工作量。到2027年底,可能达到1000小时级别,覆盖绝大多数软件工程任务。

但METR数据也揭示了一个关键分化:智能型任务(SWE-bench类)的时长边界远长于操作型任务(WebArena/OSWorld类)。在GUI操作和计算机使用场景中,时长边界约为智能型任务的1/50。换言之,Agent写代码远比操作电脑靠谱。

graph LR
    subgraph "METR时长边界指数曲线"
        A["GPT-4<br/>~4min<br/>2023Q1"] --> B["Claude 3.5<br/>~15min<br/>2024Q3"]
        B --> C["GPT-5.2<br/>~2h<br/>2025Q3"]
        C --> D["Opus 4.6<br/>~14.5h<br/>2026Q1"]
        D --> E["2027预测<br/>~100-200h"]
    end

    subgraph "任务层级映射"
        T1["分钟级: bug修复"] --> T2["小时级: 功能开发"]
        T2 --> T3["日级: 模块重构"]
        T3 --> T4["周级: 系统迁移"]
    end

    D -.->|50%覆盖| T3
    E -.->|50%覆盖| T4

变现评估

METR时长边界数据直接决定了"AI能替代多少人力"的商业模型。训练营可围绕"7个月翻倍律"设计课程:教企业用当前时长边界数据规划未来12个月的人力预算。目前市场上几乎没有基于时长边界的商业决策培训,这是一片蓝海。


二、规划力断层:DeepPlanning基准拆解

METR衡量"能扛多久",但不解释"为什么扛不住"。Qwen团队发布的DeepPlanning基准填补了这一空白——它专门测试Agent在真实约束条件下的长程规划能力。

基准设计

DeepPlanning的独特之处在于三点:

1. 真实约束嵌入:每个任务附带时间预算、资源限制、可行性约束,不是简单的"规划一条路径",而是"在预算内规划一条可行路径"。

2. 主动信息收集:Agent必须自行决定何时搜索、何时查阅文档、何时请求额外信息,而非给定完整上下文。

3. 细粒度评分:采用rubric-based评分,而非二值pass/fail,能区分"规划了但执行失败"与"根本没规划出来"。

核心发现

DeepPlanning的结果揭示了一个规划力断层:

规划步数 领先模型平均成功率 断层描述
1-5步 >80% 几乎所有前沿模型都能搞定
6-10步 ~65% 开始出现分化
11-20步 ~40% GPT-5系列与Claude Opus拉开差距
20-50步 ~15% 全面崩塌,几乎所有模型挣扎
50+步 <5% 基本无模型能可靠完成

关键洞察:步骤超过20步后,成功率从40%断崖式下降至15%。这不是渐进衰退,而是一个认知阈值——类似人类工作记忆的7±2限制,Agent也存在一个"规划深度边界"。

为什么重要

这个断层直接解释了METR时长边界的瓶颈:Agent不是因为"累了"而失败,而是因为"规划链断了"。一个14.5小时的任务可能包含上百个决策节点,当规划深度超过20步时,Agent开始丢失早期上下文,做出矛盾决策,最终导致整个任务链崩溃。

graph TD
    subgraph "DeepPlanning规划深度衰减曲线"
        S1["1-5步: >80%<br/>✅ 简单推理"] --> S2["6-10步: ~65%<br/>⚠️ 分化开始"]
        S2 --> S3["11-20步: ~40%<br/>🔴 认知负荷临界"]
        S3 --> S4["20-50步: ~15%<br/>💀 规划链断裂"]
        S4 --> S5["50+步: <5%<br/>❌ 全面崩塌"]
    end

    subgraph "崩塌根因"
        R1["上下文窗口溢出"] --> RC["遗忘早期约束"]
        R2["错误累积效应"] --> RC
        R3["反馈循环缺失"] --> RC
        RC --> FAIL["任务链崩溃"]
    end

    S4 --> R1
    S4 --> R2
    S4 --> R3

代码示例:DeepPlanning评估流程

# DeepPlanning评估核心逻辑(简化)
from deepplanning import DeepPlanningBenchmark, RubricScorer

bench = DeepPlanningBenchmark(
    difficulty_levels=["easy", "medium", "hard", "extreme"],
    constraint_types=["time_budget", "resource_limit", "feasibility"]
)

# 对模型进行规划深度梯度测试
results = {}
for depth in [5, 10, 20, 50, 100]:
    task = bench.sample_tasks(
        min_steps=depth, 
        max_steps=depth * 1.5,
        n_tasks=50
    )

    scores = []
    for t in task:
        plan = model.plan(task=t.description, constraints=t.constraints)
        rubric = RubricScorer.evaluate(
            plan=plan,
            ground_truth=t.optimal_plan,
            dimensions=[
                "completeness",    # 规划完整性
                "ordering",        # 步骤顺序正确性
                "constraint_adherence",  # 约束遵守度
                "information_gathering"  # 主动信息收集策略
            ]
        )
        scores.append(rubric.weighted_score())

    results[depth] = {
        "mean_score": np.mean(scores),
        "cliff_detected": check_score_cliff(scores, threshold=0.3)
    }

# 输出规划深度断层分析
plot_planning_cliff(results)

三、真实工作流压力测试:AgencyBench ACL 2026

如果说METR是宏观时间标尺,DeepPlanning是微观认知探测,那么AgencyBench就是在真实业务场景中跑的集成压力测试。这篇被ACL 2026主会接收的论文,是目前最全面的长程Agent基准。

基准架构

AgencyBench-V2包含: - 138个任务,分布在32个真实场景中 - 单任务最高消耗100万Token - 覆盖6大Agent能力维度:规划、工具调用、信息收集、错误恢复、上下文管理、输出质量 - 采用Rubric评分替代二值判断,能区分"部分完成"和"完全失败"

六大能力维度对应真实工作流:

维度 场景示例 权重
Planning 游戏开发、数据pipeline设计 25%
Tool Use API调用、数据库操作 20%
Info Gathering 竞品调研、文档检索 15%
Error Recovery 异常处理、重试策略 15%
Context Mgmt 长对话压缩、状态持久化 15%
Output Quality 代码可运行性、报告完整性 10%

核心发现

AgencyBench最震撼的发现是"能规划"与"能执行"之间的鸿沟:

模型在规划阶段(写出步骤列表)的平均得分比执行阶段(实际完成操作)高出30-40个百分点。

这意味着什么?Agent能漂亮地画出路线图,但上路后频繁迷路。具体表现为:

  1. 规划完美但工具调用出错:知道该调哪个API,但参数传错、格式不对
  2. 无法从错误中恢复:一步出错,后续全部偏移,且不会回溯修正
  3. 上下文压缩丢失关键信息:任务进行到一半时,Agent"忘记"了早期的约束条件
  4. 长程Token消耗非线形增长:100万Token的任务,后半段的单位Token产出效率下降60%

与METR时长边界的交叉验证

将AgencyBench的任务按人类完成时间分组,与METR时长边界对照:

人类完成时间 AgencyBench任务数 最佳模型得分 METR预测50%成功率
<30分钟 42 78% >90%
30min-2h 35 62% ~75%
2h-8h 31 41% ~50%
8h-24h 20 22% ~25%
>24h 10 8% <10%

AgencyBench的实际得分普遍低于METR预测值。原因在于:METR的HCAST任务集偏向软件工程(有明确测试验证),而AgencyBench包含大量开放性任务(没有唯一正确答案),后者对Agent的综合能力要求更高。


四、六款前沿模型时长边界实测对比

基于三大基准的公开数据,综合六款前沿模型的时长边界表现:

维度 Claude Opus 4.6 GPT-5.3 Codex Gemini 3.1 Pro Qwen3-235B DeepSeek-V4 Kimi K2.6
METR 50%边界 14.5h ~12h(估计) ~6h ~3h ~4h ~2.5h
SWE-bench Verified 87.6% 85.0% 72.1% 65.3% 68.7% 61.2%
DeepPlanning 20步+ ~22% ~18% ~12% ~15% ~10% ~8%
AgencyBench综合 ~45% ~42% ~35% ~28% ~30% ~25%
WebArena ~38% ~42% ~35% ~25% ~28% ~22%
GAIA Level 3 ~32% ~35% ~28% ~20% ~18% ~15%
长程错误恢复率 ~55% ~50% ~40% ~35% ~38% ~30%
1M Token任务完成度 ~35% ~30% ~22% ~18% ~20% ~15%

关键解读

Claude Opus 4.6在纯时长边界上领跑,14.5小时的50%成功率使其成为目前"最能扛"的自主Agent模型。但在操作型任务(WebArena)上被GPT-5.3 Codex反超——OpenAI的Computer-Using Agent(CUA)在GUI操作场景上训练更充分。

GPT-5.3 Codex是"六边形战士":各维度都在前三名,没有明显短板。GAIA Level 3得分最高(35%),说明在需要多步推理+工具调用的综合场景中表现最优。

Gemini 3.1 Pro性价比优势明显:在时长边界只有Opus 4.6的40%的情况下,SWE-bench得分达到其82%的水平,Token成本却只有1/5。

Qwen3-235B和DeepSeek-V4代表了开源阵营的最高水平:时长边界虽短,但在特定领域(Qwen的规划力、DeepSeek的代码能力)上有惊喜。


五、长程Agent的工程基础设施:Harness三层架构

时长边界是"能做多长",但要把这个能力转化为可靠的生产力,需要专门的工程基础设施——Harness(线束)。Anthropic在2026年3月发布的Harness设计指南揭示了三层架构:

graph TB
    subgraph "长程Agent Harness三层架构"
        L1["Layer 1: Planner Agent<br/>任务分解·约束检查·里程碑设定"]
        L2["Layer 2: Executor Agent<br/>代码生成·工具调用·状态推进"]
        L3["Layer 3: Evaluator Agent<br/>质量把关·回滚决策·上下文压缩"]

        L1 -->|"子任务列表"| L2
        L2 -->|"执行结果"| L3
        L3 -->|"通过/回滚"| L2
        L3 -->|"里程碑报告"| L1
        L1 -->|"重新规划"| L2
    end

    subgraph "状态持久化层"
        CK["Checkpoint Store"]
        HB["Heartbeat Monitor"]
        SQ["State Queue"]
    end

    L2 <--> CK
    L2 <--> HB
    L3 <--> SQ

第一层:Planner Agent

将长程任务分解为不超过20步的子任务块(与DeepPlanning发现的20步断层对齐),每个子任务有明确的验收标准和回滚条件。

第二层:Executor Agent

实际执行子任务,每完成一步自动保存checkpoint。关键设计:心跳检测——如果Executor连续N分钟没有输出有意义的状态更新,判定为"卡死"并触发回滚。

第三层:Evaluator Agent

对Executor的输出进行独立评估。这是最关键的创新:评估者与执行者使用不同的上下文窗口,Evaluator只看到子任务目标和执行结果,而非完整对话历史。这避免了"自己审自己"的盲区。

实战代码:Checkpoint-Resume模式

# 生产级长程Agent的Checkpoint-Resume核心逻辑
import json, hashlib
from datetime import datetime
from pathlib import Path

class AgentCheckpoint:
    """长程Agent的检查点管理器"""

    def __init__(self, task_id: str, store_path: str = "./checkpoints"):
        self.task_id = task_id
        self.store = Path(store_path) / task_id
        self.store.mkdir(parents=True, exist_ok=True)

    def save(self, step: int, state: dict, plan: list):
        """保存检查点:包含执行状态和剩余计划"""
        checkpoint = {
            "task_id": self.task_id,
            "step": step,
            "timestamp": datetime.now().isoformat(),
            "state_hash": hashlib.sha256(
                json.dumps(state, sort_keys=True).encode()
            ).hexdigest()[:16],
            "state": state,          # 当前执行上下文
            "remaining_plan": plan,  # 剩余规划步骤
            "token_count": state.get("total_tokens", 0)
        }
        path = self.store / f"step_{step:04d}.json"
        path.write_text(json.dumps(checkpoint, indent=2, ensure_ascii=False))
        return path

    def resume(self) -> tuple[int, dict, list]:
        """从最新检查点恢复"""
        checkpoints = sorted(self.store.glob("step_*.json"))
        if not checkpoints:
            return 0, {}, []
        latest = json.loads(checkpoints[-1].read_text())
        return latest["step"], latest["state"], latest["remaining_plan"]

    def should_checkpoint(self, tokens_used: int, 
                          steps_completed: int) -> bool:
        """决策何时保存检查点"""
        # 每消耗50K tokens或每完成5步保存一次
        TOKEN_INTERVAL = 50_000
        STEP_INTERVAL = 5
        last_ckpt_steps = len(list(self.store.glob("step_*.json")))
        return (
            tokens_used % TOKEN_INTERVAL < 5000 or
            steps_completed % STEP_INTERVAL == 0
        )


# 使用示例:长程Agent主循环
def run_long_task(task_description: str, model, max_steps: int = 100):
    ckpt = AgentCheckpoint(task_id=hashlib.md5(
        task_description.encode()).hexdigest()[:12])

    step, state, plan = ckpt.resume()
    if step > 0:
        print(f"从步骤 {step} 恢复执行,剩余 {len(plan)} 个子任务")

    for i, subtask in enumerate(plan[step:], start=step):
        result = model.execute(subtask, context=state)
        state.update(result.new_state)

        # 评估子任务结果
        eval_result = model.evaluate(result, subtask.acceptance_criteria)
        if not eval_result.passed:
            # 回滚到上一个检查点
            step, state, plan = ckpt.resume()
            plan = replan(plan, step, eval_result.failure_reason)
            continue

        if ckpt.should_checkpoint(state["total_tokens"], i):
            ckpt.save(step=i, state=state, plan=plan)

    return state

六、企业级时长边界选型矩阵

根据任务时长选择合适的Agent架构和模型组合:

任务时长 推荐模型 架构模式 成本估算 典型场景
<5分钟 GPT-5.4 / Gemini 3.1 Flash 单Agent直调 <$0.05 bug修复、文档生成
5-30分钟 Claude Sonnet 4.6 单Agent + 工具链 $0.05-0.3 代码审查、API集成
30min-2h Claude Opus 4.6 双Agent(规划+执行) $0.3-3 功能开发、数据pipeline
2-8h Claude Opus 4.6 + Codex 三Agent Harness $3-20 模块重构、跨服务迁移
8-24h Opus 4.6 + GPT-5.3 混合 三Agent + 人工把关 $20-100 系统升级、大型PR
>24h 尚无可靠方案 人机协作(人审查关键节点) $100+ 架构重构、全栈迁移

选型决策树

graph TD
    START["任务时长预估"] --> Q1{"<30分钟?"}
    Q1 -->|是| A["单Agent<br/>Gemini Flash / Sonnet<br/>成本优先"]
    Q1 -->|否| Q2{"<4小时?"}
    Q2 -->|是| B["双Agent<br/>Opus 4.6 规划+执行<br/>质量优先"]
    Q2 -->|否| Q3{"<14小时?"}
    Q3 -->|是| C["三Agent Harness<br/>Opus规划 + Codex执行<br/>+ Evaluator把关"]
    Q3 -->|否| Q4{"是否可拆分?"}
    Q4 -->|是| D["拆分子任务<br/>每个<4h,并行执行<br/>用B模式逐个处理"]
    Q4 -->|否| E["人机协作<br/>AI处理可自动化部分<br/>人工决策关键节点"]

变现路径

这套选型矩阵可以直接包装为"Agent时长边界工作坊": - 目标学员:技术管理者、架构师 - 核心卖点:用METR数据做ROI计算——"你的团队有多少任务在14.5小时时长边界内?" - 定价区间:训练营2-3天,单价¥5,000-8,000/人 - 差异化:目前市场上的Agent培训都聚焦"如何用",没有人教"何时用、用多久"


七、三大基准的盲区与未来演进

任何基准都有盲区。三大长程基准的共同局限:

盲区一:生存者偏差

METR、DeepPlanning、AgencyBench都只测"任务是否完成",不测"完成任务的质量与人类的差距"。一个Agent可能用100万Token完成了一个人类10分钟能做好的任务——虽然"完成"了,但效率极低。

盲区二:安全边界缺失

三大基准都不测试Agent在长程执行中的安全行为。一个14.5小时的自主任务,Agent有多少概率做出越权操作、泄露敏感信息、引入安全漏洞?目前没有任何基准系统性地衡量这一点。

盲区三:成本效能盲点

时长边界只衡量"能不能",不衡量"值不值"。Opus 4.6可能花$50完成一个4小时任务,而Gemini 3.1 Pro只花$5完成同样的任务——虽然Opus成功率更高,但性价比可能更低。

未来基准演进方向

  1. 效率加权时长边界:在METR框架中加入成本维度,计算"每美元可完成的任务时长"
  2. 安全约束规划:在DeepPlanning中加入安全红线,测试Agent是否会在压力下绕过安全约束
  3. 人机协作基准:不测纯自主完成率,而是测"人机协作模式下,人类总干预时间减少了多少"

八、指数曲线的外推与风险

外推预测

基于7个月翻倍律的简单外推:

时间 预测50%时长边界 覆盖任务类型
2026 Q1(当前) 14.5小时 单功能开发
2026 Q4 ~40小时 多模块协同
2027 Q2 ~100小时 小型系统重构
2027 Q4 ~300小时 中型项目交付
2028 ~1000小时+ 大型工程

如果这个外推成立,到2028年,AI Agent将能独立完成大部分中型软件项目。但这需要解决两个前提:

风险一:规划深度瓶颈

DeepPlanning揭示的20步断层可能不是硬件问题,而是架构问题。无论模型参数量多大,当前的自回归生成范式在面对超长规划链时都会遭遇注意力稀释。除非出现根本性的架构创新(如外部规划模块、层次化决策树),20步断层可能成为硬天花板。

风险二:任务饱和效应

METR的HCAST任务集已经出现"天花板效应"——当前模型在简单任务上已接近100%成功率,增长曲线开始变平。如果基准不能持续引入更具挑战性的任务,"7个月翻倍"可能只是测量范围的扩大,而非能力的真实增长。


结论与行动建议

核心判断:自主Agent的任务时长边界正处于指数增长的中段,14.5小时的50%边界已经让"AI独立完成日级任务"从幻想变为概率事件。但DeepPlanning的20步断层和AgencyBench的"规划-执行鸿沟"提醒我们:时长边界是上限,不是保证。

三级行动建议:

  1. 立即执行:用本文的选型矩阵审计团队工作流,识别所有<2小时的任务,这些任务目前已可大规模自动化
  2. 季度跟踪:每季度重新评估METR时长边界数据,动态调整人机协作边界
  3. 战略押注:投资Harness工程能力——三Agent架构(规划+执行+评估)是将时长边界转化为可靠生产力的关键基础设施

参考来源

  1. METR Task-Completion Time Horizons — 前沿AI任务时长边界追踪仪表板,含Claude Opus 4.6的14.5小时记录
  2. DeepPlanning: Benchmarking Long-Horizon Agentic Planning — Qwen团队发布的规划深度基准论文,揭示20步规划断层
  3. AgencyBench: Benchmarking the Frontiers of Autonomous Agents — ACL 2026主会论文,138任务32场景六大维度Agent评测
  4. Measuring AI Ability to Complete Long Tasks - METR — 提出7个月翻倍律的原始研究论文
  5. Anthropic Harness Design for Long-Running Apps — Anthropic官方发布的 Harness 三层架构设计指南
  6. State of AI Agents 2026: Autonomy is Here - Prosus — 含196天翻倍周期的产业验证数据

[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入