2026年,衡量自主Agent能力的核心标尺不再是单次问答的准确率,而是它能独立工作多久。METR的最新数据显示,前沿AI的50%任务时长边界以每7个月翻倍的速度指数增长——Claude Opus 4.6已达到14.5小时,意味着一个人类专家需要工作大半天才能完成的软件工程任务,AI有50%的概率独立搞定。与此同时,DeepPlanning基准暴露了规划力的深层断层:模型在短程规划上表现亮眼,但任务步骤超过20步后成功率骤降;AgencyBench用138个真实长程工作流验证了六大Agent能力维度,发现"能规划"与"能执行"之间存在巨大鸿沟。本文以三大长程基准为线索,实测六款前沿模型的任务时长边界,拆解指数曲线背后的工程意义。
METR(Model Evaluation and Threat Research)提出的"任务时长边界"(Time Horizon)是当前衡量自主Agent能力最直觉的指标:人类专家完成某任务需要T分钟,AI在该时长任务上的50%成功率对应的T值,即为该模型的时长边界。
这一指标的革命性在于,它将Agent能力从"能做多少题"转化为"能扛多久的活"。METR的追踪数据显示:
| 模型 | 50%时长边界 | 测量时间 | 对应人类任务 |
|---|---|---|---|
| GPT-4 (2023初) | ~4分钟 | 2023 Q1 | 简单bug修复 |
| Claude 3.5 Sonnet | ~15分钟 | 2024 Q3 | 单文件重构 |
| GPT-5.2 | ~2小时 | 2025 Q3 | 模块级开发 |
| Claude Opus 4.6 | 14.5小时 | 2026 Q1 | 完整功能开发 |
| GPT-5.3 Codex | ~12小时(估计) | 2026 Q1 | 跨仓库修复 |
核心发现:2019年至2026年,50%时长边界以约7个月为周期指数翻倍。Prosus的2026年AI Agent状态报告确认了这一 doubling time 约为196天。
这意味着什么?如果翻倍速率不变,到2027年初,前沿模型的50%时长边界将突破100小时——相当于人类两周的工作量。到2027年底,可能达到1000小时级别,覆盖绝大多数软件工程任务。
但METR数据也揭示了一个关键分化:智能型任务(SWE-bench类)的时长边界远长于操作型任务(WebArena/OSWorld类)。在GUI操作和计算机使用场景中,时长边界约为智能型任务的1/50。换言之,Agent写代码远比操作电脑靠谱。
graph LR
subgraph "METR时长边界指数曲线"
A["GPT-4<br/>~4min<br/>2023Q1"] --> B["Claude 3.5<br/>~15min<br/>2024Q3"]
B --> C["GPT-5.2<br/>~2h<br/>2025Q3"]
C --> D["Opus 4.6<br/>~14.5h<br/>2026Q1"]
D --> E["2027预测<br/>~100-200h"]
end
subgraph "任务层级映射"
T1["分钟级: bug修复"] --> T2["小时级: 功能开发"]
T2 --> T3["日级: 模块重构"]
T3 --> T4["周级: 系统迁移"]
end
D -.->|50%覆盖| T3
E -.->|50%覆盖| T4
METR时长边界数据直接决定了"AI能替代多少人力"的商业模型。训练营可围绕"7个月翻倍律"设计课程:教企业用当前时长边界数据规划未来12个月的人力预算。目前市场上几乎没有基于时长边界的商业决策培训,这是一片蓝海。
METR衡量"能扛多久",但不解释"为什么扛不住"。Qwen团队发布的DeepPlanning基准填补了这一空白——它专门测试Agent在真实约束条件下的长程规划能力。
DeepPlanning的独特之处在于三点:
1. 真实约束嵌入:每个任务附带时间预算、资源限制、可行性约束,不是简单的"规划一条路径",而是"在预算内规划一条可行路径"。
2. 主动信息收集:Agent必须自行决定何时搜索、何时查阅文档、何时请求额外信息,而非给定完整上下文。
3. 细粒度评分:采用rubric-based评分,而非二值pass/fail,能区分"规划了但执行失败"与"根本没规划出来"。
DeepPlanning的结果揭示了一个规划力断层:
| 规划步数 | 领先模型平均成功率 | 断层描述 |
|---|---|---|
| 1-5步 | >80% | 几乎所有前沿模型都能搞定 |
| 6-10步 | ~65% | 开始出现分化 |
| 11-20步 | ~40% | GPT-5系列与Claude Opus拉开差距 |
| 20-50步 | ~15% | 全面崩塌,几乎所有模型挣扎 |
| 50+步 | <5% | 基本无模型能可靠完成 |
关键洞察:步骤超过20步后,成功率从40%断崖式下降至15%。这不是渐进衰退,而是一个认知阈值——类似人类工作记忆的7±2限制,Agent也存在一个"规划深度边界"。
这个断层直接解释了METR时长边界的瓶颈:Agent不是因为"累了"而失败,而是因为"规划链断了"。一个14.5小时的任务可能包含上百个决策节点,当规划深度超过20步时,Agent开始丢失早期上下文,做出矛盾决策,最终导致整个任务链崩溃。
graph TD
subgraph "DeepPlanning规划深度衰减曲线"
S1["1-5步: >80%<br/>✅ 简单推理"] --> S2["6-10步: ~65%<br/>⚠️ 分化开始"]
S2 --> S3["11-20步: ~40%<br/>🔴 认知负荷临界"]
S3 --> S4["20-50步: ~15%<br/>💀 规划链断裂"]
S4 --> S5["50+步: <5%<br/>❌ 全面崩塌"]
end
subgraph "崩塌根因"
R1["上下文窗口溢出"] --> RC["遗忘早期约束"]
R2["错误累积效应"] --> RC
R3["反馈循环缺失"] --> RC
RC --> FAIL["任务链崩溃"]
end
S4 --> R1
S4 --> R2
S4 --> R3
# DeepPlanning评估核心逻辑(简化)
from deepplanning import DeepPlanningBenchmark, RubricScorer
bench = DeepPlanningBenchmark(
difficulty_levels=["easy", "medium", "hard", "extreme"],
constraint_types=["time_budget", "resource_limit", "feasibility"]
)
# 对模型进行规划深度梯度测试
results = {}
for depth in [5, 10, 20, 50, 100]:
task = bench.sample_tasks(
min_steps=depth,
max_steps=depth * 1.5,
n_tasks=50
)
scores = []
for t in task:
plan = model.plan(task=t.description, constraints=t.constraints)
rubric = RubricScorer.evaluate(
plan=plan,
ground_truth=t.optimal_plan,
dimensions=[
"completeness", # 规划完整性
"ordering", # 步骤顺序正确性
"constraint_adherence", # 约束遵守度
"information_gathering" # 主动信息收集策略
]
)
scores.append(rubric.weighted_score())
results[depth] = {
"mean_score": np.mean(scores),
"cliff_detected": check_score_cliff(scores, threshold=0.3)
}
# 输出规划深度断层分析
plot_planning_cliff(results)
如果说METR是宏观时间标尺,DeepPlanning是微观认知探测,那么AgencyBench就是在真实业务场景中跑的集成压力测试。这篇被ACL 2026主会接收的论文,是目前最全面的长程Agent基准。
AgencyBench-V2包含: - 138个任务,分布在32个真实场景中 - 单任务最高消耗100万Token - 覆盖6大Agent能力维度:规划、工具调用、信息收集、错误恢复、上下文管理、输出质量 - 采用Rubric评分替代二值判断,能区分"部分完成"和"完全失败"
六大能力维度对应真实工作流:
| 维度 | 场景示例 | 权重 |
|---|---|---|
| Planning | 游戏开发、数据pipeline设计 | 25% |
| Tool Use | API调用、数据库操作 | 20% |
| Info Gathering | 竞品调研、文档检索 | 15% |
| Error Recovery | 异常处理、重试策略 | 15% |
| Context Mgmt | 长对话压缩、状态持久化 | 15% |
| Output Quality | 代码可运行性、报告完整性 | 10% |
AgencyBench最震撼的发现是"能规划"与"能执行"之间的鸿沟:
模型在规划阶段(写出步骤列表)的平均得分比执行阶段(实际完成操作)高出30-40个百分点。
这意味着什么?Agent能漂亮地画出路线图,但上路后频繁迷路。具体表现为:
将AgencyBench的任务按人类完成时间分组,与METR时长边界对照:
| 人类完成时间 | AgencyBench任务数 | 最佳模型得分 | METR预测50%成功率 |
|---|---|---|---|
| <30分钟 | 42 | 78% | >90% |
| 30min-2h | 35 | 62% | ~75% |
| 2h-8h | 31 | 41% | ~50% |
| 8h-24h | 20 | 22% | ~25% |
| >24h | 10 | 8% | <10% |
AgencyBench的实际得分普遍低于METR预测值。原因在于:METR的HCAST任务集偏向软件工程(有明确测试验证),而AgencyBench包含大量开放性任务(没有唯一正确答案),后者对Agent的综合能力要求更高。
基于三大基准的公开数据,综合六款前沿模型的时长边界表现:
| 维度 | Claude Opus 4.6 | GPT-5.3 Codex | Gemini 3.1 Pro | Qwen3-235B | DeepSeek-V4 | Kimi K2.6 |
|---|---|---|---|---|---|---|
| METR 50%边界 | 14.5h | ~12h(估计) | ~6h | ~3h | ~4h | ~2.5h |
| SWE-bench Verified | 87.6% | 85.0% | 72.1% | 65.3% | 68.7% | 61.2% |
| DeepPlanning 20步+ | ~22% | ~18% | ~12% | ~15% | ~10% | ~8% |
| AgencyBench综合 | ~45% | ~42% | ~35% | ~28% | ~30% | ~25% |
| WebArena | ~38% | ~42% | ~35% | ~25% | ~28% | ~22% |
| GAIA Level 3 | ~32% | ~35% | ~28% | ~20% | ~18% | ~15% |
| 长程错误恢复率 | ~55% | ~50% | ~40% | ~35% | ~38% | ~30% |
| 1M Token任务完成度 | ~35% | ~30% | ~22% | ~18% | ~20% | ~15% |
Claude Opus 4.6在纯时长边界上领跑,14.5小时的50%成功率使其成为目前"最能扛"的自主Agent模型。但在操作型任务(WebArena)上被GPT-5.3 Codex反超——OpenAI的Computer-Using Agent(CUA)在GUI操作场景上训练更充分。
GPT-5.3 Codex是"六边形战士":各维度都在前三名,没有明显短板。GAIA Level 3得分最高(35%),说明在需要多步推理+工具调用的综合场景中表现最优。
Gemini 3.1 Pro性价比优势明显:在时长边界只有Opus 4.6的40%的情况下,SWE-bench得分达到其82%的水平,Token成本却只有1/5。
Qwen3-235B和DeepSeek-V4代表了开源阵营的最高水平:时长边界虽短,但在特定领域(Qwen的规划力、DeepSeek的代码能力)上有惊喜。
时长边界是"能做多长",但要把这个能力转化为可靠的生产力,需要专门的工程基础设施——Harness(线束)。Anthropic在2026年3月发布的Harness设计指南揭示了三层架构:
graph TB
subgraph "长程Agent Harness三层架构"
L1["Layer 1: Planner Agent<br/>任务分解·约束检查·里程碑设定"]
L2["Layer 2: Executor Agent<br/>代码生成·工具调用·状态推进"]
L3["Layer 3: Evaluator Agent<br/>质量把关·回滚决策·上下文压缩"]
L1 -->|"子任务列表"| L2
L2 -->|"执行结果"| L3
L3 -->|"通过/回滚"| L2
L3 -->|"里程碑报告"| L1
L1 -->|"重新规划"| L2
end
subgraph "状态持久化层"
CK["Checkpoint Store"]
HB["Heartbeat Monitor"]
SQ["State Queue"]
end
L2 <--> CK
L2 <--> HB
L3 <--> SQ
将长程任务分解为不超过20步的子任务块(与DeepPlanning发现的20步断层对齐),每个子任务有明确的验收标准和回滚条件。
实际执行子任务,每完成一步自动保存checkpoint。关键设计:心跳检测——如果Executor连续N分钟没有输出有意义的状态更新,判定为"卡死"并触发回滚。
对Executor的输出进行独立评估。这是最关键的创新:评估者与执行者使用不同的上下文窗口,Evaluator只看到子任务目标和执行结果,而非完整对话历史。这避免了"自己审自己"的盲区。
# 生产级长程Agent的Checkpoint-Resume核心逻辑
import json, hashlib
from datetime import datetime
from pathlib import Path
class AgentCheckpoint:
"""长程Agent的检查点管理器"""
def __init__(self, task_id: str, store_path: str = "./checkpoints"):
self.task_id = task_id
self.store = Path(store_path) / task_id
self.store.mkdir(parents=True, exist_ok=True)
def save(self, step: int, state: dict, plan: list):
"""保存检查点:包含执行状态和剩余计划"""
checkpoint = {
"task_id": self.task_id,
"step": step,
"timestamp": datetime.now().isoformat(),
"state_hash": hashlib.sha256(
json.dumps(state, sort_keys=True).encode()
).hexdigest()[:16],
"state": state, # 当前执行上下文
"remaining_plan": plan, # 剩余规划步骤
"token_count": state.get("total_tokens", 0)
}
path = self.store / f"step_{step:04d}.json"
path.write_text(json.dumps(checkpoint, indent=2, ensure_ascii=False))
return path
def resume(self) -> tuple[int, dict, list]:
"""从最新检查点恢复"""
checkpoints = sorted(self.store.glob("step_*.json"))
if not checkpoints:
return 0, {}, []
latest = json.loads(checkpoints[-1].read_text())
return latest["step"], latest["state"], latest["remaining_plan"]
def should_checkpoint(self, tokens_used: int,
steps_completed: int) -> bool:
"""决策何时保存检查点"""
# 每消耗50K tokens或每完成5步保存一次
TOKEN_INTERVAL = 50_000
STEP_INTERVAL = 5
last_ckpt_steps = len(list(self.store.glob("step_*.json")))
return (
tokens_used % TOKEN_INTERVAL < 5000 or
steps_completed % STEP_INTERVAL == 0
)
# 使用示例:长程Agent主循环
def run_long_task(task_description: str, model, max_steps: int = 100):
ckpt = AgentCheckpoint(task_id=hashlib.md5(
task_description.encode()).hexdigest()[:12])
step, state, plan = ckpt.resume()
if step > 0:
print(f"从步骤 {step} 恢复执行,剩余 {len(plan)} 个子任务")
for i, subtask in enumerate(plan[step:], start=step):
result = model.execute(subtask, context=state)
state.update(result.new_state)
# 评估子任务结果
eval_result = model.evaluate(result, subtask.acceptance_criteria)
if not eval_result.passed:
# 回滚到上一个检查点
step, state, plan = ckpt.resume()
plan = replan(plan, step, eval_result.failure_reason)
continue
if ckpt.should_checkpoint(state["total_tokens"], i):
ckpt.save(step=i, state=state, plan=plan)
return state
根据任务时长选择合适的Agent架构和模型组合:
| 任务时长 | 推荐模型 | 架构模式 | 成本估算 | 典型场景 |
|---|---|---|---|---|
| <5分钟 | GPT-5.4 / Gemini 3.1 Flash | 单Agent直调 | <$0.05 | bug修复、文档生成 |
| 5-30分钟 | Claude Sonnet 4.6 | 单Agent + 工具链 | $0.05-0.3 | 代码审查、API集成 |
| 30min-2h | Claude Opus 4.6 | 双Agent(规划+执行) | $0.3-3 | 功能开发、数据pipeline |
| 2-8h | Claude Opus 4.6 + Codex | 三Agent Harness | $3-20 | 模块重构、跨服务迁移 |
| 8-24h | Opus 4.6 + GPT-5.3 混合 | 三Agent + 人工把关 | $20-100 | 系统升级、大型PR |
| >24h | 尚无可靠方案 | 人机协作(人审查关键节点) | $100+ | 架构重构、全栈迁移 |
graph TD
START["任务时长预估"] --> Q1{"<30分钟?"}
Q1 -->|是| A["单Agent<br/>Gemini Flash / Sonnet<br/>成本优先"]
Q1 -->|否| Q2{"<4小时?"}
Q2 -->|是| B["双Agent<br/>Opus 4.6 规划+执行<br/>质量优先"]
Q2 -->|否| Q3{"<14小时?"}
Q3 -->|是| C["三Agent Harness<br/>Opus规划 + Codex执行<br/>+ Evaluator把关"]
Q3 -->|否| Q4{"是否可拆分?"}
Q4 -->|是| D["拆分子任务<br/>每个<4h,并行执行<br/>用B模式逐个处理"]
Q4 -->|否| E["人机协作<br/>AI处理可自动化部分<br/>人工决策关键节点"]
这套选型矩阵可以直接包装为"Agent时长边界工作坊": - 目标学员:技术管理者、架构师 - 核心卖点:用METR数据做ROI计算——"你的团队有多少任务在14.5小时时长边界内?" - 定价区间:训练营2-3天,单价¥5,000-8,000/人 - 差异化:目前市场上的Agent培训都聚焦"如何用",没有人教"何时用、用多久"
任何基准都有盲区。三大长程基准的共同局限:
METR、DeepPlanning、AgencyBench都只测"任务是否完成",不测"完成任务的质量与人类的差距"。一个Agent可能用100万Token完成了一个人类10分钟能做好的任务——虽然"完成"了,但效率极低。
三大基准都不测试Agent在长程执行中的安全行为。一个14.5小时的自主任务,Agent有多少概率做出越权操作、泄露敏感信息、引入安全漏洞?目前没有任何基准系统性地衡量这一点。
时长边界只衡量"能不能",不衡量"值不值"。Opus 4.6可能花$50完成一个4小时任务,而Gemini 3.1 Pro只花$5完成同样的任务——虽然Opus成功率更高,但性价比可能更低。
基于7个月翻倍律的简单外推:
| 时间 | 预测50%时长边界 | 覆盖任务类型 |
|---|---|---|
| 2026 Q1(当前) | 14.5小时 | 单功能开发 |
| 2026 Q4 | ~40小时 | 多模块协同 |
| 2027 Q2 | ~100小时 | 小型系统重构 |
| 2027 Q4 | ~300小时 | 中型项目交付 |
| 2028 | ~1000小时+ | 大型工程 |
如果这个外推成立,到2028年,AI Agent将能独立完成大部分中型软件项目。但这需要解决两个前提:
DeepPlanning揭示的20步断层可能不是硬件问题,而是架构问题。无论模型参数量多大,当前的自回归生成范式在面对超长规划链时都会遭遇注意力稀释。除非出现根本性的架构创新(如外部规划模块、层次化决策树),20步断层可能成为硬天花板。
METR的HCAST任务集已经出现"天花板效应"——当前模型在简单任务上已接近100%成功率,增长曲线开始变平。如果基准不能持续引入更具挑战性的任务,"7个月翻倍"可能只是测量范围的扩大,而非能力的真实增长。
核心判断:自主Agent的任务时长边界正处于指数增长的中段,14.5小时的50%边界已经让"AI独立完成日级任务"从幻想变为概率事件。但DeepPlanning的20步断层和AgencyBench的"规划-执行鸿沟"提醒我们:时长边界是上限,不是保证。
三级行动建议:
[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。
