2026 年,斯坦福 HAI《AI Index》给出一个近乎刺眼的数字:WebArena 已从 2023 年的 15% 攀升至 74.3%,距人类基线 78.24% 仅差 4 个百分点;OSWorld 同样冲到 66.3%,进入"人类区间"。表面看,自主操控智能体(browser-use / computer-use)已越过可用门槛。但同一个模型,在 frozen 基准里刷到 78 分,到了线上真实下单只成交 22% 的购物车;企业侧,78% 跑了试点,仅 14% 跑进生产。UltraHorizon 进一步揭示:在超长程发现任务上,人类仍领先顶级 LLM 智能体 85% 以上。本期聚焦自主智能体最隐蔽也最致命的一类失败——步深即塌:完成率沿两条轴坍塌(任务深度 × 环境真实度),而根因不是模型退化,是目标漂移、状态分叉与上下文累积的叠加。
| 工具/系统 | 版本/来源 | 操控架构 | 上手到首跑 | 长程保真(实测) | 变现潜力 | 最适场景 |
|---|---|---|---|---|---|---|
| Claude Computer Use | Anthropic API | 截图+坐标点击 loop | 半天 | OSWorld 66%,长程断崖明显 | 高(API 计费) | 桌面/网页混合 RPA |
| OpenAI Operator / CUA | 2026 GA | 云端浏览器+视觉 | 数小时 | 消费体验最佳,长程易漂 | 高(订阅) | 面向 C 端的网页代操作 |
| browser-use | 开源(v0.3+) | LangChain + DOM/视觉 | 1 小时 | 短任务强,长程目标漂移 | 中(二次开发) | 自建可控爬取/表单 |
| Stagehand | Browserbase | 自然语言定位+Playwright | 2 小时 | DOM 锚定稳,抗 UI 漂移 | 中高 | 生产级网页自动化 |
| Devin | Cognition | 代码沙箱+计划树 | 试用即可 | SWE-bench 短任务高,超长程回退 | 极高(订阅) | 自主软件工程 |
| ColorBrowserAgent | arXiv 2601.07262 | 自适应重规划 | 研究复现 | 专为长程设计,重规划止损 | 研究为主 | 长程浏览研究基线 |
WebArena 的电商站点永远不会上线新 CSS 类,永远不会弹 cookie 横幅,永远不会把"加入购物车"按钮换成图标。一个在 frozen 基准里刷到 78 分的 browser 智能体,搬到真实站点只成交 22% 的购物车——这 56 分的落差,模型一字未改。
架构原理上,这暴露的是状态分叉:基准环境是确定性快照,智能体的世界模型与页面状态在 t=0 对齐后永不偏移;生产环境是持续漂移的活体,重渲染、A/B 测试、懒加载让智能体在第 k 步持有的截图/DOM 与真实 DOM 错位。WebArena 812 任务里 GPT-4 仅完成 14.41%,而人类 78.24%,差距恰恰来自"基准任务约束 vs 真实脏数据"。
# browser-use 典型 loop:每步截图喂模型,落差点在 snapshot 与 live DOM 的错位
from browser_use import Agent
agent = Agent(
task="下单三件商品并选最便宜的物流",
llm=llm,
use_vision=True,
max_steps=50, # 步数越多,状态分叉越严重
retry_delay=[2, 5, 10], # 抗漂移:指数退避重取 DOM
)
await agent.run()
优缺点:开源可控、可注入企业 cookie、调试可见;缺点是 max_steps 一拉长,错误会被滚雪球放大。变现/训练营:这是"RPA 2.0 训练营"的最佳切口——把 22% 拉到 60% 的工程技巧(重定位、断言回放、视觉锚点)正是付费点,单客单价可做 3000–8000 元。
UltraHorizon(arXiv 2509.21766)专门测"超长程、部分可观测"任务,结论直白:在短程任务上 LLM 智能体常超人类,但在长程发现任务上人类仍领先顶级智能体 85% 以上。这不是线性的"步数越多越累",而是一条断崖——某个深度阈值之后,成功率近乎自由落体。
根因在于复合误差:长程任务每一步的微小失误不会消失,而是沉淀进上下文,成为后续推理的噪声证据。智能体在第 12 步误判了一个元素,到第 30 步仍会引用那次误判的截图作为"已知状态"。这与单步精度无关,是控制论意义上的开环漂移。
优缺点:UltraHorizon 给了校准标尺,让"我们的 agent 很强"的宣称可被证伪;缺点是任务偏研究向,企业难直接套用。变现:长程保真度本身可做成评测 SaaS——给客户报"你的智能体在深度=20 时还剩 41% 保真",比泛泛的 demo 更能签合同。
Zylos 把长程自主体的头号失败命名为 goal drift:随着上下文累积、竞争压力出现、环境变化,智能体会悄然偏离原始目标。表现不是崩溃,而是"合理地跑偏"——任务本意是"订最便宜的机票",跑着跑着变成了"订最早能到的机票",因为途中学到的信息(早班便宜不了多少)软化了原始约束。
# 抗漂移最小实现:每 N 步强制把原始目标重新注入,并与当前动作做相关性校验
GOAL = "用不超过¥1200 订 7 月 5 日北京到上海的机票"
def drift_check(recent_actions, step):
if step % 10: return
score = llm.judge(f"原始目标:{GOAL}\n最近动作:{recent_actions}\n相关性 0-1:")
if score < 0.6:
context.reinject(GOAL) # 目标锚定重注入
planner.rewind_to_last_anchor()
优缺点:目标重注入(goal re-injection)是已知最便宜的抗漂移手段,几乎零架构成本;缺点是判断"相关性"本身依赖一个 LLM,引入二次幻觉。训练营评估:把 goal drift 写成一节课,配可复现 demo(让 agent 跑 40 步看它第几步开始合理化偏移),是高传播力的教学素材。
操控型自主体的根本矛盾:它靠截图决策,但截图永远滞后于真实 DOM。Claude Computer Use、OpenAI Operator 这类 vision-first 方案在 OSWorld 能到 66%,但一旦遇到懒加载、骨架屏、过渡动画,模型会把"加载中"的占位当成最终状态去点击,点空、点错、触发非预期弹窗。Stagehand 反其道,优先用自然语言锚定 DOM 节点而非像素,抗 UI 漂移明显更强。
# 抗漂移双轨:先 DOM 锚点定位,失败再退化到视觉点击(Stagehand 思路)
page.act('click the "Checkout" button') # DOM 优先
try:
page.act('click the green checkout icon', use_vision_fallback=True)
except ElementNotFound:
page.assert_snapshot(checkpoint) # 快照对齐后才重试
优缺点:DOM 锚定稳、可断言、可回放;缺点是对 Canvas/富文本/动态组件无能为力,必须退化到视觉。变现:视觉操控 API(Anthropic/OpenAI)按 token + 截图计费,长程任务单次成本极易失控——这恰恰催生了"操控成本优化咨询"的细分市场。
两家把"操控型自主体"产品化:Anthropic 走 API + 截图坐标点击的极简 loop,透明、可编排,适合嵌入自建流水线;OpenAI Operator 走云端全托管浏览器,C 端体验最顺,代价是把账号、cookie、会话交给云。
# Claude Computer Use 最小 loop:模型返回 computer tool call,本地执行后回灌截图
import anthropic
client = anthropic.Anthropic()
resp = client.messages.create(
model="claude-opus-4-8",
max_tokens=4096,
tools=[{"type": "computer_20250124", "name": "computer",
"display_width_px":1280, "display_height_px":800}],
messages=[{"role":"user","content":"打开订单页,取消最近一笔"}],
)
for block in resp.content: # 执行 screenshot/click/type 再回灌
dispatch(block) # 关键:每次回灌都要 fresh screenshot
优缺点:API 路线透明可审计、易接 observability;托管路线零运维但长程漂移不可干预。变现:Computer Use 是最适合做"垂直 RPA 训练营"的底座——比传统 RPA 更智能、比纯 prompt 更具象,可拆成财务/电商/运维三套垂直课。
browser-use 把"会浏览网页的 agent"做到一行 Agent(task=...).run() 的极致易用,背后是 LangChain 的 step loop + 双模(视觉/DOM)。短板在长程:max_steps 一过 30,目标漂移与状态分叉双重夹击。Stagehand 走更工程化的路,page.act/extract/observe 三原语对齐 Playwright,把可观测性与断言内建进框架,生产稳定性更高。
优缺点:browser-use 上手快、社区大、迭代猛;Stagehand 更稳、更可测,但学习曲线略陡。变现:两者都是"自建智能体训练营"的低成本底座——学员不用买 API 配额就能跑通第一个自主体,转化率高于纯 API 课程。
ColorBrowserAgent(arXiv 2601.07262)专门为长程浏览设计,核心是自适应重规划:不假设初始计划一路正确,而是在检测到状态与预期偏离时触发局部重规划,而不是硬着头皮执行到崩。这正面回应了 goal drift 与步深塌方——把"开环长跑"改成"带检查点的闭环短跑拼接"。
# 重规划骨架:偏离预期即回退到最近 checkpoint 重新规划剩余子任务
while not done:
obs = env.observe()
if not matches_plan(obs, current_subtask):
current_subtask = planner.replan(goal=GOAL, history=memory.checkpoints())
memory.checkpoint(obs, current_subtask) # 锚点持久化
action = actor.act(current_subtask, obs)
优缺点:checkpoints 机制显著延缓断崖,是把长程保真度从 20% 拉到 50% 的关键;缺点是 checkpoint 频率本身就是 token 税,过密则烧钱。变现:可作为"长程自主体工程"高阶课的压轴案例,差异化卖点明确。
flowchart TD
A[原始任务目标] --> B[Step 1-N 自主执行]
B --> C{步深是否超阈值?}
C -->|否 短程| D[保真高 基准虚高<br/>WebArena 74.3%]
C -->|是 长程| E[步深即塌断崖]
E --> F1[目标漂移 goal drift<br/>合理化偏离原始约束]
E --> F2[环境态分叉<br/>截图滞后 live DOM]
E --> F3[复合误差累积<br/>误判成后续噪声证据]
F1 --> G[生产完成率塌方<br/>基准78 → 实战22]
F2 --> G
F3 --> G
G --> H{止损层}
H --> I1[目标重注入 goal re-injection]
H --> I2[DOM锚点优先 视觉退化]
H --> I3[checkpoint重规划 ColorBrowserAgent]
I1 & I2 & I3 --> J[长程保真回升 20%→50%+]
J --> K[可签约的工程指标]
[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。
