首页 › ai-agents › 自主智能体浏览器:写任务塌方

自主智能体操控浏览器:读任务已解,写任务塌方

概述

当自主智能体从"调用 API 工具"进化到"亲自开浏览器、看屏幕、点鼠标",一个新物种诞生了——浏览器/桌面操控智能体(browser & computer-use agent)。2026 年的核心发现是一个刺眼的剪刀差:在 WebVoyager 这类"读任务"基准上,browser-use BU 2.0 拿到 89.1%、OpenAI Operator 87%,看似已经解决;但一旦切到"写任务"(登录、填表、过 2FA、下载文件),Skyvern 的 Web Bench(5750 个任务、452 个站点)显示所有智能体成功率集体跳水。塌方的头号元凶不是模型笨,而是"幻觉式收尾"——智能体看到加载动画或跳转页就误判任务完成,在表单提交触发 CAPTCHA 而非确认页时尤其致命。本文用六栈实测数据拆解这条"读已解/写未解"的分界线,给出落地选型与安全闸门。

多维度对比

智能体/栈 最新得分 技术路线 步数上限 单任务成本 失败命门
browser-use BU 2.0 WebVoyager 89.1%(2026.01) 开源 Python + Playwright + 任意 LLM,0.13 起 Rust 内核 自定义 ~200 任务/美元 写任务幻觉收尾、选择器漂移
OpenAI Operator / CUA WebVoyager 87% / WebArena 58.1% / OSWorld 38.1% 托管产品 + CUA API,浏览器优先 50 步 ~$0.15(Pro 摊销) 敌对反爬站点、OSWorld 仅限浏览器
Anthropic Computer Use OSWorld 14.9%→66.3%(人类~72%) 截图 + 鼠键动作,API 内嵌 50 步 ~$0.08–0.12(token) 保守默认致慢、动态弹窗
Skyvern 2.0 Web Bench 写任务领先 自有浏览器基建 + 工作流编排 50 步 订阅/步计费 覆盖站点有限
Playwright MCP 无统一基准(工具接口) MCP 工具暴露给任意客户端 客户端决定 免费 + LLM 成本 仅单智能体、无回环
Microsoft Copilot Studio computer use 未公开基准 企业 M365/Power Platform,CUA+Sonnet 底座 平台决定 Copilot 许可捆绑 非 MS 原生工作流弱

深度分析

一、认知架构:look-decide-act-verify 回环

浏览器智能体与"函数调用型"智能体的根本区别在于动作空间从离散 API 变成了连续像素。其内核是一个 2026 年趋于稳定、单步准确率从 2025 年中的约 70% 爬到 85–95% 的四拍回环:look(截图或抓取 DOM/无障碍树)→ decide(视觉/文本模型推理下一步)→ act(输出坐标点击或键入)→ verify(再截一帧确认状态变化)。

两条感知路线并存:Computer Use 走"纯截图 + 鼠键坐标",泛化强、抗改版,但要为每一步付视觉 token;browser-use/Skyvern 走"DOM + 无障碍树 + 选择器",更快更省,但页面一改版选择器就漂移。这种感知方式的差异直接决定了后面的失败模式分布:视觉派卡在"看不清弹窗/点不准坐标",DOM 派卡在"元素选择器变了找不到按钮"。

# browser-use 极简回环:把任意 LLM 接到真实浏览器
from browser_use import Agent
from langchain_openai import ChatOpenAI

agent = Agent(
    task="登录 portal,进入发票页,下载最新一张 PDF",
    llm=ChatOpenAI(model="gpt-5"),
)
await agent.run(max_steps=30)   # 步数预算=成本与超时的关键旋钮

变现评估:这是 2026 年训练营最热的赛道之一,因为它有"看得见的魔法"——屏幕真的在自己动。但教学陷阱在于:演示永远跑读任务(查航班、比价),把学员的期望值锚定在 89%,上线一碰写任务立刻崩盘。靠谱的训练营必须让学员亲手复现一次"幻觉式收尾"。

二、读任务已近解决:89% 的真相与基准盲区

WebVoyager 上 browser-use 89.1%、Operator 87% 的数字很漂亮,但 Web Bench 团队点破了一个结构性问题:WebVoyager 只覆盖 643 个任务、15 个站点,且几乎全是"读任务"——浏览、查找、回答。读任务之所以"已解",是因为它对副作用容错:抓错一个字段,大不了重抓;不涉及任何不可逆操作。

读任务的两大失败源也都很温和:一是导航障碍(不会关弹窗、找不到入口),二是信息抽取错误(取了缓存值、把相邻字段当目标、表格没滚动完整)。这两类都属于"失败可见、可重试"。所以"读自主、写闸门"成为 2026 年生产部署的共识——读类可以放开让智能体自己跑,写类必须人审。

关键判断:如果一个产品的核心场景是"读"(竞品监控、舆情抓取、价格比对),2026 年的浏览器智能体已经够用,可以放手做;如果是"写"(自动下单、自动提交合规表单),请把 89% 这个数字从脑海里删掉。

三、写任务塌方:四大失败模式(本文核心)

写任务(登录、填表、过 2FA、下载)是所有智能体的坟场,Web Bench 显示各家成功率全线低于读任务。深挖后有四类元凶:

  1. 幻觉式收尾(incomplete execution)——最致命。智能体看到一个"像成功"的 UI 状态(加载动画、跳转页、thank-you 页面)就停手,没有真正验证结果。典型现场:点击"提交"后跳出 CAPTCHA 而非确认页,智能体却报告任务完成。这与编程智能体"过度热心"的失败高度同构——聪明模型更爱自作主张宣布胜利。

  2. 导航障碍——cookie 横幅、订阅弹窗、多步模态框在会话中途突然冒出,智能体的指令里没有处理这些"中断"的明文规则,于是卡在障碍物前。

  3. 步数超时——每次跑上限 50 步,喜欢"重复读同一页、反复重试失败点击"的智能体会把预算烧光还到不了终点。

  4. 信息抽取错——到了对的页面却返回错的数据(缓存值、看错字段)。

这四类里,幻觉式收尾是写任务专属的灾难:它不是"做错了",而是"没做完却声称做完"。这恰好是上轮"假成功陷阱"在 GUI 维度的重演——返回值校验在浏览器场景要变成"验证 DOM/截图里的最终状态"。

四、基础设施层:代理、CAPTCHA、鉴权墙——在推理开始之前就死

Web Bench 最反直觉的发现是:基础设施失败和智能体推理失败几乎同等重要。很多时候智能体根本没机会"思考",就在更底层挂了:

这解释了为什么 Skyvern 把"自带浏览器基建"当成核心卖点——它发现用 Browserbase 跑反而不如自家基建能访问更多站点、反爬更少。落地启示:选浏览器智能体不能只看模型分,必须连基建一起评;一个 89% 的模型跑在会触发 CAPTCHA 的劣质代理上,实际交付率可能不到 50%。

五、三条技术路线:浏览器库 vs 桌面控制 vs MCP-Playwright

2026 年浏览器/桌面操控收敛为三条路线,各自命中不同场景:

OpenAI Operator 已于 2025-08-31 关停独立站,并入 ChatGPT agent + CUA API;Operator 的 OSWorld 仅 38.1%,因为它只控浏览器、不控整个桌面,在桌面任务上天然吃亏。选型一句话:消费级自主用 ChatGPT agent/CUA、嵌入式生产用 Computer Use、自托管开源用 browser-use、MCP 客户端用 Playwright MCP、企业 M365 用 Copilot Studio。

六、成本与步数税:从 $5 到 $0.30 的 5–10 倍下落

2026 年浏览器智能体真正"能上生产"的推手是成本 5–10 倍跳水:2024 年约 $5/任务的同质量工作,2026 年中降到 $0.30–1.00。原因是小模型(GPT-5 mini、Claude Haiku 4.5)便宜到足以驱动每一步推理,而 browser-use 的 200 任务/美元让"批量夜间跑"第一次经济上成立。

但成本模型藏在步数里:多数智能体的成本随"页面扫描次数"线性增长。问题在于——急于解题的智能体会用大量步数去错误地自救(比如去找在线客服聊天而非提前终止);而悲观防幻觉的智能体会因为一次页面变化(填了个邮编)就整批作废重规划。两者都在烧步数。生产上还有一个铁律指标:任务抖动率(flake rate)——5% 算优秀,20% 说明你的选择器/页面逻辑太脆,这时该回头修基建和选择器,而不是换模型。

七、安全模型:把浏览器智能体当"不可信代码"

浏览器智能体触碰的是真实系统、真实账号、真实付款,安全模型必须前置,2026 年的共识有三层:

  1. 读自主 / 写闸门——读类任务放手跑,写类(表单提交、付款)必须挂人审队列;
  2. 临时容器 + 严格出网——跑在无状态容器里,网络出口严格限制,无权访问目标站点以外任何东西;
  3. 不可信代码心态——把浏览器智能体当成"在你环境里执行的不可信代码",因为提示注入(prompt injection)是头号攻击面:恶意网页可以在 DOM 里植入指令劫持智能体。OpenAI、Anthropic 2026 年都发布了硬化沙箱与注入缓解层,但"把读到的不受信内容当指令执行"这个根本张力仍在。
# 生产模式:读自主、写需审批(伪代码)
if task.is_write:                 # 含提交/付款等副作用
    await human_approval_queue.enqueue(task)
else:                              # 纯读取
    await run_in_ephemeral_container(task, egress=ALLOWLIST)

浏览器智能体系统架构

flowchart TD
    U[用户目标<br/>登录/填表/下载] --> S{任务类型}
    S -->|读任务| RR[自主执行]
    S -->|写任务| RW[人审闸门]
    RR --> RT[临时容器+出网白名单]
    RW -->|批准| RT
    RT --> LOOP

    subgraph LOOP[look-decide-act-verify 回环]
        L1[截屏/抓DOM无障碍树] --> L2[LLM 推理下一步]
        L2 --> L3[点击/键入动作]
        L3 --> L4[再截一帧验证]
        L4 -->|未完成| L2
    end

    LOOP --> CHK{是否真正完成?}
    CHK -->|幻觉收尾/超时| FAIL[失败归因]
    CHK -->|验证通过| OK[结果写入DB]

    FAIL --> F1[智能体失败]
    FAIL --> F2[基础设施失败]

    F1 --> FA1[导航/弹窗]
    F1 --> FA2[幻觉式收尾]
    F1 --> FA3[50步超时]
    F1 --> FA4[抽取错值]

    F2 --> FB1[代理墙]
    F2 --> FB2[CAPTCHA]
    F2 --> FB3[鉴权/反爬]

推荐方案(按场景)

给训练营/产品方的提醒:演示永远跑读任务会埋下巨大期望差;一个负责任的浏览器智能体课,必须让学员亲手复现"提交按钮跳出 CAPTCHA、智能体却报告完成"这个幻觉式收尾,并把"读自主/写闸门 + 验证最终 DOM 状态"当成毕业标准。结构化重复高量任务,传统 RPA 仍胜——别为了"AI 化"而 AI 化。

参考来源

  1. Web Bench: A Fresh Approach to Comparing AI Browser Agents — Skyvern — 5750 任务/452 站点的新基准,读写分离,提出四类智能体失败+三类基建失败
  2. Browser Agents 2026: Operator vs Computer Use vs Browser Use — Web3 AI Blog — 2026.05 三方实测,Computer Use 成功率领先、Operator 消费级体验最佳、browser-use 最省最可控
  3. Browser Agents in 2026: Computer Use vs Operator vs browser-use — CallSphere — 具体分数:browser-use BU 2.0 WebVoyager 89.1%、Operator 87%/WebArena 58.1%、OSWorld 14.9%→66.3%
  4. AI Browser Automation in 2026 — ZTABS — 生产落地路线图与"读自主/写闸门"安全模型,Operator 并入 ChatGPT agent 时间线
  5. OSWorld: Benchmarking Multimodal Agents — xlang-ai/OSWorld (NeurIPS 2024) — 真实虚拟机桌面任务基准(369 任务),浏览器 vs 桌面操控能力分界依据

本文由「51学通信」原创出品,站长爱卫生(微信:gprshome201101)。聚焦自主智能体在真实浏览器/桌面环境中的落地实测,下一篇将切入多智能体协作的最新架构模式。

[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入