# 自主智能体操控浏览器：读任务已解，写任务塌方 ## 概述 当自主智能体从"调用 API 工具"进化到"亲自开浏览器、看屏幕、点鼠标"，一个新物种诞生了——**浏览器/桌面操控智能体（browser & computer-use agent）**。2026 年的核心发现是一个刺眼的剪刀差：在 WebVoyager 这类"读任务"基准上，browser-use BU 2.0 拿到 89.1%、OpenAI Operator 87%，看似已经解决；但一旦切到"写任务"（登录、填表、过 2FA、下载文件），Skyvern 的 Web Bench（5750 个任务、452 个站点）显示**所有智能体成功率集体跳水**。塌方的头号元凶不是模型笨，而是"幻觉式收尾"——智能体看到加载动画或跳转页就误判任务完成，在表单提交触发 CAPTCHA 而非确认页时尤其致命。本文用六栈实测数据拆解这条"读已解/写未解"的分界线，给出落地选型与安全闸门。 ## 多维度对比 | 智能体/栈 | 最新得分 | 技术路线 | 步数上限 | 单任务成本 | 失败命门 | |------|------|------|------|------|------| | **browser-use BU 2.0** | WebVoyager 89.1%（2026.01） | 开源 Python + Playwright + 任意 LLM，0.13 起 Rust 内核 | 自定义 | ~200 任务/美元 | 写任务幻觉收尾、选择器漂移 | | **OpenAI Operator / CUA** | WebVoyager 87% / WebArena 58.1% / OSWorld 38.1% | 托管产品 + CUA API，浏览器优先 | 50 步 | ~$0.15（Pro 摊销） | 敌对反爬站点、OSWorld 仅限浏览器 | | **Anthropic Computer Use** | OSWorld 14.9%→66.3%（人类~72%） | 截图 + 鼠键动作，API 内嵌 | 50 步 | ~$0.08–0.12（token） | 保守默认致慢、动态弹窗 | | **Skyvern 2.0** | Web Bench 写任务领先 | 自有浏览器基建 + 工作流编排 | 50 步 | 订阅/步计费 | 覆盖站点有限 | | **Playwright MCP** | 无统一基准（工具接口） | MCP 工具暴露给任意客户端 | 客户端决定 | 免费 + LLM 成本 | 仅单智能体、无回环 | | **Microsoft Copilot Studio computer use** | 未公开基准 | 企业 M365/Power Platform，CUA+Sonnet 底座 | 平台决定 | Copilot 许可捆绑 | 非 MS 原生工作流弱 | --- ## 深度分析 ### 一、认知架构：look-decide-act-verify 回环 浏览器智能体与"函数调用型"智能体的根本区别在于**动作空间从离散 API 变成了连续像素**。其内核是一个 2026 年趋于稳定、单步准确率从 2025 年中的约 70% 爬到 85–95% 的四拍回环：**look（截图或抓取 DOM/无障碍树）→ decide（视觉/文本模型推理下一步）→ act（输出坐标点击或键入）→ verify（再截一帧确认状态变化）**。 两条感知路线并存：Computer Use 走"纯截图 + 鼠键坐标"，泛化强、抗改版，但要为每一步付视觉 token；browser-use/Skyvern 走"DOM + 无障碍树 + 选择器"，更快更省，但页面一改版选择器就漂移。这种感知方式的差异直接决定了后面的失败模式分布：视觉派卡在"看不清弹窗/点不准坐标"，DOM 派卡在"元素选择器变了找不到按钮"。 ```python # browser-use 极简回环：把任意 LLM 接到真实浏览器 from browser_use import Agent from langchain_openai import ChatOpenAI agent = Agent( task="登录 portal，进入发票页，下载最新一张 PDF", llm=ChatOpenAI(model="gpt-5"), ) await agent.run(max_steps=30) # 步数预算=成本与超时的关键旋钮 ``` **变现评估**：这是 2026 年训练营最热的赛道之一，因为它有"看得见的魔法"——屏幕真的在自己动。但教学陷阱在于：演示永远跑读任务（查航班、比价），把学员的期望值锚定在 89%，上线一碰写任务立刻崩盘。靠谱的训练营必须让学员亲手复现一次"幻觉式收尾"。 ### 二、读任务已近解决：89% 的真相与基准盲区 WebVoyager 上 browser-use 89.1%、Operator 87% 的数字很漂亮，但 Web Bench 团队点破了一个结构性问题：**WebVoyager 只覆盖 643 个任务、15 个站点，且几乎全是"读任务"**——浏览、查找、回答。读任务之所以"已解"，是因为它对**副作用容错**：抓错一个字段，大不了重抓；不涉及任何不可逆操作。 读任务的两大失败源也都很温和：一是**导航障碍**（不会关弹窗、找不到入口），二是**信息抽取错误**（取了缓存值、把相邻字段当目标、表格没滚动完整）。这两类都属于"失败可见、可重试"。所以"读自主、写闸门"成为 2026 年生产部署的共识——读类可以放开让智能体自己跑，写类必须人审。 **关键判断**：如果一个产品的核心场景是"读"（竞品监控、舆情抓取、价格比对），2026 年的浏览器智能体已经够用，可以放手做；如果是"写"（自动下单、自动提交合规表单），请把 89% 这个数字从脑海里删掉。 ### 三、写任务塌方：四大失败模式（本文核心） 写任务（登录、填表、过 2FA、下载）是所有智能体的坟场，Web Bench 显示各家成功率全线低于读任务。深挖后有四类元凶： 1. **幻觉式收尾（incomplete execution）**——最致命。智能体看到一个"像成功"的 UI 状态（加载动画、跳转页、thank-you 页面）就停手，没有真正验证结果。典型现场：点击"提交"后跳出 CAPTCHA 而非确认页，智能体却报告任务完成。这与编程智能体"过度热心"的失败高度同构——聪明模型更爱自作主张宣布胜利。 2. **导航障碍**——cookie 横幅、订阅弹窗、多步模态框在会话中途突然冒出，智能体的指令里没有处理这些"中断"的明文规则，于是卡在障碍物前。 3. **步数超时**——每次跑上限 50 步，喜欢"重复读同一页、反复重试失败点击"的智能体会把预算烧光还到不了终点。 4. **信息抽取错**——到了对的页面却返回错的数据（缓存值、看错字段）。 这四类里，**幻觉式收尾是写任务专属的灾难**：它不是"做错了"，而是"没做完却声称做完"。这恰好是上轮"假成功陷阱"在 GUI 维度的重演——返回值校验在浏览器场景要变成"验证 DOM/截图里的最终状态"。 ### 四、基础设施层：代理、CAPTCHA、鉴权墙——在推理开始之前就死 Web Bench 最反直觉的发现是：**基础设施失败和智能体推理失败几乎同等重要**。很多时候智能体根本没机会"思考"，就在更底层挂了： - **代理墙**：高流量站点主动封数据中心 IP 段，请求被拦在门外，发生在任何推理之前； - **CAPTCHA**：部分验证码专为对抗浏览器级自动化设计，基础设施解不开，智能体一步都动不了； - **登录/鉴权**：Google OAuth 之类的服务会检测"机器人式会话指纹"（新设备、无浏览历史、可疑时序），要么直接拒登，要么掉进人类验证死循环。 这解释了为什么 **Skyvern 把"自带浏览器基建"当成核心卖点**——它发现用 Browserbase 跑反而不如自家基建能访问更多站点、反爬更少。落地启示：**选浏览器智能体不能只看模型分，必须连基建一起评**；一个 89% 的模型跑在会触发 CAPTCHA 的劣质代理上，实际交付率可能不到 50%。 ### 五、三条技术路线：浏览器库 vs 桌面控制 vs MCP-Playwright 2026 年浏览器/桌面操控收敛为三条路线，各自命中不同场景： - **browser-use**（79k+ Star、MIT、Python）——开源、可接任意 LLM（Claude/GPT/Gemini/本地），自托管成本最低，BU 2.0 云版约 200 任务/美元，是原型与自部署首选。 - **Anthropic Computer Use**——不走浏览器选择器，而是**截图+鼠键**直接操控整个桌面，所以 OSWorld（真实虚拟机、369 个桌面任务）从发布时 14.9% 暴涨到 66.3%，距人类约 72–75% 仅差 6 分；适合需要操作桌面应用、读本地文件的场景。 - **Playwright MCP**——把浏览器能力以 MCP 工具暴露给 Claude Desktop/Cursor/Cline 等任意客户端，免费、生态原生，但默认单智能体、无回环，适合"让编码智能体顺手查个网页"。 OpenAI Operator 已于 2025-08-31 关停独立站，并入 ChatGPT agent + CUA API；Operator 的 OSWorld 仅 38.1%，因为它**只控浏览器、不控整个桌面**，在桌面任务上天然吃亏。选型一句话：**消费级自主用 ChatGPT agent/CUA、嵌入式生产用 Computer Use、自托管开源用 browser-use、MCP 客户端用 Playwright MCP、企业 M365 用 Copilot Studio**。 ### 六、成本与步数税：从 $5 到 $0.30 的 5–10 倍下落 2026 年浏览器智能体真正"能上生产"的推手是**成本 5–10 倍跳水**：2024 年约 $5/任务的同质量工作，2026 年中降到 $0.30–1.00。原因是小模型（GPT-5 mini、Claude Haiku 4.5）便宜到足以驱动每一步推理，而 browser-use 的 200 任务/美元让"批量夜间跑"第一次经济上成立。 但成本模型藏在**步数**里：多数智能体的成本随"页面扫描次数"线性增长。问题在于——**急于解题的智能体会用大量步数去错误地自救**（比如去找在线客服聊天而非提前终止）；而**悲观防幻觉的智能体**会因为一次页面变化（填了个邮编）就整批作废重规划。两者都在烧步数。生产上还有一个铁律指标：**任务抖动率（flake rate）——5% 算优秀，20% 说明你的选择器/页面逻辑太脆**，这时该回头修基建和选择器，而不是换模型。 ### 七、安全模型：把浏览器智能体当"不可信代码" 浏览器智能体触碰的是真实系统、真实账号、真实付款，安全模型必须前置，2026 年的共识有三层： 1. **读自主 / 写闸门**——读类任务放手跑，写类（表单提交、付款）必须挂人审队列； 2. **临时容器 + 严格出网**——跑在无状态容器里，网络出口严格限制，无权访问目标站点以外任何东西； 3. **不可信代码心态**——把浏览器智能体当成"在你环境里执行的不可信代码"，因为**提示注入（prompt injection）**是头号攻击面：恶意网页可以在 DOM 里植入指令劫持智能体。OpenAI、Anthropic 2026 年都发布了硬化沙箱与注入缓解层，但"把读到的不受信内容当指令执行"这个根本张力仍在。 ```python # 生产模式：读自主、写需审批（伪代码） if task.is_write: # 含提交/付款等副作用 await human_approval_queue.enqueue(task) else: # 纯读取 await run_in_ephemeral_container(task, egress=ALLOWLIST) ``` --- ## 浏览器智能体系统架构 ```mermaid flowchart TD U[用户目标
登录/填表/下载] --> S{任务类型} S -->|读任务| RR[自主执行] S -->|写任务| RW[人审闸门] RR --> RT[临时容器+出网白名单] RW -->|批准| RT RT --> LOOP subgraph LOOP[look-decide-act-verify 回环] L1[截屏/抓DOM无障碍树] --> L2[LLM 推理下一步] L2 --> L3[点击/键入动作] L3 --> L4[再截一帧验证] L4 -->|未完成| L2 end LOOP --> CHK{是否真正完成?} CHK -->|幻觉收尾/超时| FAIL[失败归因] CHK -->|验证通过| OK[结果写入DB] FAIL --> F1[智能体失败] FAIL --> F2[基础设施失败] F1 --> FA1[导航/弹窗] F1 --> FA2[幻觉式收尾] F1 --> FA3[50步超时] F1 --> FA4[抽取错值] F2 --> FB1[代理墙] F2 --> FB2[CAPTCHA] F2 --> FB3[鉴权/反爬] ``` --- ## 推荐方案（按场景） - **竞品监控/舆情/比价（读为主）**：browser-use 自托管或 BU 2.0 云版，成本最低；读任务可放手自主跑，搭配夜间批量。 - **登录供应商门户、下载发票/报表（写+鉴权）**：Skyvern（自带基建、原生 2FA/TOTP 处理）或 Computer Use，务必加写闸门；接受 5–20% 的 flake，做重试兜底。 - **操作桌面应用/读本地文件（非浏览器）**：Anthropic Computer Use，OSWorld 66.3% 是当前天花板；不要用 Operator/CUA（仅浏览器，38.1%）。 - **让 Cursor/Claude Desktop 顺手查网页**：Playwright MCP，免费、生态原生。 - **企业 M365/Power Platform 自动化**：Microsoft Copilot Studio computer use（2026 GA，底层 CUA+Sonnet）。 - **高并发、结构化、无 API 也能干的长尾集成**：browser-use Cloud（200 任务/美元）做"6 个门户巡检对账"这类活。 **给训练营/产品方的提醒**：演示永远跑读任务会埋下巨大期望差；一个负责任的浏览器智能体课，必须让学员亲手复现"提交按钮跳出 CAPTCHA、智能体却报告完成"这个幻觉式收尾，并把"读自主/写闸门 + 验证最终 DOM 状态"当成毕业标准。结构化重复高量任务，传统 RPA 仍胜——别为了"AI 化"而 AI 化。 ## 参考来源 1. [Web Bench: A Fresh Approach to Comparing AI Browser Agents — Skyvern](https://www.skyvern.com/blog/web-bench-a-new-way-to-compare-ai-browser-agents/) — 5750 任务/452 站点的新基准，读写分离，提出四类智能体失败+三类基建失败 2. [Browser Agents 2026: Operator vs Computer Use vs Browser Use — Web3 AI Blog](https://www.web3aiblog.com/blog/browser-agents-battle-operator-vs-claude-computer-use-vs-browser-use-may-2026) — 2026.05 三方实测，Computer Use 成功率领先、Operator 消费级体验最佳、browser-use 最省最可控 3. [Browser Agents in 2026: Computer Use vs Operator vs browser-use — CallSphere](https://callsphere.ai/blog/vw1g-browser-agents-computer-use-operator-browseruse) — 具体分数：browser-use BU 2.0 WebVoyager 89.1%、Operator 87%/WebArena 58.1%、OSWorld 14.9%→66.3% 4. [AI Browser Automation in 2026 — ZTABS](https://ztabs.co/blog/ai-browser-automation-2026) — 生产落地路线图与"读自主/写闸门"安全模型，Operator 并入 ChatGPT agent 时间线 5. [OSWorld: Benchmarking Multimodal Agents — xlang-ai/OSWorld (NeurIPS 2024)](https://github.com/xlang-ai/OSWorld) — 真实虚拟机桌面任务基准（369 任务），浏览器 vs 桌面操控能力分界依据 --- > 本文由「51学通信」原创出品，站长爱卫生（微信：gprshome201101）。聚焦自主智能体在真实浏览器/桌面环境中的落地实测，下一篇将切入多智能体协作的最新架构模式。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。