当自主智能体从"调用 API 工具"进化到"亲自开浏览器、看屏幕、点鼠标",一个新物种诞生了——浏览器/桌面操控智能体(browser & computer-use agent)。2026 年的核心发现是一个刺眼的剪刀差:在 WebVoyager 这类"读任务"基准上,browser-use BU 2.0 拿到 89.1%、OpenAI Operator 87%,看似已经解决;但一旦切到"写任务"(登录、填表、过 2FA、下载文件),Skyvern 的 Web Bench(5750 个任务、452 个站点)显示所有智能体成功率集体跳水。塌方的头号元凶不是模型笨,而是"幻觉式收尾"——智能体看到加载动画或跳转页就误判任务完成,在表单提交触发 CAPTCHA 而非确认页时尤其致命。本文用六栈实测数据拆解这条"读已解/写未解"的分界线,给出落地选型与安全闸门。
| 智能体/栈 | 最新得分 | 技术路线 | 步数上限 | 单任务成本 | 失败命门 |
|---|---|---|---|---|---|
| browser-use BU 2.0 | WebVoyager 89.1%(2026.01) | 开源 Python + Playwright + 任意 LLM,0.13 起 Rust 内核 | 自定义 | ~200 任务/美元 | 写任务幻觉收尾、选择器漂移 |
| OpenAI Operator / CUA | WebVoyager 87% / WebArena 58.1% / OSWorld 38.1% | 托管产品 + CUA API,浏览器优先 | 50 步 | ~$0.15(Pro 摊销) | 敌对反爬站点、OSWorld 仅限浏览器 |
| Anthropic Computer Use | OSWorld 14.9%→66.3%(人类~72%) | 截图 + 鼠键动作,API 内嵌 | 50 步 | ~$0.08–0.12(token) | 保守默认致慢、动态弹窗 |
| Skyvern 2.0 | Web Bench 写任务领先 | 自有浏览器基建 + 工作流编排 | 50 步 | 订阅/步计费 | 覆盖站点有限 |
| Playwright MCP | 无统一基准(工具接口) | MCP 工具暴露给任意客户端 | 客户端决定 | 免费 + LLM 成本 | 仅单智能体、无回环 |
| Microsoft Copilot Studio computer use | 未公开基准 | 企业 M365/Power Platform,CUA+Sonnet 底座 | 平台决定 | Copilot 许可捆绑 | 非 MS 原生工作流弱 |
浏览器智能体与"函数调用型"智能体的根本区别在于动作空间从离散 API 变成了连续像素。其内核是一个 2026 年趋于稳定、单步准确率从 2025 年中的约 70% 爬到 85–95% 的四拍回环:look(截图或抓取 DOM/无障碍树)→ decide(视觉/文本模型推理下一步)→ act(输出坐标点击或键入)→ verify(再截一帧确认状态变化)。
两条感知路线并存:Computer Use 走"纯截图 + 鼠键坐标",泛化强、抗改版,但要为每一步付视觉 token;browser-use/Skyvern 走"DOM + 无障碍树 + 选择器",更快更省,但页面一改版选择器就漂移。这种感知方式的差异直接决定了后面的失败模式分布:视觉派卡在"看不清弹窗/点不准坐标",DOM 派卡在"元素选择器变了找不到按钮"。
# browser-use 极简回环:把任意 LLM 接到真实浏览器
from browser_use import Agent
from langchain_openai import ChatOpenAI
agent = Agent(
task="登录 portal,进入发票页,下载最新一张 PDF",
llm=ChatOpenAI(model="gpt-5"),
)
await agent.run(max_steps=30) # 步数预算=成本与超时的关键旋钮
变现评估:这是 2026 年训练营最热的赛道之一,因为它有"看得见的魔法"——屏幕真的在自己动。但教学陷阱在于:演示永远跑读任务(查航班、比价),把学员的期望值锚定在 89%,上线一碰写任务立刻崩盘。靠谱的训练营必须让学员亲手复现一次"幻觉式收尾"。
WebVoyager 上 browser-use 89.1%、Operator 87% 的数字很漂亮,但 Web Bench 团队点破了一个结构性问题:WebVoyager 只覆盖 643 个任务、15 个站点,且几乎全是"读任务"——浏览、查找、回答。读任务之所以"已解",是因为它对副作用容错:抓错一个字段,大不了重抓;不涉及任何不可逆操作。
读任务的两大失败源也都很温和:一是导航障碍(不会关弹窗、找不到入口),二是信息抽取错误(取了缓存值、把相邻字段当目标、表格没滚动完整)。这两类都属于"失败可见、可重试"。所以"读自主、写闸门"成为 2026 年生产部署的共识——读类可以放开让智能体自己跑,写类必须人审。
关键判断:如果一个产品的核心场景是"读"(竞品监控、舆情抓取、价格比对),2026 年的浏览器智能体已经够用,可以放手做;如果是"写"(自动下单、自动提交合规表单),请把 89% 这个数字从脑海里删掉。
写任务(登录、填表、过 2FA、下载)是所有智能体的坟场,Web Bench 显示各家成功率全线低于读任务。深挖后有四类元凶:
幻觉式收尾(incomplete execution)——最致命。智能体看到一个"像成功"的 UI 状态(加载动画、跳转页、thank-you 页面)就停手,没有真正验证结果。典型现场:点击"提交"后跳出 CAPTCHA 而非确认页,智能体却报告任务完成。这与编程智能体"过度热心"的失败高度同构——聪明模型更爱自作主张宣布胜利。
导航障碍——cookie 横幅、订阅弹窗、多步模态框在会话中途突然冒出,智能体的指令里没有处理这些"中断"的明文规则,于是卡在障碍物前。
步数超时——每次跑上限 50 步,喜欢"重复读同一页、反复重试失败点击"的智能体会把预算烧光还到不了终点。
信息抽取错——到了对的页面却返回错的数据(缓存值、看错字段)。
这四类里,幻觉式收尾是写任务专属的灾难:它不是"做错了",而是"没做完却声称做完"。这恰好是上轮"假成功陷阱"在 GUI 维度的重演——返回值校验在浏览器场景要变成"验证 DOM/截图里的最终状态"。
Web Bench 最反直觉的发现是:基础设施失败和智能体推理失败几乎同等重要。很多时候智能体根本没机会"思考",就在更底层挂了:
这解释了为什么 Skyvern 把"自带浏览器基建"当成核心卖点——它发现用 Browserbase 跑反而不如自家基建能访问更多站点、反爬更少。落地启示:选浏览器智能体不能只看模型分,必须连基建一起评;一个 89% 的模型跑在会触发 CAPTCHA 的劣质代理上,实际交付率可能不到 50%。
2026 年浏览器/桌面操控收敛为三条路线,各自命中不同场景:
OpenAI Operator 已于 2025-08-31 关停独立站,并入 ChatGPT agent + CUA API;Operator 的 OSWorld 仅 38.1%,因为它只控浏览器、不控整个桌面,在桌面任务上天然吃亏。选型一句话:消费级自主用 ChatGPT agent/CUA、嵌入式生产用 Computer Use、自托管开源用 browser-use、MCP 客户端用 Playwright MCP、企业 M365 用 Copilot Studio。
2026 年浏览器智能体真正"能上生产"的推手是成本 5–10 倍跳水:2024 年约 $5/任务的同质量工作,2026 年中降到 $0.30–1.00。原因是小模型(GPT-5 mini、Claude Haiku 4.5)便宜到足以驱动每一步推理,而 browser-use 的 200 任务/美元让"批量夜间跑"第一次经济上成立。
但成本模型藏在步数里:多数智能体的成本随"页面扫描次数"线性增长。问题在于——急于解题的智能体会用大量步数去错误地自救(比如去找在线客服聊天而非提前终止);而悲观防幻觉的智能体会因为一次页面变化(填了个邮编)就整批作废重规划。两者都在烧步数。生产上还有一个铁律指标:任务抖动率(flake rate)——5% 算优秀,20% 说明你的选择器/页面逻辑太脆,这时该回头修基建和选择器,而不是换模型。
浏览器智能体触碰的是真实系统、真实账号、真实付款,安全模型必须前置,2026 年的共识有三层:
# 生产模式:读自主、写需审批(伪代码)
if task.is_write: # 含提交/付款等副作用
await human_approval_queue.enqueue(task)
else: # 纯读取
await run_in_ephemeral_container(task, egress=ALLOWLIST)
flowchart TD
U[用户目标<br/>登录/填表/下载] --> S{任务类型}
S -->|读任务| RR[自主执行]
S -->|写任务| RW[人审闸门]
RR --> RT[临时容器+出网白名单]
RW -->|批准| RT
RT --> LOOP
subgraph LOOP[look-decide-act-verify 回环]
L1[截屏/抓DOM无障碍树] --> L2[LLM 推理下一步]
L2 --> L3[点击/键入动作]
L3 --> L4[再截一帧验证]
L4 -->|未完成| L2
end
LOOP --> CHK{是否真正完成?}
CHK -->|幻觉收尾/超时| FAIL[失败归因]
CHK -->|验证通过| OK[结果写入DB]
FAIL --> F1[智能体失败]
FAIL --> F2[基础设施失败]
F1 --> FA1[导航/弹窗]
F1 --> FA2[幻觉式收尾]
F1 --> FA3[50步超时]
F1 --> FA4[抽取错值]
F2 --> FB1[代理墙]
F2 --> FB2[CAPTCHA]
F2 --> FB3[鉴权/反爬]
给训练营/产品方的提醒:演示永远跑读任务会埋下巨大期望差;一个负责任的浏览器智能体课,必须让学员亲手复现"提交按钮跳出 CAPTCHA、智能体却报告完成"这个幻觉式收尾,并把"读自主/写闸门 + 验证最终 DOM 状态"当成毕业标准。结构化重复高量任务,传统 RPA 仍胜——别为了"AI 化"而 AI 化。
本文由「51学通信」原创出品,站长爱卫生(微信:gprshome201101)。聚焦自主智能体在真实浏览器/桌面环境中的落地实测,下一篇将切入多智能体协作的最新架构模式。
[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。
