## 概述 2026年最热的Agent赛道不是后端编排，而是**计算机操控（Computer Use / GUI Agent）**——让模型像人一样看屏幕、点鼠标、敲键盘，去驱动那些没有API的遗留系统、SaaS后台和桌面软件。这条赛道已分裂为两派根本不同的技术路线：**DOM/无障碍树派**（Browser Use、Stagehand、Gemini）读结构化页面，便宜且确定；**视觉派**（Skyvern、Claude、OpenAI Codex）读像素，抗改版但贵。本文横评六栈，并以行业公尺OSWorld基准（369个真实OS任务）拆解harness设计如何把同一个模型从25分拉到40分以上。核心结论：**框架只是入场券，perception选型决定可靠性上限，harness质量决定下限**。 ## 六栈多维度对比 | 框架/工具 | Star/版本 | 感知方式 | 确定性 | 上手难度 | 变现潜力 | 最适合场景 | |----------|----------|---------|--------|---------|---------|-----------| | **Browser Use** | 77.8k★，Python | DOM+无障碍树 | 低（LLM每步决策） | 极低，给目标即跑 | 中高，爬虫/数据服务 | 探索性任务、快速原型 | | **Stagehand** | 20k★，TypeScript | DOM（Playwright内核） | 高，可降级到显式代码 | 低（懂Playwright即可） | 高，自动化测试aaS | 需重复万次的生产流程 | | **Skyvern** | 7k★，Python | 视觉+LLM | 中，推理波动 | 中高，调参多 | 高，RPA替代 | UI频繁改版、反爬目标 | | **Claude Computer Use** | 官方，Opus 4.7 | 截图+鼠标键盘 | 中，跨OS一致 | 高，需自建harness | 极高，跨平台交付 | Docker/VM/远程Mac全平台 | | **Codex Background CU** | 官方，2026-04-16 | macOS原生截图 | 中高，会话隔离 | 极低，零配置 | 高，Mac开发者市场 | macOS后台并行多Agent | | **Gemini Computer Use** | 官方，源自Mariner | DOM+ARIA+事件 | 高（结构化） | 中 | 中高，营销自动化 | 浏览器内SaaS工作流 | > 注：Star数据为2026年6月公开快照；OSWorld基准人类约72分，2026年5月前沿模型区间35–45分。 --- ## 深度分析 ### 一、Browser Use：开源霸主，LLM全权驾驶 Browser Use以**7.78万Star**稳居开源GUI Agent头把交椅，采用Python生态，核心理念是"把浏览器完全交给LLM"。它的Agent Loop读DOM与无障碍树，由模型在每个循环决定下一步动作（click/type/scroll/navigate），开发者只需声明目标。 ```python from browser_use import Agent from langchain_openai import ChatOpenAI agent = Agent( task="登录某SaaS后台，导出上月销售明细为CSV并下载", llm=ChatOpenAI(model="gpt-4.1"), ) await agent.run() ``` **优点**：上手门槛极低，几行代码即可跑通；活跃社区贡献大量浏览器profile与反检测策略；天然适合长程探索任务。**缺点**是确定性的反面——两次跑同一任务路径可能完全不同，线上排障需重建模型当时的决策链。**变现评估**：最适合包装成数据抓取服务、价格监控、舆情采集训练营，单客户年费可做到数万元；但生产环境重复执行万次的场景应迁往Stagehand。 ### 二、Stagehand：确定性回归，Playwright外壳裹自然语言 Stagehand（约2万Star）是TypeScript框架，定位精准——**在Playwright之上叠加自然语言动作**。它解决的是Browser Use的痛点：既享受"说人话定位元素"的灵活性，又能在关键步骤降级到显式Playwright代码锁死行为。 ```typescript import { Stagehand } from "@browserbasehq/stagehand"; const stagehand = new Stagehand({ env: "LOCAL" }); await stagehand.init(); await stagehand.page.goto("https://admin.example.com"); // 模糊处用自然语言 await stagehand.page.act("点击右上角的导出按钮"); // 关键处用确定性代码 await stagehand.page.locator("#download-csv").click(); ``` **架构精髓**在于"混合粒度"：自然语言路径处理页面歧义，显式选择器保障可复现与可调试。**优点**：对懂Playwright的团队几乎零学习成本，run可重复、可单步调试，是六栈中最适合SaaS化的。**缺点**：依赖相对稳定的DOM结构，目标大改版时仍需人工补选择器。**变现评估**：是构建"自动化测试aaS""表单批量填写SaaS"的最佳内核，reliability可写入SLA，客单价与续费率均高于Browser Use方案。 ### 三、Skyvern：视觉派的抗改版赌注 Skyvern走了另一条路——**纯视觉+LLM推理**，不依赖选择器和DOM结构，而是像人一样"看"渲染后的页面。这一选择使其在面对频繁改版、A/B测试、反爬站点时表现出远超DOM派的韧性。 **优点**：布局无关（layout-independent），当目标站点重排标记或上线新设计时，视觉Agent仍能找到正确控件；对Canvas、Flash、复杂动态渲染友好。**缺点**明显：每步推理开销大、延迟高、token成本高；调参与视觉提示工程门槛高，初期产出不稳定。 ```python # Skyvern核心理念：给定目标，视觉推理自动规划 # 典型用法是通过其API/CLI提交任务描述与URL ``` **变现评估**：是替代传统RPA（UiPath类）最有潜力的开源栈，尤其适合保险理赔表单、政府申报系统等UI频繁变动且无API的场景；缺点是单任务成本高，需通过缓存规划与批量调度摊薄。 ### 四、Claude Computer Use：便携式工具调用，跨OS自由 Anthropic的策略是**把Computer Use做成一个通用工具**而非独立产品：开发者通过标准Messages API传入computer use工具定义，Claude返回结构化动作（点击坐标、按键序列、滚动方向），运行时执行后回传新截图。Agent Loop由调用方负责。Claude Opus 4.7（2026-04-16发布）首次在Mythos级模型上启用Computer Use，并将视觉分辨率提升至**2,576像素**，对密集截图的解读能力大幅增强。 ```python # 概念示意：Claude Computer Use工具循环 import anthropic client = anthropic.Anthropic() # 传入computer_20250124工具定义 → Claude返回click(x,y)/type # 执行动作 → 截图 → 回传 → 进入下一轮（循环由开发者控制） ``` **优点**：跨OS便携——Linux VM、Windows桌面、Docker容器、远程Mac mini over VNC皆可驱动；审批循环（approval loop）语义一等公民；通过AWS Bedrock、Vertex AI、Microsoft Foundry供企业部署。**缺点**是便携性的代价：需自建或采纳harness、管理屏幕流、沙箱化运行时、自持审批逻辑，运维面比OpenAI方案大。**变现评估**：最适合做跨平台交付型Agent（如远程运维、跨OS自动化测试矩阵），客单价最高，但需具备infra能力。 ### 五、OpenAI Codex Background Computer Use：macOS原生，零配置并行 2026年4月16日，OpenAI随"Codex for almost everything"发布**Codex Background Computer Use**，这是其首个主流桌面原生Computer Use产品。它运行Codex Agent于独立桌面会话中，与工程师主工作站隔离并行——工程师继续干活，Codex在后台驱动独立macOS环境（开应用、浏览、改文件、操作GUI），并支持**多个并发会话**，可同时派发半打Agent处理长任务。 **优点**：零配置，继承了ChatGPT Enterprise的SSO、审计日志、数据驻留；后台非阻塞、会话隔离。**缺点**：macOS优先，Windows/Linux桌面自动化仍需转向Claude；harness与Codex运行时紧耦合，灵活性低于Claude。**变现评估**：面向Mac开发者市场的"后台Agent外包"服务极具想象空间——批量并发跑桌面任务（数据录入、报表生成、本地文件批处理），按并发会话或任务计费。 ### 六、Gemini Computer Use：浏览器锚定，DOM感知为王 Google的路线更安静也更专精。Gemini Computer Use脱胎于**Project Mariner**浏览器自动化研究，坚持以浏览器为主战场。它不只截图点击，而是**查询DOM表单字段、读ARIA角色、检查CSS选择器、直接触发合成事件**，在结构化Web工作流上优势明显。 **优点**：营销看板、广告管理、CRM、分析平台、电商后台等SaaS场景可靠性远超纯像素方案；事件级驱动更干净。**缺点**：浏览器锚定既是优势也是天花板——无Web界面的原生桌面应用、复杂创意软件、遗留Windows应用超出其甜区，应转向Claude（跨平台）或Codex（macOS）。**变现评估**：营销自动化（投放管理、报表拉取）是天然赛道，可做成垂直SaaS。 ### 七、OSWorld基准与Harness工程：25分到40分的鸿沟 六栈之争的真正分水岭不在模型，而在**harness**。OSWorld（HKU+Salesforce+CMU，2024，arXiv:2404.07972）是当前最难、最真实的Agent基准——369个真实Ubuntu桌面任务，跨办公、浏览器、文件、代码、图像、终端六大类，用键鼠动作驱动真实应用，程序化校验成功（无LLM-as-judge）。 其SOTA演进揭示了一条工程铁律： | 时间 | 分数 | 关键增量 | |------|------|---------| | 2024-04 | 12.2% | GPT-4V基线，单shot harness | | 2024-10 | 22% | +Set-of-Marks标注、规划循环（+8-10分） | | 2025-03 | 30% | 前沿闭源模型交替领先 | | 2025-10 | 38% | 多Agent + 自验证scaffold（+5-6分） | | 2026-05 | 35-45% | harness敏感区间，人类仍~72% | **同一个底层模型**：基线harness约25分，叠加四要素后可达40分+。四要素为：①**Set-of-Marks（SoM）标注**——在截图UI元素上叠加编号框，模型按索引引用而非给坐标，单独贡献5–8分；②**规划循环**——分解子目标，失败重规划；③**动作验证**——每步动作后重新截图核对预期变化；④**OCR叠加**——在视觉grounding之外补文本内容通道。**实战启示**：自建Computer Use的团队，harness投入的ROI远高于换更贵的模型——这是2026年GUI Agent赛道最被低估的工程杠杆。 --- ## 架构图：感知谱系与Agent Loop ```mermaid flowchart LR subgraph Perception["感知谱系（决定可靠性上限）"] direction LR DOM["DOM/无障碍树派
便宜·确定·抗不了改版"]:::dom VISION["视觉/像素派
贵·抗改版·需harness"]:::vis DOM -.->|"Stagehand Browser Use Gemini"| VISION end subgraph Loop["Computer Use Agent Loop（决定下限）"] T1["截图/DOM快照"] --> T2["Set-of-Marks标注
+ OCR叠加"] T2 --> T3["VLM/LLM推理
规划子目标"] T3 --> T4["输出动作
click/type/scroll"] T4 --> T5["运行时执行
沙箱/远程桌面"] T5 --> T6["动作验证
重新截图核对"] T6 -->|"未达成"| T2 T6 -->|"已达成"| T7["程序化成功校验"] end Perception ==> Loop classDef dom fill:#dbeafe,stroke:#2563eb,color:#1e3a8a classDef vis fill:#fef3c7,stroke:#d97706,color:#78350f ``` ## 推荐方案（按约束选型） **按目标UI稳定性选感知派**： - 目标稳定、需重复万次 → **Stagehand**（DOM派，可调试可复现） - 目标频繁改版、反爬强 → **Skyvern**（视觉派，布局无关） - 探索性/一次性、求快 → **Browser Use**（最低门槛） **按操作系统锚点选厂商栈**： - 跨平台交付（Linux/Win/Mac/容器）→ **Claude Computer Use**（便携工具调用） - macOS开发者后台并行 → **Codex Background Computer Use**（零配置并发） - 纯浏览器内SaaS工作流 → **Gemini Computer Use**（DOM+ARIA感知） **按工程能力分层**： - 团队有infra能力、追求最高客单价 → Claude + 自建四要素harness - 求快速SaaS化、写进SLA → Stagehand内核 - 预算敏感、做数据服务 → Browser Use + 住宅IP出口 **避坑提醒**：框架只解决"页面加载后做什么"，而**网络层决定页面能否加载**。脱离单机单IP后，住宅IP在受保护站点成功率约85–99%，数据中心IP仅20–40%——这是GUI Agent落地最常被忽视的瓶颈，任何框架都无法弥补。Gartner预测2026年底40%企业应用将内置任务型Agent（2025年不足5%），但能稳定交付的，永远是perception选型+harness质量+网络出口三者齐备的栈。 ## 参考来源 1. [Browser Agent Frameworks Compared: Browser Use vs Stagehand vs Skyvern — ByteTunnels](https://bytetunnels.com/posts/browser-agent-frameworks-compared-browser-use-vs-stagehand-vs-skyvern/) — 三大开源浏览器Agent框架设计哲学与适配场景对比 2. [Browser-use vs Stagehand vs Skyvern: Choosing an Agent Browser Framework — Massive](https://www.joinmassive.com/blog/browser-use-vs-stagehand-vs-skyvern-choosing-an-agent-browser-framework) — 感知轴（DOM驱动 vs 视觉驱动）决定后续痛点的实践者视角 3. [OSWorld Benchmark 2026: Computer-Use Agents, Methodology, 2026 SOTA — Benchmarking Agents Review](https://benchmarkingagents.com/osworld/) — 369任务真实OS基准、SOTA演进与harness四要素工程拆解 4. [Computer Use Agents 2026: Claude vs OpenAI vs Gemini — Digital Applied](https://www.digitalapplied.com/blog/computer-use-agents-2026-claude-openai-gemini-matrix) — 三大厂商架构赌局、OSWorld-Verified与任务类别可靠性矩阵 5. [OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments — arXiv:2404.07972](https://os-world.github.io/) — OSWorld原始论文与基准官方主页（HKU+Salesforce+CMU） > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。