概述

2026年最热的Agent赛道不是后端编排，而是计算机操控（Computer Use / GUI Agent）——让模型像人一样看屏幕、点鼠标、敲键盘，去驱动那些没有API的遗留系统、SaaS后台和桌面软件。这条赛道已分裂为两派根本不同的技术路线：DOM/无障碍树派（Browser Use、Stagehand、Gemini）读结构化页面，便宜且确定；视觉派（Skyvern、Claude、OpenAI Codex）读像素，抗改版但贵。本文横评六栈，并以行业公尺OSWorld基准（369个真实OS任务）拆解harness设计如何把同一个模型从25分拉到40分以上。核心结论：框架只是入场券，perception选型决定可靠性上限，harness质量决定下限。

六栈多维度对比

注：Star数据为2026年6月公开快照；OSWorld基准人类约72分，2026年5月前沿模型区间35–45分。

深度分析

一、Browser Use：开源霸主，LLM全权驾驶

Browser Use以7.78万Star稳居开源GUI Agent头把交椅，采用Python生态，核心理念是"把浏览器完全交给LLM"。它的Agent Loop读DOM与无障碍树，由模型在每个循环决定下一步动作（click/type/scroll/navigate），开发者只需声明目标。

from browser_use import Agent
from langchain_openai import ChatOpenAI

agent = Agent(
    task="登录某SaaS后台，导出上月销售明细为CSV并下载",
    llm=ChatOpenAI(model="gpt-4.1"),
)
await agent.run()

优点：上手门槛极低，几行代码即可跑通；活跃社区贡献大量浏览器profile与反检测策略；天然适合长程探索任务。缺点是确定性的反面——两次跑同一任务路径可能完全不同，线上排障需重建模型当时的决策链。变现评估：最适合包装成数据抓取服务、价格监控、舆情采集训练营，单客户年费可做到数万元；但生产环境重复执行万次的场景应迁往Stagehand。

二、Stagehand：确定性回归，Playwright外壳裹自然语言

Stagehand（约2万Star）是TypeScript框架，定位精准——在Playwright之上叠加自然语言动作。它解决的是Browser Use的痛点：既享受"说人话定位元素"的灵活性，又能在关键步骤降级到显式Playwright代码锁死行为。

import { Stagehand } from "@browserbasehq/stagehand";

const stagehand = new Stagehand({ env: "LOCAL" });
await stagehand.init();
await stagehand.page.goto("https://admin.example.com");

// 模糊处用自然语言
await stagehand.page.act("点击右上角的导出按钮");
// 关键处用确定性代码
await stagehand.page.locator("#download-csv").click();

架构精髓在于"混合粒度"：自然语言路径处理页面歧义，显式选择器保障可复现与可调试。优点：对懂Playwright的团队几乎零学习成本，run可重复、可单步调试，是六栈中最适合SaaS化的。缺点：依赖相对稳定的DOM结构，目标大改版时仍需人工补选择器。变现评估：是构建"自动化测试aaS""表单批量填写SaaS"的最佳内核，reliability可写入SLA，客单价与续费率均高于Browser Use方案。

三、Skyvern：视觉派的抗改版赌注

Skyvern走了另一条路——纯视觉+LLM推理，不依赖选择器和DOM结构，而是像人一样"看"渲染后的页面。这一选择使其在面对频繁改版、A/B测试、反爬站点时表现出远超DOM派的韧性。

优点：布局无关（layout-independent），当目标站点重排标记或上线新设计时，视觉Agent仍能找到正确控件；对Canvas、Flash、复杂动态渲染友好。缺点明显：每步推理开销大、延迟高、token成本高；调参与视觉提示工程门槛高，初期产出不稳定。

# Skyvern核心理念：给定目标，视觉推理自动规划
# 典型用法是通过其API/CLI提交任务描述与URL

变现评估：是替代传统RPA（UiPath类）最有潜力的开源栈，尤其适合保险理赔表单、政府申报系统等UI频繁变动且无API的场景；缺点是单任务成本高，需通过缓存规划与批量调度摊薄。

四、Claude Computer Use：便携式工具调用，跨OS自由

Anthropic的策略是把Computer Use做成一个通用工具而非独立产品：开发者通过标准Messages API传入computer use工具定义，Claude返回结构化动作（点击坐标、按键序列、滚动方向），运行时执行后回传新截图。Agent Loop由调用方负责。Claude Opus 4.7（2026-04-16发布）首次在Mythos级模型上启用Computer Use，并将视觉分辨率提升至2,576像素，对密集截图的解读能力大幅增强。

# 概念示意：Claude Computer Use工具循环
import anthropic
client = anthropic.Anthropic()
# 传入computer_20250124工具定义 → Claude返回click(x,y)/type
# 执行动作 → 截图 → 回传 → 进入下一轮（循环由开发者控制）

优点：跨OS便携——Linux VM、Windows桌面、Docker容器、远程Mac mini over VNC皆可驱动；审批循环（approval loop）语义一等公民；通过AWS Bedrock、Vertex AI、Microsoft Foundry供企业部署。缺点是便携性的代价：需自建或采纳harness、管理屏幕流、沙箱化运行时、自持审批逻辑，运维面比OpenAI方案大。变现评估：最适合做跨平台交付型Agent（如远程运维、跨OS自动化测试矩阵），客单价最高，但需具备infra能力。

五、OpenAI Codex Background Computer Use：macOS原生，零配置并行

2026年4月16日，OpenAI随"Codex for almost everything"发布Codex Background Computer Use，这是其首个主流桌面原生Computer Use产品。它运行Codex Agent于独立桌面会话中，与工程师主工作站隔离并行——工程师继续干活，Codex在后台驱动独立macOS环境（开应用、浏览、改文件、操作GUI），并支持多个并发会话，可同时派发半打Agent处理长任务。

优点：零配置，继承了ChatGPT Enterprise的SSO、审计日志、数据驻留；后台非阻塞、会话隔离。缺点：macOS优先，Windows/Linux桌面自动化仍需转向Claude；harness与Codex运行时紧耦合，灵活性低于Claude。变现评估：面向Mac开发者市场的"后台Agent外包"服务极具想象空间——批量并发跑桌面任务（数据录入、报表生成、本地文件批处理），按并发会话或任务计费。

六、Gemini Computer Use：浏览器锚定，DOM感知为王

Google的路线更安静也更专精。Gemini Computer Use脱胎于Project Mariner浏览器自动化研究，坚持以浏览器为主战场。它不只截图点击，而是查询DOM表单字段、读ARIA角色、检查CSS选择器、直接触发合成事件，在结构化Web工作流上优势明显。

优点：营销看板、广告管理、CRM、分析平台、电商后台等SaaS场景可靠性远超纯像素方案；事件级驱动更干净。缺点：浏览器锚定既是优势也是天花板——无Web界面的原生桌面应用、复杂创意软件、遗留Windows应用超出其甜区，应转向Claude（跨平台）或Codex（macOS）。变现评估：营销自动化（投放管理、报表拉取）是天然赛道，可做成垂直SaaS。

七、OSWorld基准与Harness工程：25分到40分的鸿沟

六栈之争的真正分水岭不在模型，而在harness。OSWorld（HKU+Salesforce+CMU，2024，arXiv:2404.07972）是当前最难、最真实的Agent基准——369个真实Ubuntu桌面任务，跨办公、浏览器、文件、代码、图像、终端六大类，用键鼠动作驱动真实应用，程序化校验成功（无LLM-as-judge）。

其SOTA演进揭示了一条工程铁律：

同一个底层模型：基线harness约25分，叠加四要素后可达40分+。四要素为：①Set-of-Marks（SoM）标注——在截图UI元素上叠加编号框，模型按索引引用而非给坐标，单独贡献5–8分；②规划循环——分解子目标，失败重规划；③动作验证——每步动作后重新截图核对预期变化；④OCR叠加——在视觉grounding之外补文本内容通道。实战启示：自建Computer Use的团队，harness投入的ROI远高于换更贵的模型——这是2026年GUI Agent赛道最被低估的工程杠杆。

架构图：感知谱系与Agent Loop

flowchart LR
    subgraph Perception["感知谱系（决定可靠性上限）"]
        direction LR
        DOM["DOM/无障碍树派<br/>便宜·确定·抗不了改版"]:::dom
        VISION["视觉/像素派<br/>贵·抗改版·需harness"]:::vis
        DOM -.->|"Stagehand Browser Use Gemini"| VISION
    end

    subgraph Loop["Computer Use Agent Loop（决定下限）"]
        T1["截图/DOM快照"] --> T2["Set-of-Marks标注<br/>+ OCR叠加"]
        T2 --> T3["VLM/LLM推理<br/>规划子目标"]
        T3 --> T4["输出动作<br/>click/type/scroll"]
        T4 --> T5["运行时执行<br/>沙箱/远程桌面"]
        T5 --> T6["动作验证<br/>重新截图核对"]
        T6 -->|"未达成"| T2
        T6 -->|"已达成"| T7["程序化成功校验"]
    end

    Perception ==> Loop

    classDef dom fill:#dbeafe,stroke:#2563eb,color:#1e3a8a
    classDef vis fill:#fef3c7,stroke:#d97706,color:#78350f

推荐方案（按约束选型）

按目标UI稳定性选感知派： - 目标稳定、需重复万次 → Stagehand（DOM派，可调试可复现） - 目标频繁改版、反爬强 → Skyvern（视觉派，布局无关） - 探索性/一次性、求快 → Browser Use（最低门槛）

按操作系统锚点选厂商栈： - 跨平台交付（Linux/Win/Mac/容器）→ Claude Computer Use（便携工具调用） - macOS开发者后台并行 → Codex Background Computer Use（零配置并发） - 纯浏览器内SaaS工作流 → Gemini Computer Use（DOM+ARIA感知）

按工程能力分层： - 团队有infra能力、追求最高客单价 → Claude + 自建四要素harness - 求快速SaaS化、写进SLA → Stagehand内核 - 预算敏感、做数据服务 → Browser Use + 住宅IP出口

避坑提醒：框架只解决"页面加载后做什么"，而网络层决定页面能否加载。脱离单机单IP后，住宅IP在受保护站点成功率约85–99%，数据中心IP仅20–40%——这是GUI Agent落地最常被忽视的瓶颈，任何框架都无法弥补。Gartner预测2026年底40%企业应用将内置任务型Agent（2025年不足5%），但能稳定交付的，永远是perception选型+harness质量+网络出口三者齐备的栈。

参考来源

1. Browser Agent Frameworks Compared: Browser Use vs Stagehand vs Skyvern — ByteTunnels — 三大开源浏览器Agent框架设计哲学与适配场景对比
2. Browser-use vs Stagehand vs Skyvern: Choosing an Agent Browser Framework — Massive — 感知轴（DOM驱动 vs 视觉驱动）决定后续痛点的实践者视角
3. OSWorld Benchmark 2026: Computer-Use Agents, Methodology, 2026 SOTA — Benchmarking Agents Review — 369任务真实OS基准、SOTA演进与harness四要素工程拆解
4. Computer Use Agents 2026: Claude vs OpenAI vs Gemini — Digital Applied — 三大厂商架构赌局、OSWorld-Verified与任务类别可靠性矩阵
5. OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments — arXiv:2404.07972 — OSWorld原始论文与基准官方主页（HKU+Salesforce+CMU）

[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。