<!-- title: 屏幕即接口：Computer Use Agent六栈横评 -->

# 屏幕即接口：Computer Use Agent六栈横评

## 概述

2026年，AI Agent的"工具使用"能力正在经历一次范式迁移——从API级Function Calling，跃迁到直接操控GUI的Computer Use Agent（CUA）。Claude Opus 4.8以84%刷新OSWorld-Verified纪录，OpenAI Operator在运营8个月后停服并入ChatGPT Agent，微软Fara 1.5以开源小模型反超闭源巨人，字节UI-TARS-2则以原生视觉 grounding开辟第三条路线。GUI Agent不再是玩具——但当Agent获得鼠标键盘权限，安全、延迟、成本的战场才刚刚展开。

---

## 一、CUA六栈定位矩阵

| 维度 | Claude Computer Use (Opus 4.8) | OpenAI ChatGPT Agent (CUA) | Gemini Computer Use | Microsoft Fara 1.5 | ByteDance UI-TARS-2 | Agent TARS (开源) |
|------|------|------|------|------|------|------|
| **底层模型** | Claude Opus 4.8 | GPT-5.5 + CUA | Gemini 2.5 Pro | Fara-4B/9B/27B | UI-TARS-2-72B | 多模型可插拔 |
| **感知方式** | 截图+Set-of-Mark | 截图+DOM辅助 | 截图+辅助信息 | 截图+HTML | 截图（纯视觉） | 截图+浏览器DOM |
| **动作空间** | mouse/keyboard/bash | mouse/keyboard | mouse/keyboard | mouse+keyboard(浏览器) | mouse+keyboard | 浏览器操作 |
| **OSWorld-Verified** | **83.4%** | ~45% (Operator遗存) | ~38% | 未见公开提交 | 未见OSWorld提交 | — |
| **Online-Mind2Web** | — | 被Fara 1.5超越 | 被Fara 1.5超越 | **SOTA（开源）** | — | — |
| **开源状态** | 闭源API | 闭源API | 闭源API | **开源权重** | **开源** | **开源** |
| **运行环境** | 桌面+浏览器 | 浏览器(原Operator) | 浏览器+桌面 | 浏览器 | 桌面+浏览器 | 浏览器 |
| **单任务成本估算** | $0.10-0.50 | $0.05-0.20 | $0.03-0.15 | 本地免费/云$0.01 | 本地免费 | 本地免费 |
| **延迟(单步)** | 2-4秒 | 3-6秒 | 2-5秒 | 1-3秒(27B) | 1-2秒(72B) | 2-4秒 |

---

## 二、Claude Computer Use：生态位最完整的CUA

### 架构原理

Claude的Computer Use采用三件套工具定义：`computer`（屏幕控制）、`text_editor`（文件编辑）、`bash`（命令执行）。Agent Loop每轮接收截图，通过Set-of-Mark标注可交互元素，输出结构化动作（坐标点击、键盘输入、滚动）。2026年3月推出的Dispatch功能，允许将任务分派给多个Agent并行执行——一个Agent负责浏览器操作，另一个处理文件整理。

Opus 4.8的突破在于屏幕理解能力：83.4%的OSWorld-Verified分数意味着Agent能在真实桌面环境中完成超八成任务，包括跨应用操作（从浏览器复制数据到Excel、在VS Code中定位特定函数）。

### 关键代码片段

```python
import anthropic

client = anthropic.Anthropic()
response = client.beta.messages.create(
    model="claude-opus-4-8",
    tools=[
        {
            "type": "computer_20250124",
            "display_width_px": 1920,
            "display_height_px": 1080,
        },
        {"type": "text_editor_20250124"},
        {"type": "bash_20250124"},
    ],
    messages=[{"role": "user", "content": "打开Chrome，搜索'OSWorld benchmark'，截取前三个结果"}],
    betas=["computer-use-2025-01-24"],
    max_tokens=1024,
)
```

### 优缺点

**优势**：OSWorld最高分、桌面级完整控制、Dispatch多Agent架构、MCP生态整合度高。

**短板**：单任务成本偏高（$0.10-0.50），依赖云端推理，截图传输带宽开销大，对于高频简单操作（如批量点击）性价比不如本地模型。

### 变现评估

Claude Computer Use是目前最接近"AI员工"的产品形态。训练营可以围绕"RPA 2.0：用Claude替代Selenium/Playwright"展开，企业级自动化场景（发票处理、数据录入、报表生成）是刚需。

---

## 三、OpenAI ChatGPT Agent：Operator停服后的路线转向

### 架构原理

OpenAI的CUA路线经历了剧烈摇摆。2025年1月，Operator以独立产品形态上线，基于专门的Computer-Using Agent模型，定位浏览器任务自动化。但仅运营8个月，2025年8月即停服，能力被整合进ChatGPT Agent。

ChatGPT Agent采用**DOM辅助+截图**的双重感知：先解析页面DOM结构获取元素位置信息，再结合截图做视觉理解。动作空间限制在浏览器内——没有桌面控制能力。第三方估算其OSWorld分数仅约45%，与Claude的83%形成鲜明差距。

### 关键信号

```
Operator时间线：
2025.01 - Operator上线(ChatGPT Pro专属)
2025.08 - Operator停服，并入ChatGPT Agent
2026.Q1 - ChatGPT Agent开放API(有限)
2026.Q2 - 仍无独立CUA API，依赖Responses API
```

### 优缺点

**优势**：ChatGPT用户基数庞大，免费层即可体验基础Agent能力，DOM辅助在小规模任务上稳定性好。

**短板**：桌面控制缺失、OSWorld分数仅为Claude一半、Operator停服暴露路线不稳、开发者无法直接调用底层CUA模型。

### 变现评估

Operator的停服是CUA领域的重要信号——纯浏览器Agent的商业模式尚未跑通。如果要做训练营，应强调ChatGPT Agent的浏览器自动化能力而非桌面控制，聚焦电商/内容创作场景。

---

## 四、Gemini Computer Use：长上下文的多模态优势

### 架构原理

Google的Computer Use深度整合了Gemini的长上下文能力和多模态理解。Gemini 2.5 Pro支持100万token上下文窗口，在处理复杂网页（大量DOM、长页面滚动）时有天然优势。动作空间同时覆盖浏览器和桌面，但在OSWorld上的公开分数仅约38%。

Google的策略更偏向企业集成：通过Vertex AI提供Computer Use API，结合Google Workspace生态（Docs/Sheets/Slides操作），走"AI助手嵌入办公流"路线。

### 优缺点

**优势**：长上下文处理复杂页面、Google Workspace深度整合、价格相对较低。

**短板**：GUI操作精度不足、OSWorld分数在三大闭源中垫底、桌面控制能力有限、开发者文档不如Claude完善。

---

## 五、Microsoft Fara 1.5：开源小模型的逆袭

### 架构原理

2026年5月22日，微软研究院发布Fara 1.5家族（4B/9B/27B三个规模），这是第一个在Online-Mind2Web基准上超越OpenAI Operator和Gemini 2.5 Computer Use的开源模型。

Fara的核心创新是**纯截图驱动**的浏览器操作——不需要DOM辅助，不需要HTML解析，直接从像素理解页面。27B模型在Online-Mind2Web上达到SOTA，4B模型即可在消费级GPU上运行。

```
Fara 1.5家族性能梯度：
┌─────────────┬──────────────┬─────────────┐
│ 模型        │ 参数量       │ Online-M2W  │
├─────────────┼──────────────┼─────────────┤
│ Fara-4B     │ 40亿         │ 超Gemini 2.5│
│ Fara-9B     │ 90亿         │ 超Operator  │
│ Fara-27B    │ 270亿        │ SOTA        │
└─────────────┴──────────────┴─────────────┘
```

### 关键代码片段

```python
from fara import FaraAgent

agent = FaraAgent(model="fara-27b")
result = agent.run(
    task="在Amazon上搜索降噪耳机，找到价格低于$200评分最高的，加入购物车",
    browser="chromium",
    max_steps=25,
)
print(result.summary)  # 任务完成状态
```

### 优缺点

**优势**：开源权重、可本地部署、消费级GPU可运行4B模型、成本几乎为零、Online-Mind2Web SOTA。

**短板**：仅限浏览器操作（无桌面控制）、OSWorld分数未公开、生态成熟度低、文档和社区支持有限。

### 变现评估

Fara 1.5是CUA领域的"DeepSeek时刻"——开源小模型在特定场景超越闭源。适合打包成"私有化部署GUI Agent"方案，面向金融、政务等数据敏感场景。

---

## 六、ByteDance UI-TARS-2：原生视觉Grounding路线

### 架构原理

UI-TARS-2走了一条与其他CUA完全不同的技术路线——不做工具调用封装，而是训练一个原生视觉-语言模型，直接从截图预测坐标和动作。

其核心是**Screenshot-to-Action**的端到端架构：模型输入一张截图，输出鼠标坐标(x,y)、动作类型（click/type/scroll/drag）和参数。UI-TARS-1.5-7B在GUI Grounding任务上已大幅超越OpenAI CUA和Claude 3.7。UI-TARS-2在此基础上增强了长程规划和多步推理能力。

关键创新：
- **大规模GUI数据引擎**：自动化采集+LLM增强标注，构建了百万级截图-动作对
- **原生坐标预测**：不需要Set-of-Mark标注，模型直接回归像素坐标
- **跨平台统一**：同一模型处理桌面、移动端、Web

### 优缺点

**优势**：端到端架构简洁、Grounding精度高（坐标预测误差<5px）、跨平台统一、开源可本地部署。

**短板**：长程多步任务可靠性不如Claude、缺少生态工具链（无MCP/Dispatch等）、72B参数本地部署门槛高。

---

## 七、Agent TARS：开源全栈CUA框架

### 架构原理

Agent TARS是一个开源的多模态AI Agent框架，将GUI Agent能力与浏览器DOM信息结合。不同于闭源方案的API调用模式，TARS允许开发者自定义感知-决策-执行管线。

其架构分为三层：
1. **感知层**：浏览器截图+DOM树+辅助信息（a11y tree）
2. **推理层**：可插拔LLM后端（GPT/Claude/Qwen等）
3. **执行层**：Playwright驱动的浏览器操作

### 优缺点

**优势**：完全开源、模型可插拔、社区活跃、开发者可深度定制。

**短板**：依赖外部LLM推理、性能上限受限于后端模型、缺少生产级部署方案。

---

## 八、GUI-360°基准：CUA评测的统一量尺

GUI-360°是一个大规模综合性CUA基准，覆盖桌面级任务的360度评估。其核心贡献是**LLM增强的自动化数据构建管线**——解决了传统CUA基准数据稀缺问题。与OSWorld侧重执行验证不同，GUI-360°增加了操作轨迹正确性、中间状态一致性等维度。

| 基准 | 覆盖范围 | 任务数 | 评估方式 | 局限性 |
|------|---------|--------|---------|--------|
| **OSWorld-Verified** | 桌面全环境 | 369 | 执行结果验证 | 任务数有限 |
| **WebArena** | Web浏览器 | 812 | 执行结果验证 | 仅Web |
| **GUI-360°** | 桌面+Web | 万级 | 轨迹+结果 | 新发布，采用率待验证 |
| **Online-Mind2Web** | 在线Web | 实时 | 在线执行 | 网页变化影响可复现性 |
| **ScreenSpot** | 元素定位 | 600+ | Grounding精度 | 仅测定位，不测操作 |

---

## 九、CUA系统架构全流程

```mermaid
graph TD
    A[用户任务指令] --> B[Agent Controller]
    B --> C{感知模块}
    C --> C1[截图捕获]
    C --> C2[DOM/a11y解析]
    C --> C3[OCR辅助]

    C1 --> D[视觉理解模型]
    C2 --> D
    C3 --> D

    D --> E{动作规划}
    E --> E1[坐标定位]
    E --> E2[动作序列生成]
    E --> E3[安全检查]

    E1 --> F[动作执行引擎]
    E2 --> F
    E3 --> F

    F --> G{结果验证}
    G -->|成功| H[任务完成]
    G -->|失败/不确定| B

    subgraph "安全沙箱层"
        I[权限网关]
        J[操作审计]
        K[资源限制]
    end

    B -.-> I
    F -.-> J
    F -.-> K

    subgraph "记忆层"
        L[任务历史]
        M[页面状态缓存]
        N[错误恢复栈]
    end

    G -.-> L
    D -.-> M
    B -.-> N
```

---

## 十、CUA成本-精度象限图

```mermaid
quadrantChart
    title CUA六栈成本-精度象限
    x-axis "低成本" --> "高成本"
    y-axis "低精度" --> "高精度"
    quadrant-1 "高精度高成本"
    quadrant-2 "高精度低成本"
    quadrant-3 "低精度低成本"
    quadrant-4 "低精度高成本"
    "Claude Opus 4.8": [0.85, 0.95]
    "OpenAI ChatGPT Agent": [0.50, 0.45]
    "Gemini Computer Use": [0.40, 0.38]
    "Fara 1.5 27B 本地": [0.10, 0.70]
    "UI-TARS-2 72B 本地": [0.15, 0.65]
    "Agent TARS 开源": [0.25, 0.50]
```

---

## 十一、安全沙箱：CUA的隐藏战场

Computer Use Agent获得鼠标键盘权限后，安全边界发生了根本变化——从"API调用可审计"变成"Agent可能做任何事"。2026年4月，微软发布Agent Governance Toolkit（开源），Snowflake Cortex爆出沙箱逃逸事件，88%部署AI Agent的组织遭遇过安全事件。

CUA特有的安全风险拓扑：

```mermaid
graph LR
    A[CUA特有攻击面] --> B[屏幕注入]
    A --> C[坐标偏移攻击]
    A --> D[UI伪装]
    A --> E[热键劫持]

    B --> B1[恶意内容出现在Agent视野中<br/>诱导误操作]
    C --> C1[弹窗偏移点击目标<br/>Agent点击恶意按钮]
    D --> D1[伪造登录框/支付确认<br/>Agent自动填入凭证]
    E --> E1[快捷键触发危险操作<br/>Ctrl+Shift+Delete等]

    subgraph "防护层"
        F[截图预处理-过滤敏感信息]
        G[坐标校验-白名单区域]
        H[操作确认-高风险动作人工审批]
        I[会话隔离-虚拟桌面/容器]
    end

    B1 -.-> F
    C1 -.-> G
    D1 -.-> H
    E1 -.-> I
```

六大CUA栈的安全防护对比：

| 安全维度 | Claude | ChatGPT Agent | Gemini | Fara 1.5 | UI-TARS-2 | Agent TARS |
|---------|--------|---------------|--------|----------|-----------|------------|
| 沙箱隔离 | Docker容器 | OpenAI托管 | Google沙箱 | 用户自建 | 用户自建 | 用户自建 |
| 敏感操作拦截 | 有（可配置） | 基础 | 有 | 无内置 | 无内置 | 可配置 |
| 操作审计日志 | 完整 | 基础 | 完整 | 无内置 | 无内置 | 有 |
| 凭证保护 | 有 | 有 | 有 | 用户负责 | 用户负责 | 用户负责 |
| 网络隔离 | 支持 | 强制 | 支持 | 用户负责 | 用户负责 | 可配置 |
| 人工确认环 | 支持 | 有 | 支持 | 需自建 | 需自建 | 需自建 |

**关键结论**：闭源CUA在安全基建上显著领先。开源模型（Fara/UI-TARS）的性能追赶很快，但安全能力需要使用者自行构建——这恰好是Agent Governance Toolkit等开源安全框架的机会窗口。

---

## 十二、实战场景选型决策树

```mermaid
graph TD
    A[CUA选型起点] --> B{需要桌面控制?}
    B -->|是| C{数据可上云?}
    B -->|否，仅浏览器| D{预算?}

    C -->|是| E[Claude Computer Use<br/>桌面+浏览器双覆盖]
    C -->|否| F{有GPU资源?}

    F -->|有24GB+VRAM| G[UI-TARS-2 本地部署<br/>开源桌面控制]
    F -->|无GPU| H[需云服务，数据脱敏后<br/>使用Claude+沙箱]

    D -->|充足| I{任务复杂度?}
    D -->|有限/免费| J{有GPU?}

    I -->|高| E
    I -->|中| K[Gemini Computer Use<br/>性价比选择]

    J -->|有8GB+VRAM| L[Fara 1.5 4B/9B<br/>开源浏览器Agent]
    J -->|无| M[Agent TARS + 免费API<br/>最低成本入门]

    style E fill:#4CAF50,color:#fff
    style L fill:#2196F3,color:#fff
    style G fill:#FF9800,color:#fff
```

---

## 十三、CUA路线图的三个判断

### 判断一：GUI Agent不会取代Function Calling，而是补充

CUA和Function Calling解决的是不同层次的问题。Function Calling适合结构化、确定性的API交互（查天气、调数据库）；CUA适合非结构化、可视化的界面操作（操作内部ERP系统、填写复杂表单）。未来Agent的典型模式是：**先尝试Function Calling，失败后降级到CUA**。

### 判断二：开源小模型将主导CUA的落地层

Fara 1.5的4B模型已经能在消费级GPU上跑浏览器Agent。当企业需要每天执行数千次GUI操作时，Claude/Gemini的按次计费模式不可持续。开源模型的推理成本趋近于零，安全审计可以本地完成——这是企业落地的必要条件。

### 判断三：CUA的安全标准将在2026下半年成型

微软Agent Governance Toolkit、OWASP Agent Security Guide、NIST AI RMF的Agent扩展——三条线正在汇聚。当CUA从"实验室demo"变成"生产系统"，安全合规将成为比精度更高的竞争门槛。当前在OSWorld上刷分的厂商，很快需要面对SOC 2、HIPAA等合规框架的考验。

---

## 十四、推荐方案

| 场景 | 推荐方案 | 理由 |
|------|---------|------|
| 企业RPA替代 | Claude Computer Use + 沙箱 | 精度最高，桌面+浏览器全覆盖，安全基建完善 |
| 电商自动化 | Fara 1.5 27B 本地部署 | 纯浏览器操作，开源免费，可定制 |
| 数据敏感场景 | UI-TARS-2 本地 + Agent Governance Toolkit | 纯本地部署，数据不出域 |
| 快速原型验证 | Agent TARS + Claude API | 开源框架灵活，后端可切换 |
| 大规模批量任务 | Fara 1.5 9B + 多实例 | 小模型高吞吐，边际成本趋零 |
| 跨平台移动端 | UI-TARS-2（唯一支持移动端） | 移动端GUI Agent目前仅有UI-TARS覆盖 |
| 训练营/教学 | Agent TARS + Fara 1.5 4B | 完全开源免费，学生笔记本可运行 |

---

## 参考来源

1. [OSWorld-Verified Benchmark 2026: 20 LLM scores](https://benchlm.ai/benchmarks/osWorldVerified) — Claude Opus 4.8以83.4%领先OSWorld-Verified排行榜
2. [Computer Use Agents 2026: Claude vs OpenAI vs Gemini](https://www.digitalapplied.com/blog/computer-use-agents-2026-claude-openai-gemini-matrix) — 三大闭源CUA横评，含OSWorld Q2基准数据
3. [Microsoft Releases Fara1.5: Browser Computer-Use Agents](https://www.marktechpost.com/2026/05/22/microsoft-releases-fara1-5-a-family-of-browser-computer-use-agents-4b-9b-27b-that-outperform-openai-operator-and-gemini-2-5-computer-use-on-online-mind2web/) — 微软Fara 1.5家族发布，Online-Mind2Web SOTA
4. [OpenAI Operator Update Tracker: From Operator to ChatGPT Agent](https://presenc.ai/research/openai-operator-update-tracker-2026) — Operator停服时间线与ChatGPT Agent整合
5. [UI-TARS: Pioneering Automated GUI Interaction with Native Agents](https://arxiv.org/html/2501.12326v1) — 字节UI-TARS端到端GUI Agent架构论文
6. [Introducing Claude Opus 4.8 — Anthropic](https://www.anthropic.com/news/claude-opus-4-8) — Claude Opus 4.8发布，84% OSWorld
7. [GUI-360°: A Comprehensive Dataset and Benchmark for Computer-Using Agents](https://arxiv.org/abs/2511.04307) — GUI-360°大规模CUA基准数据集
8. [Introducing the Agent Governance Toolkit — Microsoft](https://opensource.microsoft.com/blog/2026/04/02/introducing-the-agent-governance-toolkit-open-source-runtime-security-for-ai-agents/) — 微软开源Agent安全治理工具包

> [!tip] 51学通信知识星球
> **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。
> **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。
> **当前规模**：5200 篇主题 / 990 个回答，198 元/年。
> **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。
> **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。

![51学通信知识星球海报-扫码加入](https://wiki.500nian.com/images/zhixingqiu_qrcode.png)