屏幕即接口：Computer Use Agent六栈横评

概述

2026年，AI Agent的"工具使用"能力正在经历一次范式迁移——从API级Function Calling，跃迁到直接操控GUI的Computer Use Agent（CUA）。Claude Opus 4.8以84%刷新OSWorld-Verified纪录，OpenAI Operator在运营8个月后停服并入ChatGPT Agent，微软Fara 1.5以开源小模型反超闭源巨人，字节UI-TARS-2则以原生视觉 grounding开辟第三条路线。GUI Agent不再是玩具——但当Agent获得鼠标键盘权限，安全、延迟、成本的战场才刚刚展开。

一、CUA六栈定位矩阵

二、Claude Computer Use：生态位最完整的CUA

架构原理

Claude的Computer Use采用三件套工具定义：computer（屏幕控制）、text_editor（文件编辑）、bash（命令执行）。Agent Loop每轮接收截图，通过Set-of-Mark标注可交互元素，输出结构化动作（坐标点击、键盘输入、滚动）。2026年3月推出的Dispatch功能，允许将任务分派给多个Agent并行执行——一个Agent负责浏览器操作，另一个处理文件整理。

Opus 4.8的突破在于屏幕理解能力：83.4%的OSWorld-Verified分数意味着Agent能在真实桌面环境中完成超八成任务，包括跨应用操作（从浏览器复制数据到Excel、在VS Code中定位特定函数）。

关键代码片段

import anthropic

client = anthropic.Anthropic()
response = client.beta.messages.create(
    model="claude-opus-4-8",
    tools=[
        {
            "type": "computer_20250124",
            "display_width_px": 1920,
            "display_height_px": 1080,
        },
        {"type": "text_editor_20250124"},
        {"type": "bash_20250124"},
    ],
    messages=[{"role": "user", "content": "打开Chrome，搜索'OSWorld benchmark'，截取前三个结果"}],
    betas=["computer-use-2025-01-24"],
    max_tokens=1024,
)

优缺点

优势：OSWorld最高分、桌面级完整控制、Dispatch多Agent架构、MCP生态整合度高。

短板：单任务成本偏高（$0.10-0.50），依赖云端推理，截图传输带宽开销大，对于高频简单操作（如批量点击）性价比不如本地模型。

变现评估

Claude Computer Use是目前最接近"AI员工"的产品形态。训练营可以围绕"RPA 2.0：用Claude替代Selenium/Playwright"展开，企业级自动化场景（发票处理、数据录入、报表生成）是刚需。

三、OpenAI ChatGPT Agent：Operator停服后的路线转向

架构原理

OpenAI的CUA路线经历了剧烈摇摆。2025年1月，Operator以独立产品形态上线，基于专门的Computer-Using Agent模型，定位浏览器任务自动化。但仅运营8个月，2025年8月即停服，能力被整合进ChatGPT Agent。

ChatGPT Agent采用DOM辅助+截图的双重感知：先解析页面DOM结构获取元素位置信息，再结合截图做视觉理解。动作空间限制在浏览器内——没有桌面控制能力。第三方估算其OSWorld分数仅约45%，与Claude的83%形成鲜明差距。

关键信号

Operator时间线：
2025.01 - Operator上线(ChatGPT Pro专属)
2025.08 - Operator停服，并入ChatGPT Agent
2026.Q1 - ChatGPT Agent开放API(有限)
2026.Q2 - 仍无独立CUA API，依赖Responses API

优缺点

优势：ChatGPT用户基数庞大，免费层即可体验基础Agent能力，DOM辅助在小规模任务上稳定性好。

短板：桌面控制缺失、OSWorld分数仅为Claude一半、Operator停服暴露路线不稳、开发者无法直接调用底层CUA模型。

变现评估

Operator的停服是CUA领域的重要信号——纯浏览器Agent的商业模式尚未跑通。如果要做训练营，应强调ChatGPT Agent的浏览器自动化能力而非桌面控制，聚焦电商/内容创作场景。

四、Gemini Computer Use：长上下文的多模态优势

架构原理

Google的Computer Use深度整合了Gemini的长上下文能力和多模态理解。Gemini 2.5 Pro支持100万token上下文窗口，在处理复杂网页（大量DOM、长页面滚动）时有天然优势。动作空间同时覆盖浏览器和桌面，但在OSWorld上的公开分数仅约38%。

Google的策略更偏向企业集成：通过Vertex AI提供Computer Use API，结合Google Workspace生态（Docs/Sheets/Slides操作），走"AI助手嵌入办公流"路线。

优缺点

优势：长上下文处理复杂页面、Google Workspace深度整合、价格相对较低。

短板：GUI操作精度不足、OSWorld分数在三大闭源中垫底、桌面控制能力有限、开发者文档不如Claude完善。

五、Microsoft Fara 1.5：开源小模型的逆袭

架构原理

2026年5月22日，微软研究院发布Fara 1.5家族（4B/9B/27B三个规模），这是第一个在Online-Mind2Web基准上超越OpenAI Operator和Gemini 2.5 Computer Use的开源模型。

Fara的核心创新是纯截图驱动的浏览器操作——不需要DOM辅助，不需要HTML解析，直接从像素理解页面。27B模型在Online-Mind2Web上达到SOTA，4B模型即可在消费级GPU上运行。

Fara 1.5家族性能梯度：
┌─────────────┬──────────────┬─────────────┐
│ 模型        │ 参数量       │ Online-M2W  │
├─────────────┼──────────────┼─────────────┤
│ Fara-4B     │ 40亿         │ 超Gemini 2.5│
│ Fara-9B     │ 90亿         │ 超Operator  │
│ Fara-27B    │ 270亿        │ SOTA        │
└─────────────┴──────────────┴─────────────┘

关键代码片段

from fara import FaraAgent

agent = FaraAgent(model="fara-27b")
result = agent.run(
    task="在Amazon上搜索降噪耳机，找到价格低于$200评分最高的，加入购物车",
    browser="chromium",
    max_steps=25,
)
print(result.summary)  # 任务完成状态

优缺点

优势：开源权重、可本地部署、消费级GPU可运行4B模型、成本几乎为零、Online-Mind2Web SOTA。

短板：仅限浏览器操作（无桌面控制）、OSWorld分数未公开、生态成熟度低、文档和社区支持有限。

变现评估

Fara 1.5是CUA领域的"DeepSeek时刻"——开源小模型在特定场景超越闭源。适合打包成"私有化部署GUI Agent"方案，面向金融、政务等数据敏感场景。

六、ByteDance UI-TARS-2：原生视觉Grounding路线

架构原理

UI-TARS-2走了一条与其他CUA完全不同的技术路线——不做工具调用封装，而是训练一个原生视觉-语言模型，直接从截图预测坐标和动作。

其核心是Screenshot-to-Action的端到端架构：模型输入一张截图，输出鼠标坐标(x,y)、动作类型（click/type/scroll/drag）和参数。UI-TARS-1.5-7B在GUI Grounding任务上已大幅超越OpenAI CUA和Claude 3.7。UI-TARS-2在此基础上增强了长程规划和多步推理能力。

关键创新： - 大规模GUI数据引擎：自动化采集+LLM增强标注，构建了百万级截图-动作对 - 原生坐标预测：不需要Set-of-Mark标注，模型直接回归像素坐标 - 跨平台统一：同一模型处理桌面、移动端、Web

优缺点

优势：端到端架构简洁、Grounding精度高（坐标预测误差<5px）、跨平台统一、开源可本地部署。

短板：长程多步任务可靠性不如Claude、缺少生态工具链（无MCP/Dispatch等）、72B参数本地部署门槛高。

七、Agent TARS：开源全栈CUA框架

架构原理

Agent TARS是一个开源的多模态AI Agent框架，将GUI Agent能力与浏览器DOM信息结合。不同于闭源方案的API调用模式，TARS允许开发者自定义感知-决策-执行管线。

其架构分为三层： 1. 感知层：浏览器截图+DOM树+辅助信息（a11y tree） 2. 推理层：可插拔LLM后端（GPT/Claude/Qwen等） 3. 执行层：Playwright驱动的浏览器操作

优缺点

优势：完全开源、模型可插拔、社区活跃、开发者可深度定制。

短板：依赖外部LLM推理、性能上限受限于后端模型、缺少生产级部署方案。

八、GUI-360°基准：CUA评测的统一量尺

GUI-360°是一个大规模综合性CUA基准，覆盖桌面级任务的360度评估。其核心贡献是LLM增强的自动化数据构建管线——解决了传统CUA基准数据稀缺问题。与OSWorld侧重执行验证不同，GUI-360°增加了操作轨迹正确性、中间状态一致性等维度。

九、CUA系统架构全流程

graph TD
    A[用户任务指令] --> B[Agent Controller]
    B --> C{感知模块}
    C --> C1[截图捕获]
    C --> C2[DOM/a11y解析]
    C --> C3[OCR辅助]

    C1 --> D[视觉理解模型]
    C2 --> D
    C3 --> D

    D --> E{动作规划}
    E --> E1[坐标定位]
    E --> E2[动作序列生成]
    E --> E3[安全检查]

    E1 --> F[动作执行引擎]
    E2 --> F
    E3 --> F

    F --> G{结果验证}
    G -->|成功| H[任务完成]
    G -->|失败/不确定| B

    subgraph "安全沙箱层"
        I[权限网关]
        J[操作审计]
        K[资源限制]
    end

    B -.-> I
    F -.-> J
    F -.-> K

    subgraph "记忆层"
        L[任务历史]
        M[页面状态缓存]
        N[错误恢复栈]
    end

    G -.-> L
    D -.-> M
    B -.-> N

十、CUA成本-精度象限图

quadrantChart
    title CUA六栈成本-精度象限
    x-axis "低成本" --> "高成本"
    y-axis "低精度" --> "高精度"
    quadrant-1 "高精度高成本"
    quadrant-2 "高精度低成本"
    quadrant-3 "低精度低成本"
    quadrant-4 "低精度高成本"
    "Claude Opus 4.8": [0.85, 0.95]
    "OpenAI ChatGPT Agent": [0.50, 0.45]
    "Gemini Computer Use": [0.40, 0.38]
    "Fara 1.5 27B 本地": [0.10, 0.70]
    "UI-TARS-2 72B 本地": [0.15, 0.65]
    "Agent TARS 开源": [0.25, 0.50]

十一、安全沙箱：CUA的隐藏战场

Computer Use Agent获得鼠标键盘权限后，安全边界发生了根本变化——从"API调用可审计"变成"Agent可能做任何事"。2026年4月，微软发布Agent Governance Toolkit（开源），Snowflake Cortex爆出沙箱逃逸事件，88%部署AI Agent的组织遭遇过安全事件。

CUA特有的安全风险拓扑：

graph LR
    A[CUA特有攻击面] --> B[屏幕注入]
    A --> C[坐标偏移攻击]
    A --> D[UI伪装]
    A --> E[热键劫持]

    B --> B1[恶意内容出现在Agent视野中<br/>诱导误操作]
    C --> C1[弹窗偏移点击目标<br/>Agent点击恶意按钮]
    D --> D1[伪造登录框/支付确认<br/>Agent自动填入凭证]
    E --> E1[快捷键触发危险操作<br/>Ctrl+Shift+Delete等]

    subgraph "防护层"
        F[截图预处理-过滤敏感信息]
        G[坐标校验-白名单区域]
        H[操作确认-高风险动作人工审批]
        I[会话隔离-虚拟桌面/容器]
    end

    B1 -.-> F
    C1 -.-> G
    D1 -.-> H
    E1 -.-> I

六大CUA栈的安全防护对比：

关键结论：闭源CUA在安全基建上显著领先。开源模型（Fara/UI-TARS）的性能追赶很快，但安全能力需要使用者自行构建——这恰好是Agent Governance Toolkit等开源安全框架的机会窗口。

十二、实战场景选型决策树

graph TD
    A[CUA选型起点] --> B{需要桌面控制?}
    B -->|是| C{数据可上云?}
    B -->|否，仅浏览器| D{预算?}

    C -->|是| E[Claude Computer Use<br/>桌面+浏览器双覆盖]
    C -->|否| F{有GPU资源?}

    F -->|有24GB+VRAM| G[UI-TARS-2 本地部署<br/>开源桌面控制]
    F -->|无GPU| H[需云服务，数据脱敏后<br/>使用Claude+沙箱]

    D -->|充足| I{任务复杂度?}
    D -->|有限/免费| J{有GPU?}

    I -->|高| E
    I -->|中| K[Gemini Computer Use<br/>性价比选择]

    J -->|有8GB+VRAM| L[Fara 1.5 4B/9B<br/>开源浏览器Agent]
    J -->|无| M[Agent TARS + 免费API<br/>最低成本入门]

    style E fill:#4CAF50,color:#fff
    style L fill:#2196F3,color:#fff
    style G fill:#FF9800,color:#fff

十三、CUA路线图的三个判断

判断一：GUI Agent不会取代Function Calling，而是补充

CUA和Function Calling解决的是不同层次的问题。Function Calling适合结构化、确定性的API交互（查天气、调数据库）；CUA适合非结构化、可视化的界面操作（操作内部ERP系统、填写复杂表单）。未来Agent的典型模式是：先尝试Function Calling，失败后降级到CUA。

判断二：开源小模型将主导CUA的落地层

Fara 1.5的4B模型已经能在消费级GPU上跑浏览器Agent。当企业需要每天执行数千次GUI操作时，Claude/Gemini的按次计费模式不可持续。开源模型的推理成本趋近于零，安全审计可以本地完成——这是企业落地的必要条件。

判断三：CUA的安全标准将在2026下半年成型

微软Agent Governance Toolkit、OWASP Agent Security Guide、NIST AI RMF的Agent扩展——三条线正在汇聚。当CUA从"实验室demo"变成"生产系统"，安全合规将成为比精度更高的竞争门槛。当前在OSWorld上刷分的厂商，很快需要面对SOC 2、HIPAA等合规框架的考验。

十四、推荐方案

参考来源

1. OSWorld-Verified Benchmark 2026: 20 LLM scores — Claude Opus 4.8以83.4%领先OSWorld-Verified排行榜
2. Computer Use Agents 2026: Claude vs OpenAI vs Gemini — 三大闭源CUA横评，含OSWorld Q2基准数据
3. Microsoft Releases Fara1.5: Browser Computer-Use Agents — 微软Fara 1.5家族发布，Online-Mind2Web SOTA
4. OpenAI Operator Update Tracker: From Operator to ChatGPT Agent — Operator停服时间线与ChatGPT Agent整合
5. UI-TARS: Pioneering Automated GUI Interaction with Native Agents — 字节UI-TARS端到端GUI Agent架构论文
6. Introducing Claude Opus 4.8 — Anthropic — Claude Opus 4.8发布，84% OSWorld
7. GUI-360°: A Comprehensive Dataset and Benchmark for Computer-Using Agents — GUI-360°大规模CUA基准数据集
8. Introducing the Agent Governance Toolkit — Microsoft — 微软开源Agent安全治理工具包

[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。