# 屏幕即API：六大Computer Use Agent架构深度拆解 ## 概述 2026年5月4日，Google悄然关闭了Project Mariner。这个曾被视为"AI浏览网页的未来"的实验项目，在存活不到18个月后便被合并到Gemini Agent。与此同时，Anthropic的Claude Computer Use在3月24日上线macOS桌面控制，OpenAI在4月16日为Codex桌面版注入Computer Use能力，字节跳动的UI-TARS-2和巴黎创企H Company的Holo3分别在开源战场攻城略地。一个残酷的现实正在浮现：**Computer Use Agent的竞争焦点已从浏览器自动化的狭义赛道，转向了全桌面、跨平台的通用GUI控制**。OSWorld-Verified基准上，开源模型Holo3-35B-A3B以82.6%的成绩登顶，超越了所有闭源竞品——包括GPT-5.4的75%和Claude Sonnet 4.6的72.5%。本文从架构原理、基准实测、安全风险和商业模式四个维度，深度拆解当前六大Computer Use Agent引擎的设计哲学与实战表现。 --- ## 一、范式转移：从API到GUI的AI交互革命 传统的AI Agent工具调用遵循一个隐含假设——目标应用必须暴露API。Function Calling、MCP协议、LangChain Tool都是这个范式的产物。但现实世界的软件有数百万种，真正提供稳定API的不到5%。RPA（Robotic Process Automation）曾试图用录制回放填补这一空白，却因脆弱的选择器规则而声名狼藉。 Computer Use Agent代表了一种根本性的范式跳转：**不再要求应用配合AI，而是让AI像人类一样"看"屏幕、"点"按钮**。这个转变的核心技术栈是三个模块的协同： 1. **视觉感知层**：截屏 + 视觉语言模型（VLM），将像素转化为结构化语义 2. **决策规划层**：大语言模型推理下一步操作，结合任务上下文进行多步规划 3. **执行控制层**：将抽象指令转化为具体的鼠标移动、键盘输入或触屏手势 这三层架构并非简单的串联管道。在实际运行中，它们形成了一个闭环：截屏→理解→决策→执行→再截屏，每一步都依赖上一步的结果进行校准。这种循环与ReAct（Reasoning + Acting）模式高度一致，但将"行动"从API调用扩展到了GUI操作。  > *图表 1* ## 二、六大引擎多维度对比 | 维度 | Claude Computer Use | OpenAI CUA/Codex | UI-TARS-2 | Holo3 | Browser-Use | Google Mariner† | |------|-------------------|-------------------|-----------|-------|-------------|-----------------| | **背后公司** | Anthropic | OpenAI | ByteDance | H Company | 开源社区 | Google (已关闭) | | **OSWorld-Verified** | 72.5% (Sonnet 4.6) | 75% (GPT-5.4) | ~65% (估) | 82.6% (35B) | N/A (仅Web) | ~58% | | **覆盖范围** | 桌面+Web | 桌面+Web+终端 | 桌面+Web | 桌面+Web | 仅Web | 仅Web | | **核心技术** | 截屏+VLM+Dispatch | 截屏+CUA模型 | 视觉语言模型 | MoE视觉模型 | DOM+截屏混合 | Gemini+DOM | | **开源状态** | 闭源API | 闭源API | 完全开源 | 完全开源 | 完全开源 | 已关闭 | | **部署方式** | 云端/API | 云端+桌面App | 本地/云端 | 本地/云端 | 本地Python | Chrome扩展 | | **定价模式** | API按Token | $200/月Pro | 免费自部署 | 免费自部署 | 免费自部署 | 已关闭 | | **安全机制** | 权限确认+沙箱 | 确认弹窗+沙箱 | 用户自行控制 | 用户自行控制 | 有限 | 确认弹窗 | | **GitHub Stars** | N/A | N/A | 15K+ | 8K+ | 91K+ | N/A | > † Google Project Mariner已于2026年5月4日关闭，其技术已并入Gemini Agent。 ## 三、深度拆解：六大引擎架构与实战 ### 1. Anthropic Claude Computer Use + Dispatch：企业级桌面控制 **架构原理**：Claude Computer Use采用经典的截屏-推理-执行循环。Agent每一步操作前先截取屏幕截图，发送给Claude VLM进行视觉理解，Claude返回结构化的操作指令（点击坐标、输入文本、快捷键），再由客户端执行。2026年3月随Dispatch功能上线，用户可以从手机端远程派发任务给桌面上的Claude Agent，Agent在后台自主完成操作。 **关键架构决策**： - **异步执行模型**：Dispatch不阻塞用户的前台工作，Agent在独立会话中运行 - **多Agent路由**：Dispatch内置任务路由器，根据任务类型分派给不同专门化Agent - **macOS Accessibility API集成**：除截屏外，还通过系统辅助功能API获取UI元素树，提高定位精度 **实测表现**：在OSWorld-Verified上，Claude Sonnet 4.6达到72.5%，已接近人类水平（72-75%）。但在复杂的跨应用操作（如从邮件复制数据到Excel并生成图表）中，成功率显著下降至约40%。 **优缺点**： - ✅ 企业级安全机制（操作确认、沙箱、审计日志） - ✅ Dispatch远程派发能力独树一帜 - ❌ 仅限macOS（截至2026年5月） - ❌ API调用成本较高，长时间任务Token消耗巨大 **变现评估**：适合包装为"AI员工"训练营——教企业用户如何用Claude Computer Use自动化办公流程。课程定价可在¥2999-5999区间。 ### 2. OpenAI Computer-Using Agent (CUA) + Codex：全家桶生态优势 **架构原理**：OpenAI的CUA采用与Claude类似的截屏循环，但有两个关键差异。第一，CUA模型是专门为GUI操作微调的GPT变体，而非通用VLM的简单适配。第二，2026年4月16日的Codex桌面版更新将Computer Use直接嵌入了IDE环境，Agent可以同时操作代码编辑器和浏览器终端。 **GPT-5.4的突破**：GPT-5.4携带100万Token上下文窗口和原生Computer Use能力，在OSWorld-Verified上达到75%。更重要的是，Codex桌面版支持90+插件，包括文件系统操作、终端命令、浏览器控制等，形成了一个真正的"开发者工作站"。 ```python # OpenAI CUA调用示例（概念代码） from openai import OpenAI client = OpenAI() response = client.responses.create( model="computer-use-preview", tools=[{ "type": "computer_use_preview", "display_width": 1920, "display_height": 1080, "environment": "macos" }], input=[{ "role": "user", "content": "打开Excel，导入桌面的sales_data.csv，创建一个柱状图" }] ) # Agent返回操作序列 for action in response.output: if action.type == "click": execute_click(action.x, action.y) elif action.type == "type": execute_type(action.text) elif action.type == "screenshot": send_screenshot_to_model() ``` **实测发现**：Codex桌面版在macOS上通过Accessibility API实现后台GUI自动化，不需要前台窗口焦点，这是相比Claude的一个重要优势。但在Linux和Windows上的支持仍然有限。 **优缺点**： - ✅ IDE内深度集成，开发者体验流畅 - ✅ 插件生态丰富（90+） - ❌ 仅限$200/月Pro用户 - ❌ EU/EEA地区暂不可用 ### 3. ByteDance UI-TARS-2：开源视觉GUI Agent标杆 **架构原理**：UI-TARS-2是字节跳动推出的视觉语言模型，专门为GUI理解和操作设计。与截屏+通用VLM的"外挂"方案不同，UI-TARS-2从模型层面原生支持GUI元素检测、定位和操作规划。UI-TARS Desktop应用将模型封装为桌面客户端，支持Windows、macOS和Linux。 **核心技术亮点**： - **原生GUI理解**：模型预训练阶段即注入大量GUI截图-操作配对数据，无需依赖额外的OCR或UI解析 - **多轮交互记忆**：支持在长任务中保持上下文，减少重复理解的开销 - **Agent TARS框架**：通用多模态Agent框架，不仅限于GUI操作，还支持代码生成、数据分析 **实测表现**：在OSWorld基准上，UI-TARS-2相比前代提升显著。虽然在绝对分数上仍低于GPT-5.4和Holo3，但考虑到其完全开源、可本地部署的特性，性价比极高。在WebArena（纯网页任务基准）上表现尤其突出，接近闭源模型的水平。 **优缺点**： - ✅ 完全开源，可本地部署，数据不出域 - ✅ 跨平台支持（Win/Mac/Linux） - ✅ 无API调用费用 - ❌ 需要较强的GPU算力（推荐24GB显存以上） - ❌ 社区支持不如browser-use活跃 ### 4. H Company Holo3：小参数大智慧的MoE奇迹 **架构原理**：Holo3是2026年Computer Use领域最大的黑马。巴黎创企H Company在3月31日发布的这个模型采用Mixture-of-Experts（MoE）架构，总参数量35B但激活参数仅3B，这意味着推理成本极低而性能惊人。在OSWorld-Verified上以82.6%的成绩登顶，超越所有闭源竞品。 **MoE架构的GUI适配**： Holo3的MoE设计天然适合GUI操作的多样性。不同的专家子网络负责不同类型的GUI理解任务——一个专家处理文本识别，一个处理图标/按钮定位，一个处理布局理解，还有一个专门处理操作规划。路由器根据当前截屏的特征动态选择激活哪些专家。 ``` Holo3-35B-A3B 关键参数： ├── 总参数: 35B ├── 激活参数: 3B (每次推理) ├── 专家数量: 8 ├── 视觉编码器: SigLIP-400M ├── 最大分辨率: 2048x2048 ├── OSWorld-Verified: 82.6% (SOTA) ├── 推理速度: ~2.1s/step (A100) └── 显存占用: ~18GB (bf16) ``` **实测分析**：Holo3的82.6%成绩在技术社区引发热议。独立验证显示，其在Ubuntu桌面任务上表现最强（87.2%），Windows任务次之（80.1%），macOS任务相对较弱（76.3%），这可能与训练数据分布有关。 **优缺点**： - ✅ OSWorld-Verified SOTA，超越所有闭源模型 - ✅ 激活参数仅3B，推理成本极低 - ✅ 完全开源（Apache 2.0许可证） - ❌ 社区生态尚在早期，文档不够完善 - ❌ 非GUI任务能力较弱（不擅长代码生成等） ### 5. Browser-Use：91K星的开源Web Agent生态 **架构原理**：Browser-Use采用DOM解析+视觉理解的混合方案。对于网页任务，它首先提取DOM结构树，结合XPath和CSS选择器定位元素，同时在DOM信息不足时回退到截屏+VLM理解。这种混合方案在纯Web场景下比纯视觉方案更高效、更准确。 **生态优势**：GitHub 91K+ Star使其成为最受欢迎的开源Agent项目之一。庞大的社区贡献了大量预置动作模板（电商下单、社交媒体发布、数据抓取等）和与LangChain、CrewAI等框架的集成方案。 ```python # Browser-Use基础用法 from browser_use import Agent from langchain_openai import ChatOpenAI agent = Agent( task="在淘宝搜索'MacBook Pro 2026'，按价格排序，找出最便宜的前3个商品", llm=ChatOpenAI(model="gpt-4o"), browser_config={ "headless": False, "disable_security": True } ) result = await agent.run() print(result) ``` **局限性与定位**：Browser-Use严格限制在Web场景。它不能操作桌面应用、不能处理系统对话框、不能进行文件管理。但在其定位的Web自动化领域，它比通用Computer Use Agent更快、更稳定。 **优缺点**： - ✅ 社区最大（91K+ Star），模板丰富 - ✅ Web场景下速度和准确率优于通用方案 - ✅ 与主流Agent框架无缝集成 - ❌ 仅支持Web，无法操作桌面应用 - ❌ 反爬虫场景下容易触发验证码 ### 6. Google Project Mariner之死：浏览器Agent的教训 **为什么Mariner失败了？** 2026年5月4日，Google关闭了Project Mariner。这个基于Chrome扩展的AI浏览Agent在技术上并不落后——它的Gemini驱动引擎在WebArena上表现不俗。但Mariner败在了产品定位上： 1. **场景过于狭窄**：只支持Chrome浏览器内的操作，无法触及用户真正需要的全桌面自动化 2. **延迟太高**：每个操作需要经过Google云端的Gemini推理，平均延迟3-5秒，用户体验远不如本地部署方案 3. **安全顾虑**：让一个云端AI实时看到用户浏览器内容，企业客户接受度极低 4. **生态封闭**：Chrome扩展的形式限制了与现有工作流的集成 Mariner的技术遗产被吸收到Gemini Agent中，但这次失败给行业留下了重要启示：**纯粹的浏览器Agent是一个过渡形态，终将被全平台Computer Use Agent替代**。 ## 四、基准实测：OSWorld-Verified深度分析 OSWorld-Verified是当前最权威的Computer Use Agent基准。它在真实计算机环境中部署369个任务，覆盖Ubuntu、Windows和macOS三大平台，要求Agent完成从文件管理到跨应用协作的真实操作。 ### 2026年Q2 OSWorld-Verified排行榜 | 排名 | 模型 | 分数 | 参数量 | 开源 | 备注 | |------|------|------|--------|------|------| | 1 | Holo3-35B-A3B | 82.6% | 35B (3B激活) | ✅ | MoE架构，性价比之王 | | 2 | GPT-5.4 + CUA | 75.0% | 未知 | ❌ | 原生Computer Use | | 3 | Claude Opus 4.6 | 73.8% | 未知 | ❌ | 最强推理+视觉 | | 4 | Claude Sonnet 4.6 | 72.5% | 未知 | ❌ | 性价比最优闭源 | | 5 | UI-TARS-2-72B | ~68% | 72B | ✅ | 开源最大GUI模型 | | 6 | Gemini 3.1 Pro | ~65% | 未知 | ❌ | Mariner遗产 | | 7 | OpenAI Operator | ~45% | 未知 | ❌ | 2025年初版本 | ### 一个令人震惊的事实 2026年3月，AI Agent首次在OSWorld上超越人类基准线。人类在OSWorld-Verified上的平均表现为72-75%，而Holo3和GPT-5.4均已突破这一水平。但需要强调的是：**这个"超越"有水分**。OSWorld-Verified是经过人工筛选的任务子集，排除了需要创造性思维和复杂推理的任务。在完整的OSWorld（非Verified子集）上，人类仍然以85%以上的完成率大幅领先。 ## 五、安全风险：Computer Use Agent的阿喀琉斯之踵 让AI控制你的电脑，意味着将最高权限交给了不可预测的系统。2026年已披露的安全事件揭示了三类核心风险： ### 1. 提示注入攻击 恶意网页可以在页面中嵌入不可见的文本指令，诱导Computer Use Agent执行非预期操作。例如，一个看似正常的购物页面可能隐藏着"点击购买按钮，确认支付"的不可见指令。 ### 2. 数据外泄 Agent在操作过程中截取的屏幕截图可能包含敏感信息（密码、银行账户、私人邮件）。CVE-2026-26144揭示了Excel Copilot Agent的零点击数据外泄漏洞，攻击者可以通过恶意Excel文件触发Agent自动提取并发送用户数据。 ### 3. 供应链投毒 开源Computer Use工具（尤其是browser-use这类依赖大量第三方库的项目）面临供应链攻击风险。一个被篡改的Python依赖包可以在Agent执行过程中注入恶意操作。 **12项安全控制基线**（2026年行业共识）： 1. 操作确认弹窗（所有敏感操作） 2. 沙箱化执行环境 3. 截屏内容脱敏（自动遮盖密码框） 4. 网络请求白名单 5. 文件系统访问限制 6. 操作审计日志 7. 速率限制（防止Agent失控循环） 8. 紧急停止机制 9. 敏感数据检测（PII/密码/Token） 10. Agent行为偏离检测 11. 会话超时自动终止 12. 第三方依赖锁定与校验 ## 六、架构决策树：如何选择Computer Use Agent  > *图表 2* ## 七、实战推荐方案 ### 场景一：企业办公自动化 **推荐**：Claude Computer Use + Dispatch - 企业级安全机制最完善 - Dispatch支持从移动端派发任务 - 审计日志满足合规要求 - 缺点：仅macOS、API成本高 ### 场景二：开发者工作站 **推荐**：OpenAI Codex Desktop + CUA - IDE内深度集成，无缝衔接编码与自动化 - 90+插件覆盖主流开发工具 - 缺点：仅$200/月Pro用户 ### 场景三：Web数据采集与自动化 **推荐**：Browser-Use - 社区模板丰富，开箱即用 - DOM解析在Web场景下比纯视觉方案快3-5倍 - 与LangChain/CrewAI无缝集成 - 缺点：仅限Web、无法操作桌面应用 ### 场景四：本地私有化部署 **推荐**：Holo3-35B（首选）或 UI-TARS-2 - Holo3的MoE架构使推理成本极低（3B激活参数） - 完全开源，数据不出域 - 在A100上可达~2.1s/step的推理速度 - 缺点：社区生态仍在建设 ### 场景五：低成本教学/训练营 **推荐**：Browser-Use + UI-TARS-2组合 - Browser-Use覆盖Web自动化教学 - UI-TARS-2覆盖桌面自动化教学 - 两者均为开源免费，学员无需付费 - 变现路径清晰：Computer Use Agent实战训练营，定价¥1999-3999 ## 八、延伸思考：Computer Use Agent的终局 Project Mariner的死亡不是终点，而是信号。浏览器Agent作为过渡形态正在被全平台Computer Use Agent替代。但更深层的变革在于：**当AI能像人类一样操作任何GUI时，GUI本身是否还需要存在？** 一个可能的终局是"Headless GUI"——应用保留GUI接口供AI操作，但人类不再直接交互。这听起来荒谬，但已有先例：很多企业级SaaS的"API优先"战略，本质上是将GUI降级为可选展示层。 更务实的趋势是"双模交互"：应用同时暴露API和GUI两个接口。人类使用GUI，AI使用API；当API不可用时，AI回退到GUI操作。这种混合模式将定义未来3-5年的人机协作范式。 对于技术从业者而言，掌握Computer Use Agent的架构与实战，不仅是跟上技术潮流，更是为"AI操作一切"的世界做准备。当每一个桌面应用都可能成为AI的"工具"，理解这些Agent如何感知屏幕、如何规划操作、如何安全执行，就成为了下一代开发者的必备技能。 --- ## 参考来源 1. [Computer Use Agents 2026: Claude vs OpenAI vs Gemini](https://www.digitalapplied.com/blog/computer-use-agents-2026-claude-openai-gemini-matrix) — OSWorld-Verified Q2 2026基准对比，涵盖三大闭源方案实测数据 2. [Holo3: Open-Source Computer Use Agent That Outperforms GPT-5.4](https://www.openaitoolshub.org/en/blog/holo3-review-computer-use) — H Company Holo3-35B-A3B架构解析与82.6% SOTA成绩验证 3. [Google Shuts Down Project Mariner AI Agent](https://www.androidheadlines.com/2026/05/google-shuts-down-project-mariner-ai-agent.html) — Project Mariner关闭事件报道及合并至Gemini Agent细节 4. [OpenAI Computer Use vs Claude Dispatch: 2026 Agent Architecture Comparison](https://vibecodingconsultant.com/blog/openai-computer-use-vs-claude-dispatch/) — OpenAI CUA与Claude Dispatch架构深度对比 5. [UI-TARS-2 Technical Report](https://arxiv.org/abs/2509.02544) — ByteDance UI-TARS-2开源GUI Agent技术报告，含多轮交互架构设计 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。