2026年5月4日，Google悄然关闭了Project Mariner。这个曾被视为"AI浏览网页的未来"的实验项目，在存活不到18个月后便被合并到Gemini Agent。与此同时，Anthropic的Claude Computer Use在3月24日上线macOS桌面控制，OpenAI在4月16日为Codex桌面版注入Computer Use能力，字节跳动的UI-TARS-2和巴黎创企H Company的Holo3分别在开源战场攻城略地。一个残酷的现实正在浮现：Computer Use Agent的竞争焦点已从浏览器自动化的狭义赛道，转向了全桌面、跨平台的通用GUI控制。OSWorld-Verified基准上，开源模型Holo3-35B-A3B以82.6%的成绩登顶，超越了所有闭源竞品——包括GPT-5.4的75%和Claude Sonnet 4.6的72.5%。本文从架构原理、基准实测、安全风险和商业模式四个维度，深度拆解当前六大Computer Use Agent引擎的设计哲学与实战表现。
传统的AI Agent工具调用遵循一个隐含假设——目标应用必须暴露API。Function Calling、MCP协议、LangChain Tool都是这个范式的产物。但现实世界的软件有数百万种，真正提供稳定API的不到5%。RPA（Robotic Process Automation）曾试图用录制回放填补这一空白，却因脆弱的选择器规则而声名狼藉。
Computer Use Agent代表了一种根本性的范式跳转：不再要求应用配合AI，而是让AI像人类一样"看"屏幕、"点"按钮。这个转变的核心技术栈是三个模块的协同：
这三层架构并非简单的串联管道。在实际运行中，它们形成了一个闭环：截屏→理解→决策→执行→再截屏，每一步都依赖上一步的结果进行校准。这种循环与ReAct（Reasoning + Acting）模式高度一致，但将"行动"从API调用扩展到了GUI操作。
图表 1
| 维度 | Claude Computer Use | OpenAI CUA/Codex | UI-TARS-2 | Holo3 | Browser-Use | Google Mariner† |
|---|---|---|---|---|---|---|
| 背后公司 | Anthropic | OpenAI | ByteDance | H Company | 开源社区 | Google (已关闭) |
| OSWorld-Verified | 72.5% (Sonnet 4.6) | 75% (GPT-5.4) | ~65% (估) | 82.6% (35B) | N/A (仅Web) | ~58% |
| 覆盖范围 | 桌面+Web | 桌面+Web+终端 | 桌面+Web | 桌面+Web | 仅Web | 仅Web |
| 核心技术 | 截屏+VLM+Dispatch | 截屏+CUA模型 | 视觉语言模型 | MoE视觉模型 | DOM+截屏混合 | Gemini+DOM |
| 开源状态 | 闭源API | 闭源API | 完全开源 | 完全开源 | 完全开源 | 已关闭 |
| 部署方式 | 云端/API | 云端+桌面App | 本地/云端 | 本地/云端 | 本地Python | Chrome扩展 |
| 定价模式 | API按Token | $200/月Pro | 免费自部署 | 免费自部署 | 免费自部署 | 已关闭 |
| 安全机制 | 权限确认+沙箱 | 确认弹窗+沙箱 | 用户自行控制 | 用户自行控制 | 有限 | 确认弹窗 |
| GitHub Stars | N/A | N/A | 15K+ | 8K+ | 91K+ | N/A |
† Google Project Mariner已于2026年5月4日关闭，其技术已并入Gemini Agent。
架构原理：Claude Computer Use采用经典的截屏-推理-执行循环。Agent每一步操作前先截取屏幕截图，发送给Claude VLM进行视觉理解，Claude返回结构化的操作指令（点击坐标、输入文本、快捷键），再由客户端执行。2026年3月随Dispatch功能上线，用户可以从手机端远程派发任务给桌面上的Claude Agent，Agent在后台自主完成操作。
关键架构决策：
实测表现：在OSWorld-Verified上，Claude Sonnet 4.6达到72.5%，已接近人类水平（72-75%）。但在复杂的跨应用操作（如从邮件复制数据到Excel并生成图表）中，成功率显著下降至约40%。
优缺点： - ✅ 企业级安全机制（操作确认、沙箱、审计日志） - ✅ Dispatch远程派发能力独树一帜 - ❌ 仅限macOS（截至2026年5月） - ❌ API调用成本较高，长时间任务Token消耗巨大
变现评估：适合包装为"AI员工"训练营——教企业用户如何用Claude Computer Use自动化办公流程。课程定价可在¥2999-5999区间。
架构原理：OpenAI的CUA采用与Claude类似的截屏循环，但有两个关键差异。第一，CUA模型是专门为GUI操作微调的GPT变体，而非通用VLM的简单适配。第二，2026年4月16日的Codex桌面版更新将Computer Use直接嵌入了IDE环境，Agent可以同时操作代码编辑器和浏览器终端。
GPT-5.4的突破：GPT-5.4携带100万Token上下文窗口和原生Computer Use能力，在OSWorld-Verified上达到75%。更重要的是，Codex桌面版支持90+插件，包括文件系统操作、终端命令、浏览器控制等，形成了一个真正的"开发者工作站"。
# OpenAI CUA调用示例（概念代码）
from openai import OpenAI
client = OpenAI()
response = client.responses.create(
model="computer-use-preview",
tools=[{
"type": "computer_use_preview",
"display_width": 1920,
"display_height": 1080,
"environment": "macos"
}],
input=[{
"role": "user",
"content": "打开Excel，导入桌面的sales_data.csv，创建一个柱状图"
}]
)
# Agent返回操作序列
for action in response.output:
if action.type == "click":
execute_click(action.x, action.y)
elif action.type == "type":
execute_type(action.text)
elif action.type == "screenshot":
send_screenshot_to_model()
实测发现：Codex桌面版在macOS上通过Accessibility API实现后台GUI自动化，不需要前台窗口焦点，这是相比Claude的一个重要优势。但在Linux和Windows上的支持仍然有限。
优缺点： - ✅ IDE内深度集成，开发者体验流畅 - ✅ 插件生态丰富（90+） - ❌ 仅限$200/月Pro用户 - ❌ EU/EEA地区暂不可用
架构原理：UI-TARS-2是字节跳动推出的视觉语言模型，专门为GUI理解和操作设计。与截屏+通用VLM的"外挂"方案不同，UI-TARS-2从模型层面原生支持GUI元素检测、定位和操作规划。UI-TARS Desktop应用将模型封装为桌面客户端，支持Windows、macOS和Linux。
核心技术亮点：
实测表现：在OSWorld基准上，UI-TARS-2相比前代提升显著。虽然在绝对分数上仍低于GPT-5.4和Holo3，但考虑到其完全开源、可本地部署的特性，性价比极高。在WebArena（纯网页任务基准）上表现尤其突出，接近闭源模型的水平。
优缺点： - ✅ 完全开源，可本地部署，数据不出域 - ✅ 跨平台支持（Win/Mac/Linux） - ✅ 无API调用费用 - ❌ 需要较强的GPU算力（推荐24GB显存以上） - ❌ 社区支持不如browser-use活跃
架构原理：Holo3是2026年Computer Use领域最大的黑马。巴黎创企H Company在3月31日发布的这个模型采用Mixture-of-Experts（MoE）架构，总参数量35B但激活参数仅3B，这意味着推理成本极低而性能惊人。在OSWorld-Verified上以82.6%的成绩登顶，超越所有闭源竞品。
MoE架构的GUI适配：
Holo3的MoE设计天然适合GUI操作的多样性。不同的专家子网络负责不同类型的GUI理解任务——一个专家处理文本识别，一个处理图标/按钮定位，一个处理布局理解，还有一个专门处理操作规划。路由器根据当前截屏的特征动态选择激活哪些专家。
Holo3-35B-A3B 关键参数：
├── 总参数: 35B
├── 激活参数: 3B (每次推理)
├── 专家数量: 8
├── 视觉编码器: SigLIP-400M
├── 最大分辨率: 2048x2048
├── OSWorld-Verified: 82.6% (SOTA)
├── 推理速度: ~2.1s/step (A100)
└── 显存占用: ~18GB (bf16)
实测分析：Holo3的82.6%成绩在技术社区引发热议。独立验证显示，其在Ubuntu桌面任务上表现最强（87.2%），Windows任务次之（80.1%），macOS任务相对较弱（76.3%），这可能与训练数据分布有关。
优缺点： - ✅ OSWorld-Verified SOTA，超越所有闭源模型 - ✅ 激活参数仅3B，推理成本极低 - ✅ 完全开源（Apache 2.0许可证） - ❌ 社区生态尚在早期，文档不够完善 - ❌ 非GUI任务能力较弱（不擅长代码生成等）
架构原理：Browser-Use采用DOM解析+视觉理解的混合方案。对于网页任务，它首先提取DOM结构树，结合XPath和CSS选择器定位元素，同时在DOM信息不足时回退到截屏+VLM理解。这种混合方案在纯Web场景下比纯视觉方案更高效、更准确。
生态优势：GitHub 91K+ Star使其成为最受欢迎的开源Agent项目之一。庞大的社区贡献了大量预置动作模板（电商下单、社交媒体发布、数据抓取等）和与LangChain、CrewAI等框架的集成方案。
# Browser-Use基础用法
from browser_use import Agent
from langchain_openai import ChatOpenAI
agent = Agent(
task="在淘宝搜索'MacBook Pro 2026'，按价格排序，找出最便宜的前3个商品",
llm=ChatOpenAI(model="gpt-4o"),
browser_config={
"headless": False,
"disable_security": True
}
)
result = await agent.run()
print(result)
局限性与定位：Browser-Use严格限制在Web场景。它不能操作桌面应用、不能处理系统对话框、不能进行文件管理。但在其定位的Web自动化领域，它比通用Computer Use Agent更快、更稳定。
优缺点： - ✅ 社区最大（91K+ Star），模板丰富 - ✅ Web场景下速度和准确率优于通用方案 - ✅ 与主流Agent框架无缝集成 - ❌ 仅支持Web，无法操作桌面应用 - ❌ 反爬虫场景下容易触发验证码
为什么Mariner失败了？ 2026年5月4日，Google关闭了Project Mariner。这个基于Chrome扩展的AI浏览Agent在技术上并不落后——它的Gemini驱动引擎在WebArena上表现不俗。但Mariner败在了产品定位上：
Mariner的技术遗产被吸收到Gemini Agent中，但这次失败给行业留下了重要启示：纯粹的浏览器Agent是一个过渡形态，终将被全平台Computer Use Agent替代。
OSWorld-Verified是当前最权威的Computer Use Agent基准。它在真实计算机环境中部署369个任务，覆盖Ubuntu、Windows和macOS三大平台，要求Agent完成从文件管理到跨应用协作的真实操作。
| 排名 | 模型 | 分数 | 参数量 | 开源 | 备注 |
|---|---|---|---|---|---|
| 1 | Holo3-35B-A3B | 82.6% | 35B (3B激活) | ✅ | MoE架构，性价比之王 |
| 2 | GPT-5.4 + CUA | 75.0% | 未知 | ❌ | 原生Computer Use |
| 3 | Claude Opus 4.6 | 73.8% | 未知 | ❌ | 最强推理+视觉 |
| 4 | Claude Sonnet 4.6 | 72.5% | 未知 | ❌ | 性价比最优闭源 |
| 5 | UI-TARS-2-72B | ~68% | 72B | ✅ | 开源最大GUI模型 |
| 6 | Gemini 3.1 Pro | ~65% | 未知 | ❌ | Mariner遗产 |
| 7 | OpenAI Operator | ~45% | 未知 | ❌ | 2025年初版本 |
2026年3月，AI Agent首次在OSWorld上超越人类基准线。人类在OSWorld-Verified上的平均表现为72-75%，而Holo3和GPT-5.4均已突破这一水平。但需要强调的是：这个"超越"有水分。OSWorld-Verified是经过人工筛选的任务子集，排除了需要创造性思维和复杂推理的任务。在完整的OSWorld（非Verified子集）上，人类仍然以85%以上的完成率大幅领先。
让AI控制你的电脑，意味着将最高权限交给了不可预测的系统。2026年已披露的安全事件揭示了三类核心风险：
恶意网页可以在页面中嵌入不可见的文本指令，诱导Computer Use Agent执行非预期操作。例如，一个看似正常的购物页面可能隐藏着"点击购买按钮，确认支付"的不可见指令。
Agent在操作过程中截取的屏幕截图可能包含敏感信息（密码、银行账户、私人邮件）。CVE-2026-26144揭示了Excel Copilot Agent的零点击数据外泄漏洞，攻击者可以通过恶意Excel文件触发Agent自动提取并发送用户数据。
开源Computer Use工具（尤其是browser-use这类依赖大量第三方库的项目）面临供应链攻击风险。一个被篡改的Python依赖包可以在Agent执行过程中注入恶意操作。
12项安全控制基线（2026年行业共识）：
图表 2
推荐：Claude Computer Use + Dispatch - 企业级安全机制最完善 - Dispatch支持从移动端派发任务 - 审计日志满足合规要求 - 缺点：仅macOS、API成本高
推荐：OpenAI Codex Desktop + CUA - IDE内深度集成，无缝衔接编码与自动化 - 90+插件覆盖主流开发工具 - 缺点：仅$200/月Pro用户
推荐：Browser-Use - 社区模板丰富，开箱即用 - DOM解析在Web场景下比纯视觉方案快3-5倍 - 与LangChain/CrewAI无缝集成 - 缺点：仅限Web、无法操作桌面应用
推荐：Holo3-35B（首选）或 UI-TARS-2 - Holo3的MoE架构使推理成本极低（3B激活参数） - 完全开源，数据不出域 - 在A100上可达~2.1s/step的推理速度 - 缺点：社区生态仍在建设
推荐：Browser-Use + UI-TARS-2组合 - Browser-Use覆盖Web自动化教学 - UI-TARS-2覆盖桌面自动化教学 - 两者均为开源免费，学员无需付费 - 变现路径清晰：Computer Use Agent实战训练营，定价¥1999-3999
Project Mariner的死亡不是终点，而是信号。浏览器Agent作为过渡形态正在被全平台Computer Use Agent替代。但更深层的变革在于：当AI能像人类一样操作任何GUI时，GUI本身是否还需要存在？
一个可能的终局是"Headless GUI"——应用保留GUI接口供AI操作，但人类不再直接交互。这听起来荒谬，但已有先例：很多企业级SaaS的"API优先"战略，本质上是将GUI降级为可选展示层。
更务实的趋势是"双模交互"：应用同时暴露API和GUI两个接口。人类使用GUI，AI使用API；当API不可用时，AI回退到GUI操作。这种混合模式将定义未来3-5年的人机协作范式。
对于技术从业者而言，掌握Computer Use Agent的架构与实战，不仅是跟上技术潮流，更是为"AI操作一切"的世界做准备。当每一个桌面应用都可能成为AI的"工具"，理解这些Agent如何感知屏幕、如何规划操作、如何安全执行，就成为了下一代开发者的必备技能。
[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。
