2026年6月，OSWorld-Verified榜单被Claude Opus 4.8以83.4%刷到接近人类基线（87%），头部模型挤在1.6个百分点之内。但把榜单第一名接到生产里跑真实工作流——文件操作、浏览器自动化、Shell脚本、跨应用编排——的团队发现一个被头条分数掩盖的事实：**没有任何一个Agent在GUI、Web、CLI、Hybrid四个轴上同时领先**。榜首选错，就是系统性的翻车。本期以Steel.dev榜单、OSWorld-Human延迟研究、四轴拆解报告与Claude Computer Use真实定价为底，做一次屏幕自主Agent的轴级实测。 ## 一、四轴分裂的本质 "计算机使用Agent"（Computer-Use Agent，CUA）这个词把四个能力域压成一个标签，而每个域有自己的榜单、自己的领跑者、自己的失败模式： | 轴 | 含义 | 主导基准 | 2026领跑者 | 头部分数 | |---|---|---|---|---| | GUI Navigation | 桌面应用点击/填表/滚动 | OSWorld-Verified | Claude Opus 4.8 | 83.4% | | Web Automation | 浏览器DOM/JS/鉴权会话 | WebArena | OpenAI Operator | ~58% | | CLI Execution | Shell/脚本/文件I/O | Terminal-Bench / Cline Bench | Codex BCU | 15–30% gap vs SWE-bench | | Hybrid Orchestration | 跨多应用流水线 | OSWorld 50-step | 无明显赢家 | 12–20% | 把这个表记住，因为采购环节最贵的一个错误，就是工程团队按SWE-bench或OSWorld的综合榜选定一个模型，然后把它延伸到桌面自动化——结果比"按工作负载匹配选型"系统性更差。四轴框架不是分析趣味，而是2026下半年企业采购的纪律。 ## 二、GUI轴霸主Claude：截图即接口 Anthropic的Computer Use架构刻意做成OS无关：它对外只暴露**截图+鼠标+键盘**三种原语——observe（截图）、act（`{"action":"click","coordinate":[342,198]}`）、remember（对话历史）。聪明全在模型里：它读像素找按钮、理解应用专属UI约定、从意外弹窗里恢复。这让Claude能在VM、容器、远程桌面之间无差别部署，正好命中企业异构环境（Windows遗留系统、Ubuntu服务器、macOS工作站混编）的需求，因此Claude系霸占了OSWorld-Verified前列。 ```python # Claude Computer Use 核心循环：observe-think-act import anthropic, base64 client = anthropic.Anthropic() def screenshot_b64(vm): # 从沙箱VM抓屏 return base64.b64encode(vm.capture()).decode() def run_task(vm, prompt, max_steps=50): msgs = [{"role":"user","content": prompt}] for step in range(max_steps): msgs.append({"role":"user","content":[ {"type":"image","source":{"type":"base64", "media_type":"image/png","data": screenshot_b64(vm)}}, {"type":"text","text":"Take the next action."}, ]}) resp = client.beta.computer_use.tools.create( model="claude-opus-4-8", tools=[computer_tool], messages=msgs, betas=["computer-use-2025-01-24"]) # beta，必须在VM里跑 for block in resp.content: if block.type == "tool_use": vm.execute(block.input) # 真实点击/键入，沙箱隔离 if resp.stop_reason == "end_turn": return vm.verify_end_state() # 永远校验终态 ``` 代价是延迟：每个动作要重新发送带完整历史的截图，规划与反思的LLM调用吃掉75–94%的总时间。GUI轴赢在覆盖广度，输在每步成本与速度。 ## 三、Web轴黑马：Operator与Gemini的DOM原生优势 浏览器原生工作流是Operator（OpenAI）和Gemini（Google，承袭Project Mariner）的主场。它们的架构利用DOM感知与Web原生动作，而非通用屏幕抓取，在鉴权会话和单页应用（SPA）上有结构性优势——Operator在WebArena拿到约58%，是其最强单项；而它在OSWorld只有约38%，20个百分点的鸿沟正是"按轴选型"为何重要的活教材。 这里有个极易踩的坑：**模态选择**。WebArena（DOM消费）与Visual WebArena（截图消费）用同样的四个站点和同样的成功函数，唯一区别是Agent消费的模态。截图接地比DOM接地难，于是Visual WebArena系统性比WebArena低10–15分。Anthropic Computer Use和OpenAI Operator都是截图接地——它们声称的"WebArena分数"应当按Visual WebArena口径读，而不是原始WebArena口径；BrowserGym+LangGraph这类配置是DOM接地，它们的WebArena声明才是对的口径。不核模态就比分数，是Web轴选型最常见的误读。 ## 四、CLI轴盲区：被低估的一轴 CLI执行轴的基准覆盖最少，而企业价值最被低估。Terminal-Bench（2025年5月）和Cline Bench（2025年11月）都试图在沙箱CLI环境里评估仓库原生任务，但都没拿到OSWorld或WebArena那样的机构性共识。OpenAI的Codex Background Computer Use（2026年4月16日发布）专门瞄准这一轴，以macOS优先的Shell自动化和并行Agent会话切入。 对平台工程和DevOps团队——CLI能力Agent的主要买家——SWE-bench和OSWorld都是糟糕的代理指标。可得的Terminal-Bench分数显示，模型间存在15–30个百分点的能力差，而SWE-bench的PR格式完全掩盖了这种差异。结论是：**如果你买Agent是为了终端/Shell工作，别看OSWorld榜单**，要看Terminal-Bench，或者干脆自己搭一套仓库原生的回归测试。否则CLI轴会是你四个轴里沉默成本最高的一轴。 ## 五、Hybrid轴地狱：12–20%与MCP的救场 多应用编排是所有Agent的滑铁卢。需要GUI、Web、CLI协调序列的任务——"从邮件拉发票数据、更新会计电子表格、再把摘要推到Slack"——在OSWorld多应用评测里只有**12–20%的成功率**。这不是模型能力缺口，而是架构缺口：多数Agent缺少跨应用上下文切换的持久记忆和可靠状态追踪。 MCP（Model Context Protocol）工具化在这里有可测量的改善。近期评测显示，MCP工具把OpenAI o3在15步任务上的成功率从8.3%拉到17.6%，把Claude Sonnet在50步任务上从38.9%拉到45.0%。改善真实，但仍把Hybrid轴留在远低于人类水平的位置。生产里的做法是**按工作负载路由 + MCP增强 + 兜底回退**： ```python # 四轴路由harness：按任务形态分流，而非单一Agent包打 def route(task): kind = classify(task) # GUI / WEB / CLI / HYBRID if kind == "GUI": return ClaudeCU(model="opus-4-8") # 文件/Windows遗留 if kind == "WEB": return Operator() or Gemini() # SaaS/鉴权会话 if kind == "CLI": return CodexBCU() # macOS/Shell if kind == "HYBRID": return MCPGraph(fallback=Human) # 编排+兜底 ``` Hybrid轴的诚实判断是：**目前没有任何一个模型明显最佳**，只能靠薄harness按工作负载类型路由，并为人审留出接口。 ## 六、延迟黑洞：步数二次膨胀 OSWorld-Human（MLSys 2026）做了第一份CUA时间效率研究，结论很刺眼：**人类2分钟的任务，Agent要跑20分钟以上**。研究拆解了开源标杆Agent S2的延迟来源，发现规划（Planning）与反思（Reflection）的LLM调用吃掉总任务时间的75–94%。这两步每一步都带着完整观测历史，意味着步数越多的任务**二次方变慢**——即使最强的S2，完成任务也要比所需多走1.4倍的步数，多出来的就是几十分钟实时延迟。 研究者给出的两条工程抓手，可以直接搬进生产： ```python # 1) 分组动作（grouped-action）：UI无变化的步合并为一次观测 # 点击文本框、输入、回车 —— 不需要3张截图 def should_screenshot(prev_obs, action): return action.causes_ui_change # type/click-input 不触发新截图 # 2) 加权效率评分 WES+ = t_human / t_agent，把"少走步"量化成奖励信号 # 评测时与accuracy并列，避免只追准确率而牺牲速度 ``` 第二条尤其关键：把WES+（成功任务的效率分）和WES-（失败任务的步数惩罚）纳入回归，能逼Agent从"无脑多步"转向"一次观测多动作"。延迟不是模型问题而是循环结构问题——这给非模型厂商（harness/调度层）留出了明确的优化面。 ## 七、成本账本：每动作的真金白银 Computer Use没有独立定价，全部走标准Claude token费率（Sonnet 4.6 $3/$15每百万，Opus 4.6 $5/$25）。每张截图是图片token输入，每次动作决策是输出token。TokenMix的实测账本如下： | 路径 | 每动作延迟 | 每100动作成本 | 100动作任务成本 | 成功调整后单任务 | |---|---|---|---|---| | Computer Use (Sonnet 4.6) | 2–5s | $0.30–2.00 | $0.60–1.10 | ~$0.9–1.5 | | Computer Use (Opus 4.6) | 2–5s | — | $1.00–1.80 | **$1.30–2.40** | | Direct API | 100–500ms | $0.005–0.05 | — | — | | MCP Server | 50–200ms | $0.01–0.10 | — | — | 拆开看：每张1024×768截图约1,600–2,400图片token（≈$0.005–0.008 on Sonnet），每次动作决策80–200输出token（≈$0.001–0.003）。按75%成功率，Opus的真实单成功任务成本要再除以0.75，落在$1.30–2.40。**Computer Use比直连API贵40–400倍、慢10–50倍**，它唯一的存在理由是"目标系统没有API"。所以选型铁律很清晰：有API走API，有MCP走MCP，只有遇到遗留SaaS、无API的老CRM/采购门户、桌面遗留GUI时，才轮到Computer Use上场——而在那些场景里，它能把"登录老管理面板更新200条记录"从几天压缩到几小时，性价比依然成立。 ## 八、选型红线与RPA互补现实 把四个轴、延迟、成本合到一张决策图上，路由逻辑就固化了： ```mermaid flowchart TD T[任务输入] --> C{轴分类器} C -->|文件操作/Windows遗留GUI| A1[Claude Computer Use
Opus 4.8 · OSWorld 83.4%] C -->|浏览器原生/SaaS/鉴权| A2[Operator 或 Gemini
WebArena ~58%] C -->|macOS Shell/终端| A3[Codex Background CU
Terminal-Bench口径] C -->|跨应用编排| A4[MCP增强图
12-20% · 必须兜底] A1 --> V[终态校验] A2 --> V A3 --> V A4 --> V V -->|失败| R[重试/步数预算检查] R -->|预算未耗尽| C R -->|预算耗尽| H[Human-in-the-loop] V -->|成功| OK[完成] ``` 三条选型红线：**（1）按工作负载匹配选型，不要单一厂商包打**——这是四轴分裂最硬的结论；**（2）永远校验终态、设计步数预算与重试**，因为截图接地在flaky应用、模态弹窗、像素级目标（拖拽手柄、tooltip）上成功率会从75%掉到50–60%；**（3）Computer Use只在"无API"时启用**，它跑在沙箱VM里，绝不放进带开发凭证的容器。 最后要破一个幻觉：AI Agent整体替代RPA。RPA市场2026年将达280亿美元、CAGR超30%，Gartner预计年底40%以上企业应用内嵌Agent。但数据支持的不是替代，而是**互补**——RPA处理结构化、规则化任务（可靠且便宜），CUA补上RPA做不到的推理、记忆与上下文适配。把这道切分做对的企业，流程自动化覆盖率从RPA单干的20–30%冲到60–80%；想用一个CUA"煮沸海洋"替换全部RPA的，则在Hybrid轴12–20%成功率上吃满人审开销。CUA的落地姿态是"啃RPA喂不动的边角"，而不是"端掉RPA"。 下半年三件事值得盯：OSWorld顶端已挤在1.6个百分点内，社区将转向OSWorld 2.0或后继基准、塞进更难的多应用任务；MCP工具化若成熟，Hybrid成功率有望从12–20%爬到30–40%，这是企业落地最大的变量；Terminal-Bench/Cline Bench需要拿到OSWorld在NeurIPS 2024那样的机构性共识，否则DevOps采购的CLI盲区会持续存在。屏幕自主Agent不是一个静态榜单，而是一组按轴季度刷新的能力组合——追踪组合，而不是追榜首。 --- ## 参考来源 1. [OSWorld Leaderboard 2026 — Steel.dev](https://leaderboard.steel.dev/leaderboards/osworld/) — 369任务执行验证榜单，Claude Opus 4.8 83.4%、Mythos 79.6%、OSAgent 76.26%、GPT-5.4 75.0%、Operator 32.6%（更新于2026-05-28） 2. [Computer-Use Agents 2026: GUI, Web, CLI and Hybrid Have Different Leaders — AgentMarketCap](https://agentmarketcap.ai/blog/2026/04/23/computer-use-agents-four-axes-2026-benchmark-reality) — 四轴分裂、按工作负载路由启发式、Hybrid 12–20%与MCP救场数据（8.3→17.6%、38.9→45.0%） 3. [OSWorld-Human: Benchmarking the Efficiency of Computer-Use Agents — MLSys@WukLab / arXiv:2506.16042](https://mlsys.wuklab.io/posts/oshuman/) — 人类2min vs Agent 20min，规划反思占75–94%时间，S2多走1.4×步数，WES效率评分 4. [Browser-Agent Benchmarks 2026: WebArena, Visual WebArena, OSWorld — BenchmarkingAgents](https://benchmarkingagents.com/best-benchmarks-for-browser-agents/) — DOM vs 截图模态10–15分差，三部署形态对应三基准，2026前沿区间 5. [Claude Computer Use API 2026: 72.5% OSWorld Score, Real Pricing — TokenMix](https://tokenmix.ai/blog/claude-computer-use-api-2026) — 真实定价账本（每动作$0.006–0.018，成功调整Opus单任务$1.30–2.40）、Computer Use vs API vs MCP对比 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。