屏幕自主Agent四轴分裂实测

2026年6月，OSWorld-Verified榜单被Claude Opus 4.8以83.4%刷到接近人类基线（87%），头部模型挤在1.6个百分点之内。但把榜单第一名接到生产里跑真实工作流——文件操作、浏览器自动化、Shell脚本、跨应用编排——的团队发现一个被头条分数掩盖的事实：没有任何一个Agent在GUI、Web、CLI、Hybrid四个轴上同时领先。榜首选错，就是系统性的翻车。本期以Steel.dev榜单、OSWorld-Human延迟研究、四轴拆解报告与Claude Computer Use真实定价为底，做一次屏幕自主Agent的轴级实测。

一、四轴分裂的本质

"计算机使用Agent"（Computer-Use Agent，CUA）这个词把四个能力域压成一个标签，而每个域有自己的榜单、自己的领跑者、自己的失败模式：

把这个表记住，因为采购环节最贵的一个错误，就是工程团队按SWE-bench或OSWorld的综合榜选定一个模型，然后把它延伸到桌面自动化——结果比"按工作负载匹配选型"系统性更差。四轴框架不是分析趣味，而是2026下半年企业采购的纪律。

二、GUI轴霸主Claude：截图即接口

轴	含义	主导基准	2026领跑者	头部分数
GUI Navigation	桌面应用点击/填表/滚动	OSWorld-Verified	Claude Opus 4.8	83.4%
Web Automation	浏览器DOM/JS/鉴权会话	WebArena	OpenAI Operator	~58%
CLI Execution	Shell/脚本/文件I/O	Terminal-Bench / Cline Bench	Codex BCU	15–30% gap vs SWE-bench
Hybrid Orchestration	跨多应用流水线	OSWorld 50-step	无明显赢家	12–20%

Anthropic的Computer Use架构刻意做成OS无关：它对外只暴露截图+鼠标+键盘三种原语——observe（截图）、act（{"action":"click","coordinate":[342,198]}）、remember（对话历史）。聪明全在模型里：它读像素找按钮、理解应用专属UI约定、从意外弹窗里恢复。这让Claude能在VM、容器、远程桌面之间无差别部署，正好命中企业异构环境（Windows遗留系统、Ubuntu服务器、macOS工作站混编）的需求，因此Claude系霸占了OSWorld-Verified前列。

# Claude Computer Use 核心循环：observe-think-act
import anthropic, base64
client = anthropic.Anthropic()

def screenshot_b64(vm):  # 从沙箱VM抓屏
    return base64.b64encode(vm.capture()).decode()

def run_task(vm, prompt, max_steps=50):
    msgs = [{"role":"user","content": prompt}]
    for step in range(max_steps):
        msgs.append({"role":"user","content":[
            {"type":"image","source":{"type":"base64",
             "media_type":"image/png","data": screenshot_b64(vm)}},
            {"type":"text","text":"Take the next action."},
        ]})
        resp = client.beta.computer_use.tools.create(
            model="claude-opus-4-8", tools=[computer_tool], messages=msgs,
            betas=["computer-use-2025-01-24"])  # beta，必须在VM里跑
        for block in resp.content:
            if block.type == "tool_use":
                vm.execute(block.input)  # 真实点击/键入，沙箱隔离
        if resp.stop_reason == "end_turn":
            return vm.verify_end_state()  # 永远校验终态

代价是延迟：每个动作要重新发送带完整历史的截图，规划与反思的LLM调用吃掉75–94%的总时间。GUI轴赢在覆盖广度，输在每步成本与速度。

三、Web轴黑马：Operator与Gemini的DOM原生优势

浏览器原生工作流是Operator（OpenAI）和Gemini（Google，承袭Project Mariner）的主场。它们的架构利用DOM感知与Web原生动作，而非通用屏幕抓取，在鉴权会话和单页应用（SPA）上有结构性优势——Operator在WebArena拿到约58%，是其最强单项；而它在OSWorld只有约38%，20个百分点的鸿沟正是"按轴选型"为何重要的活教材。

这里有个极易踩的坑：模态选择。WebArena（DOM消费）与Visual WebArena（截图消费）用同样的四个站点和同样的成功函数，唯一区别是Agent消费的模态。截图接地比DOM接地难，于是Visual WebArena系统性比WebArena低10–15分。Anthropic Computer Use和OpenAI Operator都是截图接地——它们声称的"WebArena分数"应当按Visual WebArena口径读，而不是原始WebArena口径；BrowserGym+LangGraph这类配置是DOM接地，它们的WebArena声明才是对的口径。不核模态就比分数，是Web轴选型最常见的误读。

四、CLI轴盲区：被低估的一轴

CLI执行轴的基准覆盖最少，而企业价值最被低估。Terminal-Bench（2025年5月）和Cline Bench（2025年11月）都试图在沙箱CLI环境里评估仓库原生任务，但都没拿到OSWorld或WebArena那样的机构性共识。OpenAI的Codex Background Computer Use（2026年4月16日发布）专门瞄准这一轴，以macOS优先的Shell自动化和并行Agent会话切入。

对平台工程和DevOps团队——CLI能力Agent的主要买家——SWE-bench和OSWorld都是糟糕的代理指标。可得的Terminal-Bench分数显示，模型间存在15–30个百分点的能力差，而SWE-bench的PR格式完全掩盖了这种差异。结论是：如果你买Agent是为了终端/Shell工作，别看OSWorld榜单，要看Terminal-Bench，或者干脆自己搭一套仓库原生的回归测试。否则CLI轴会是你四个轴里沉默成本最高的一轴。

五、Hybrid轴地狱：12–20%与MCP的救场

多应用编排是所有Agent的滑铁卢。需要GUI、Web、CLI协调序列的任务——"从邮件拉发票数据、更新会计电子表格、再把摘要推到Slack"——在OSWorld多应用评测里只有12–20%的成功率。这不是模型能力缺口，而是架构缺口：多数Agent缺少跨应用上下文切换的持久记忆和可靠状态追踪。

MCP（Model Context Protocol）工具化在这里有可测量的改善。近期评测显示，MCP工具把OpenAI o3在15步任务上的成功率从8.3%拉到17.6%，把Claude Sonnet在50步任务上从38.9%拉到45.0%。改善真实，但仍把Hybrid轴留在远低于人类水平的位置。生产里的做法是按工作负载路由 + MCP增强 + 兜底回退：

# 四轴路由harness：按任务形态分流，而非单一Agent包打
def route(task):
    kind = classify(task)  # GUI / WEB / CLI / HYBRID
    if kind == "GUI":   return ClaudeCU(model="opus-4-8")     # 文件/Windows遗留
    if kind == "WEB":   return Operator() or Gemini()        # SaaS/鉴权会话
    if kind == "CLI":   return CodexBCU()                    # macOS/Shell
    if kind == "HYBRID": return MCPGraph(fallback=Human)     # 编排+兜底

Hybrid轴的诚实判断是：目前没有任何一个模型明显最佳，只能靠薄harness按工作负载类型路由，并为人审留出接口。

六、延迟黑洞：步数二次膨胀

OSWorld-Human（MLSys 2026）做了第一份CUA时间效率研究，结论很刺眼：人类2分钟的任务，Agent要跑20分钟以上。研究拆解了开源标杆Agent S2的延迟来源，发现规划（Planning）与反思（Reflection）的LLM调用吃掉总任务时间的75–94%。这两步每一步都带着完整观测历史，意味着步数越多的任务二次方变慢——即使最强的S2，完成任务也要比所需多走1.4倍的步数，多出来的就是几十分钟实时延迟。

# 1) 分组动作（grouped-action）：UI无变化的步合并为一次观测
#    点击文本框、输入、回车 —— 不需要3张截图
def should_screenshot(prev_obs, action):
    return action.causes_ui_change  # type/click-input 不触发新截图

# 2) 加权效率评分 WES+ = t_human / t_agent，把"少走步"量化成奖励信号
#    评测时与accuracy并列，避免只追准确率而牺牲速度

第二条尤其关键：把WES+（成功任务的效率分）和WES-（失败任务的步数惩罚）纳入回归，能逼Agent从"无脑多步"转向"一次观测多动作"。延迟不是模型问题而是循环结构问题——这给非模型厂商（harness/调度层）留出了明确的优化面。

七、成本账本：每动作的真金白银

Computer Use没有独立定价，全部走标准Claude token费率（Sonnet 4.6 $3/$15每百万，Opus 4.6 $5/$25）。每张截图是图片token输入，每次动作决策是输出token。TokenMix的实测账本如下：

路径	每动作延迟	每100动作成本	100动作任务成本	成功调整后单任务
Computer Use (Sonnet 4.6)	2–5s	$0.30–2.00	$0.60–1.10	~$0.9–1.5
Computer Use (Opus 4.6)	2–5s	—	$1.00–1.80	$1.30–2.40
Direct API	100–500ms	$0.005–0.05	—	—
MCP Server	50–200ms	$0.01–0.10	—	—

拆开看：每张1024×768截图约1,600–2,400图片token（≈$0.005–0.008 on Sonnet），每次动作决策80–200输出token（≈$0.001–0.003）。按75%成功率，Opus的真实单成功任务成本要再除以0.75，落在$1.30–2.40。Computer Use比直连API贵40–400倍、慢10–50倍，它唯一的存在理由是"目标系统没有API"。所以选型铁律很清晰：有API走API，有MCP走MCP，只有遇到遗留SaaS、无API的老CRM/采购门户、桌面遗留GUI时，才轮到Computer Use上场——而在那些场景里，它能把"登录老管理面板更新200条记录"从几天压缩到几小时，性价比依然成立。

八、选型红线与RPA互补现实

把四个轴、延迟、成本合到一张决策图上，路由逻辑就固化了：

flowchart TD
    T[任务输入] --> C{轴分类器}
    C -->|文件操作/Windows遗留GUI| A1[Claude Computer Use<br/>Opus 4.8 · OSWorld 83.4%]
    C -->|浏览器原生/SaaS/鉴权| A2[Operator 或 Gemini<br/>WebArena ~58%]
    C -->|macOS Shell/终端| A3[Codex Background CU<br/>Terminal-Bench口径]
    C -->|跨应用编排| A4[MCP增强图<br/>12-20% · 必须兜底]
    A1 --> V[终态校验]
    A2 --> V
    A3 --> V
    A4 --> V
    V -->|失败| R[重试/步数预算检查]
    R -->|预算未耗尽| C
    R -->|预算耗尽| H[Human-in-the-loop]
    V -->|成功| OK[完成]

三条选型红线：（1）按工作负载匹配选型，不要单一厂商包打——这是四轴分裂最硬的结论；（2）永远校验终态、设计步数预算与重试，因为截图接地在flaky应用、模态弹窗、像素级目标（拖拽手柄、tooltip）上成功率会从75%掉到50–60%；（3）Computer Use只在"无API"时启用，它跑在沙箱VM里，绝不放进带开发凭证的容器。

最后要破一个幻觉：AI Agent整体替代RPA。RPA市场2026年将达280亿美元、CAGR超30%，Gartner预计年底40%以上企业应用内嵌Agent。但数据支持的不是替代，而是互补——RPA处理结构化、规则化任务（可靠且便宜），CUA补上RPA做不到的推理、记忆与上下文适配。把这道切分做对的企业，流程自动化覆盖率从RPA单干的20–30%冲到60–80%；想用一个CUA"煮沸海洋"替换全部RPA的，则在Hybrid轴12–20%成功率上吃满人审开销。CUA的落地姿态是"啃RPA喂不动的边角"，而不是"端掉RPA"。

下半年三件事值得盯：OSWorld顶端已挤在1.6个百分点内，社区将转向OSWorld 2.0或后继基准、塞进更难的多应用任务；MCP工具化若成熟，Hybrid成功率有望从12–20%爬到30–40%，这是企业落地最大的变量；Terminal-Bench/Cline Bench需要拿到OSWorld在NeurIPS 2024那样的机构性共识，否则DevOps采购的CLI盲区会持续存在。屏幕自主Agent不是一个静态榜单，而是一组按轴季度刷新的能力组合——追踪组合，而不是追榜首。