<!-- title: 看得见点不中：电脑自主体实测 -->

## 概述

2026年最热的自主智能体方向不再是聊天或编码，而是 **Computer Use / GUI Agent**——能直接操作真实电脑、浏览器、桌面应用的"行动派"自主体。但当行业把这类产品推给企业真实工单时，数据却冷得刺骨：OpenAI Operator 在 OSWorld（真实桌面任务）上的端到端成功率仅约 **38%**，而在更简单的 WebVoyager 网页任务上却高达 **87%**。这 49 个百分点的鸿沟，正是本文要拆解的核心断点。

本文的核心发现是：电脑自主体的瓶颈**不在规划（LLM 已经够强），而在"看得见点不中"**——视觉感知能识别"那里有个按钮"，但把意图精确映射到可执行像素坐标的能力（GUI grounding）是独立的、更难的能力；并且这个定位误差在多步任务中以 **复合准确率** 的方式被指数级放大——每步 95% 的定位成功率，10 步之后整体只剩约 60%。下面用基准数据与工程断点逐层拆解。

## 主流电脑自主体实战对比

| 自主体 | 所属 | 主力策略 | OSWorld(桌面) | 网页任务 | 定位方式 | 最近状态 |
|--------|------|----------|---------------|----------|----------|----------|
| Operator (CUA) | OpenAI | 纯视觉+坐标 | ~38% | WebVoyager 87% / WebArena 58% | 像素坐标 | 2026 持续迭代 |
| Claude Computer Use | Anthropic | 截图+坐标+工具 | ~22%(首发) | 中高 | 像素坐标 | API 稳定 |
| Devin | Cognition | 浏览器+终端 API | 面向工程 | 偏编码 | DOM/语义优先 | 商业化 |
| Manus | Manus AI | 浏览器云环境 | — | 偏网页 | DOM+视觉混合 | 消费级 |
| UGround(底座) | OSU NLP | 专用 grounding 模型 | grounding 76%+ | — | 框选+坐标 | ICLR'25 Oral |
| OS-Atlas(底座) | 阿里 | 跨平台 grounding | 大规模语料 | — | 框选坐标 | 开源 |

> 说明：上表基准数字来源于各产品公开评测与第三方横向报告，OSWorld 成绩随模型版本快速变化，仅供量级参考，不作为绝对排名。

---

## 一、看得见点不中：grounding 的本质鸿沟

外行人会以为"能看懂屏幕"和"能操作屏幕"是同一件事。**在自主体里这是两种独立的能力，中间隔着一道叫 grounding 的悬崖。** 视觉语言模型（VLM）识别"右下角有一个蓝色'提交'按钮"属于感知；而 grounding 要回答的是一个完全不同的问题——"这个按钮的中心像素坐标是 (1843, 917)，点击它"。

这两者并非同步进步。业界专门为此造了一个基准 **OSWorld-G**，从真实桌面任务中切出 **564 个标注好的 grounding 子任务**，只考"给定一句指令，你能不能框对/点对那个 UI 元素"。结果很打脸：很多在 OSWorld 上"看起来会做任务"的智能体，拆到 grounding 这一层，定位准确率会单独塌一截。这就是为什么 Operator 在网页任务上能 87%，换到桌面立刻 38%——网页有 DOM、有 accessibility tree 这些结构化坐标可抄，桌面只能靠"用眼睛量像素"，grounding 税瞬间暴增。底层工具 UGround（ICLR'25 Oral）、OS-Atlas（迄今最大开源跨平台 grounding 语料库）之所以是研究热点，正是因为它们试图把 grounding 从"附属于大模型的能力"独立出来、单独练硬。

## 二、坐标漂移：截图-动作的确定性悬崖

实战中最让人崩溃的不是"偶尔点不中"，而是**"昨天能点中，今天点不中；同一截图跑三遍，三个坐标"**。这叫坐标漂移，根因有三：第一，VLM 输出坐标本身就是概率采样，温度、采样策略会让同一输入产生不同坐标；第二，截图分辨率与智能体内部归一化坐标系不一致，1920×1080 的截图被缩放到 1280×1024 再吐坐标，亚像素对齐误差被放大；第三，UI 元素本身在动——悬浮菜单、加载动画、动态列表会让"上一帧的位置"在下一帧失效。

工程师真正头疼的是**确定性**：一个能复现的失败才叫 bug，一个随机失败的自动化叫定时炸弹。纯视觉坐标路线天然带这种随机性。这就是为什么严肃的生产级智能体普遍**不押注纯像素**，而是 hybrid：优先吃 accessibility tree / DOM 拿到语义化的元素句柄（`button[label="提交"]`），只在拿不到结构化信息时才回退到视觉坐标。OS-Atlas、UGround 这类专用 grounding 模型的价值，正是把"视觉→坐标"这一步从大模型的不确定输出，换成一个小而稳的专用网络，把漂移压下来。

## 三、复合误差：每步 95% 为何只剩 60%

这是电脑自主体最致命的一条数学，也是最反直觉的一条：**单步成功率再高，乘起来都会塌。** 一个 10 步的工单流程，假设每一步（识别→定位→操作→验证）都做到 95% 的准确率，端到端成功率只有 `0.95^10 ≈ 60%`；20 步只剩 `0.95^20 ≈ 36%`。这就是业界反复讨论的 **compound accuracy problem（复合准确率问题）**——也是为什么 Operator 在真实桌面任务上 38% 这个数字，和"每步看起来都不错"的体感严重不符。

这条定律有三个推论。其一，**别迷信单点 demo**：厂商放的视频都是挑出来的成功案例，单步 95% 演示毫无意义，必须看长程任务的端到端数字。其二，**短流程是友军**：把一个 20 步任务拆成 4 个 5 步子任务，每个子任务人工把关（相当于在中间插入确定性=100% 的步骤），整体成功率立刻从 36% 拉回 70% 区间——这就是"人机接管点"设计的数学依据。其三，**误差会换形态而非消失**：你不能靠"加 retry"消掉复合误差，retry 只是把"某一步失败"换成了"某一步烧更多 token 失败"，甚至触发 200 倍的级联重试税。唯一真正的解法是减少链长、或在断点处插入验证。

## 四、截图即过时：感知-状态的失同步

自主体的"眼睛"是周期性截图，而真实界面是连续变化的。这制造了一类隐蔽 bug：**智能体基于过时观测做决策**。典型场景：它点了"删除"，截图还没刷新，它"看到"文件还在，于是再点一次删除——双花（double-spend）。或者它点了下拉框，等下一帧截图时菜单还没展开完，它对着半展开的菜单乱点。这就是"副作用税"在 GUI 场景的变体。

缓解手段有三层。第一层是**动作后强制等待+视觉收敛**：执行动作后轮询截图，直到画面不再变化（或关键元素出现）才继续，代价是延迟。第二层是**双通道对账**：截图（视觉）与 accessibility tree / 进程状态（结构）交叉验证，不一致就告警。第三层是**事件驱动而非定时驱动**：业界 2026 年的新趋势是 step-level cascade、事件触发的步级优化（arXiv:2604.27151 思路），让智能体"等事件"而不是"等时间"，既省 token 又减少失同步。盲目提高截图频率是反向操作——它只会让过时观测更密集，把账单烧穿。

## 五、点完就当成了：验证环节的系统性缺失

观察任何一段失败的自主体轨迹，最常见的失败模式是：**它在正确的地方做了正确的动作，然后立刻宣称任务完成，而没有验证结果真的达成。** 这是 grounding 之后的第二道坎——验证（verification）。点击返回 200ms 成功，不等于业务目标达成；表单提交了，不等于订单创建成功。当前多数电脑自主体把"动作执行成功"等同于"任务目标达成"，这中间隔着业务语义。

这正是"自验证假通过"问题在 GUI 落地时的具象化。工程上的正确做法是在每个关键步骤后插入一个**独立的验证子目标**：不是问"我点了吗"，而是问"屏幕上现在应该出现什么，出现了吗"。例如删除文件后，验证"该文件在文件列表中消失"；提交订单后，验证"订单号出现在确认页"。验证必须用与执行不同的观测通道（执行靠点击，验证靠读屏/查 DOM/查数据库），否则验证器和执行器同源、一起被骗。代价是 token 与延迟——但相比"假完成导致下游连锁错误"，这点税是性价比最高的护栏。

## 六、实战四强：Operator / Claude CU / Devin / Manus 的取舍

把四款代表性产品摆在一起，能看清三条技术路线的分野。**OpenAI Operator** 押注纯视觉 + 像素坐标，网页场景强势（WebVoyager 87%），桌面偏弱（OSWorld 38%），优势是无需页面改造、泛化强，劣势是 grounding 随机性高。**Claude Computer Use** 同样走截图+坐标路线，首发 OSWorld 约 22%，胜在 API 成熟、可嵌入自定义工具，是企业自建落地的首选底座。**Devin** 聪明地把自己限制在"编码"这个结构化最强的领域——浏览器有 DOM、终端有结构化输出、Git 有明确状态，天然绕开了最难 grounding 的"自由桌面像素"，因此工程任务表现稳定，但让它去操作 Photoshop 就立刻露怯。**Manus** 主打消费级网页云环境，DOM+视觉混合，体验流畅但天花板受限于网页。

这条对比揭示了一个选型铁律：**优先把自主体约束在"结构化坐标可得"的场景。** 网页 > 终端 > 桌面原生应用，这个顺序基本就是 grounding 难度的逆序。能在 DOM 层解决，绝不下沉到像素；能调 API，绝不操作 GUI。

## 七、缓解工具栈：把 grounding 当独立工程做

既然 grounding 是独立税，缓解它也得独立做。生产级工具栈通常叠四层。**第一层 Set-of-Mark（SoM）**：在喂给 VLM 的截图上预先标注每个可交互元素（编号/框），把"找坐标"降级成"读编号"，立竿见影但依赖预标注。**第二层 专用 grounding 模型**：OS-Atlas、UGround 这类小模型专门做"指令→框/坐标"，比通用大模型稳，可离线部署。**第三层 结构化坐标兜底**：优先用 Playwright/ accessibility tree 拿语义句柄，grounding 模型只在兜底时上场。**第四层 视觉注意力校准**：像 V2P（ICLR'2026 方向）这类通过背景抑制+中心峰值来校准 VLM 视觉注意力的方法，针对"VLM 看到了却没看对地方"的问题。

代码示意（grounding 兜底编排，伪代码）：

```python
def act(intent):
    # 1. 优先结构化句柄（确定性最高）
    node = a11y_tree.find(label=intent.target)
    if node:
        return node.click()              # 零 grounding 税
    # 2. 退化到专用 grounding 模型（稳）
    box = grounding_model.locate(screenshot, intent.target)  # UGround/OS-Atlas
    if box.confidence > 0.9:
        return click(box.center)
    # 3. 最低层：让大模型直接吐坐标（最易漂移）
    coord = vlm_guess(screenshot, intent.target)
    return click(coord)                  # 随机性最高，需验证兜底
```

这条优先级链的本质是：**把确定性从高到低排，grounding 税按需缴纳，而不是一律让大模型裸眼量像素。**

## 八、最后一公里：Last Mile Failure 的末段集中塌方

复合误差有一个令人不安的分布特征：**失败不是均匀散落的，而是集中在最后几步。** 业界把这种现象称为 Last Mile Failure——一个 20 步工单，如果前面 17 步都顺，最后 3 步（确认、提交、收尾验证）的失败率反而偏高。原因有三：末步往往是不可逆操作（提交/付款/发送），错了无法回滚；末步的验证依赖前序所有状态的累积正确性，任何前序漂移在这里集中爆发；末步通常涉及跨系统（本地+服务端），状态最难对账。

这给了两个工程启示。其一，**把最强的护栏压在最后 20% 的步骤上**：与其全程均匀投入验证，不如在末段（提交、付款、发送）前强制插入二次确认门控与人机接管点，这是性价比最高的防线。其二，**接受"95% 完成度"作为人类接管信号**：与其追求自主体 100% 自主跑完（数学上几乎不可能），不如设计成"自主体跑到 95%、把最后 5% 交还人类确认"，这反而把整体可靠性从 38% 区间拉到可用区间。归因层面，ICML 2025 spotlight《Which Agent Causes Task Failures and When?》给出的工具能自动定位"是哪一步、哪个环节引爆了失败"，是做这套护栏的前置数据基础设施。

---

## 电脑自主体全链路断点架构图

```mermaid
flowchart TD
    A[用户工单指令] --> B[感知: 截图/VLM]
    B -->|断点1: 截图即过时<br/>状态失同步| C[定位: GUI Grounding]
    C -->|断点2: 看得见点不中<br/>坐标漂移不可复现| D[执行: 点击/输入]
    D -->|断点3: 双花/重放<br/>副作用未收敛| E[验证: 结果达成?]
    E -->|断点4: 点完就当成了<br/>自验证假通过| F{任务完成?}
    F -->|复合误差累积<br/>每步95%×10步=60%| G[宣称完成/继续]
    F -->|Last Mile: 末段集中塌方| H[末步不可逆操作失败]
    G --> I[✅ 成功 或 ❌ 静默假完成]
    H --> J[❌ 真失败, 需回滚]
    E -.兜底护栏.-> K[人机接管点<br/>确定性=100%]
    K --> C

    classDef tax fill:#fee,stroke:#c33,color:#900,stroke-width:2px;
    classDef ok fill:#efe,stroke:#393,color:#060;
    classDef node fill:#eef,stroke:#448,color:#225;
    class A,B,C,D,E,F,G node;
    class H,J,I tax;
    class K ok;
```

上图把电脑自主体的四道主税（感知失同步、grounding 漂移、副作用双花、验证假通过）与两条结构性塌方（复合误差累积、Last Mile 末段集中）串成一条链。每一道红色断点都对应一种已知的失败模式，而绿色的人机接管点是工程上唯一能注入"确定性=100%"的阀门。

---

## 推荐方案

**场景 A：纯网页自动化（数据采集、表单填写、电商下单）**
首选 **DOM/语义优先 + 纯 API 路线**。能调 API 绝不操作浏览器；必须操作浏览器时用 Playwright 拿语义句柄，grounding 税几乎为零。Operator/Manus 这类产品在此场景表现最好（WebVoyager 87% 量级）。验证用 DOM 读取，不依赖截图。

**场景 B：编码/DevOps 工单（修 bug、跑测试、发版）**
首选 **终端+结构化优先**，Devin 路线。Git 状态、CI 输出、文件系统都是强结构化坐标，天然避开 grounding。配合"计划即债务"的兑现率监控与失败归因（ICML 2025 spotlight 工具）做护栏。

**场景 C：桌面原生应用（Office/设计软件/内部系统）**
最硬骨头，**hybrid grounding 工具栈**：accessibility tree 优先 → 专用 grounding 模型（UGround/OS-Atlas）兜底 → VLM 裸眼坐标最后兜底。必须接受 OSWorld 38% 量级的成功率上限，设计成"自主体跑 95% + 末段人机接管"。

**场景 D：企业级长程工单（20 步以上跨系统）**
**接受复合误差数学，主动拆链**。把长链拆成 ≤5 步的短子任务，每个子任务后插验证子目标，末段（提交/付款）前强制二次确认门控。把护栏预算的 60% 压在最后 20% 步骤上，这是把可靠性从 36% 拉到可用区间的唯一杠杆。

**通则**：永远以 **端到端任务成功率**（而非单步 demo）作为选型依据；永远假设 grounding 不可复现，为关键操作设计重试+验证+人机接管三道闸；永远记得 38% 不是模型不够聪明，而是复合误差的数学必然——降链长比堆模型更有效。

## 参考来源

1. [OpenAI Operator at 15 Months: Enterprise Task Completion Data](https://agentmarketcap.ai/blog/2026/04/09/openai-operator-enterprise-15-months-task-completion-data) — Operator 在 WebArena 58% / WebVoyager 87% / OSWorld 38% 的公开任务完成率横向数据
2. [OSWorld-G: Scaling Computer-Use Grounding via UI Decomposition (xlang-ai, NeurIPS 2025)](https://github.com/xlang-ai/OSWorld-G) — 564 个真实桌面 grounding 子任务基准，专门测"指令→坐标"映射能力
3. [UGround: Universal Visual Grounding (OSU NLP, ICLR'25 Oral)](https://github.com/OSU-NLP-Group/UGround) — 把 grounding 作为独立能力训练的专用模型与跨平台数据集
4. [The Compound Accuracy Problem: Why Your 95% Accurate Agent Fails 40% of the Time](https://tianpan.co/blog/2026-04-20-compound-accuracy-multi-step-agent-pipelines) — 多步任务复合准确率数学推导（10 步 ×95% = 60%）
5. [Which Agent Causes Task Failures and When? (ICML 2025 Spotlight)](https://github.com/belinwu/agents-failure-attribution) — 自动归因"哪一步、哪个环节引爆失败"的基准与方法论
6. [OS-Atlas: 跨平台 GUI Grounding 基础工具与语料](https://osatlas.github.io/) — 迄今最大开源跨平台 grounding 语料库，工程兜底首选
7. [OSWorld-Human: Benchmarking the Efficiency of Computer-Use Agents (arXiv:2506.16042)](https://arxiv.org/html/2506.16042v1) — 不只比准确率、还比任务效率的人类对照基准

> [!tip] 51学通信知识星球
> **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。
> **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。
> **当前规模**：5200 篇主题 / 990 个回答，198 元/年。
> **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。
> **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。

![51学通信知识星球海报-扫码加入](https://wiki.500nian.com/images/zhixingqiu_qrcode.png)