2026年最热的自主智能体方向不再是聊天或编码，而是 Computer Use / GUI Agent——能直接操作真实电脑、浏览器、桌面应用的"行动派"自主体。但当行业把这类产品推给企业真实工单时，数据却冷得刺骨：OpenAI Operator 在 OSWorld（真实桌面任务）上的端到端成功率仅约 38%，而在更简单的 WebVoyager 网页任务上却高达 87%。这 49 个百分点的鸿沟，正是本文要拆解的核心断点。
本文的核心发现是：电脑自主体的瓶颈不在规划（LLM 已经够强），而在"看得见点不中"——视觉感知能识别"那里有个按钮"，但把意图精确映射到可执行像素坐标的能力（GUI grounding）是独立的、更难的能力；并且这个定位误差在多步任务中以 复合准确率 的方式被指数级放大——每步 95% 的定位成功率，10 步之后整体只剩约 60%。下面用基准数据与工程断点逐层拆解。
| 自主体 | 所属 | 主力策略 | OSWorld(桌面) | 网页任务 | 定位方式 | 最近状态 |
|---|---|---|---|---|---|---|
| Operator (CUA) | OpenAI | 纯视觉+坐标 | ~38% | WebVoyager 87% / WebArena 58% | 像素坐标 | 2026 持续迭代 |
| Claude Computer Use | Anthropic | 截图+坐标+工具 | ~22%(首发) | 中高 | 像素坐标 | API 稳定 |
| Devin | Cognition | 浏览器+终端 API | 面向工程 | 偏编码 | DOM/语义优先 | 商业化 |
| Manus | Manus AI | 浏览器云环境 | — | 偏网页 | DOM+视觉混合 | 消费级 |
| UGround(底座) | OSU NLP | 专用 grounding 模型 | grounding 76%+ | — | 框选+坐标 | ICLR'25 Oral |
| OS-Atlas(底座) | 阿里 | 跨平台 grounding | 大规模语料 | — | 框选坐标 | 开源 |
说明：上表基准数字来源于各产品公开评测与第三方横向报告，OSWorld 成绩随模型版本快速变化，仅供量级参考，不作为绝对排名。
外行人会以为"能看懂屏幕"和"能操作屏幕"是同一件事。在自主体里这是两种独立的能力，中间隔着一道叫 grounding 的悬崖。 视觉语言模型（VLM）识别"右下角有一个蓝色'提交'按钮"属于感知；而 grounding 要回答的是一个完全不同的问题——"这个按钮的中心像素坐标是 (1843, 917)，点击它"。
这两者并非同步进步。业界专门为此造了一个基准 OSWorld-G，从真实桌面任务中切出 564 个标注好的 grounding 子任务，只考"给定一句指令，你能不能框对/点对那个 UI 元素"。结果很打脸：很多在 OSWorld 上"看起来会做任务"的智能体，拆到 grounding 这一层，定位准确率会单独塌一截。这就是为什么 Operator 在网页任务上能 87%，换到桌面立刻 38%——网页有 DOM、有 accessibility tree 这些结构化坐标可抄，桌面只能靠"用眼睛量像素"，grounding 税瞬间暴增。底层工具 UGround（ICLR'25 Oral）、OS-Atlas（迄今最大开源跨平台 grounding 语料库）之所以是研究热点，正是因为它们试图把 grounding 从"附属于大模型的能力"独立出来、单独练硬。
实战中最让人崩溃的不是"偶尔点不中"，而是"昨天能点中，今天点不中；同一截图跑三遍，三个坐标"。这叫坐标漂移，根因有三：第一，VLM 输出坐标本身就是概率采样，温度、采样策略会让同一输入产生不同坐标；第二，截图分辨率与智能体内部归一化坐标系不一致，1920×1080 的截图被缩放到 1280×1024 再吐坐标，亚像素对齐误差被放大；第三，UI 元素本身在动——悬浮菜单、加载动画、动态列表会让"上一帧的位置"在下一帧失效。
工程师真正头疼的是确定性：一个能复现的失败才叫 bug，一个随机失败的自动化叫定时炸弹。纯视觉坐标路线天然带这种随机性。这就是为什么严肃的生产级智能体普遍不押注纯像素，而是 hybrid：优先吃 accessibility tree / DOM 拿到语义化的元素句柄（button[label="提交"]），只在拿不到结构化信息时才回退到视觉坐标。OS-Atlas、UGround 这类专用 grounding 模型的价值，正是把"视觉→坐标"这一步从大模型的不确定输出，换成一个小而稳的专用网络，把漂移压下来。
这是电脑自主体最致命的一条数学，也是最反直觉的一条：单步成功率再高，乘起来都会塌。 一个 10 步的工单流程，假设每一步（识别→定位→操作→验证）都做到 95% 的准确率，端到端成功率只有 0.95^10 ≈ 60%；20 步只剩 0.95^20 ≈ 36%。这就是业界反复讨论的 compound accuracy problem（复合准确率问题）——也是为什么 Operator 在真实桌面任务上 38% 这个数字，和"每步看起来都不错"的体感严重不符。
这条定律有三个推论。其一，别迷信单点 demo：厂商放的视频都是挑出来的成功案例，单步 95% 演示毫无意义，必须看长程任务的端到端数字。其二，短流程是友军：把一个 20 步任务拆成 4 个 5 步子任务，每个子任务人工把关（相当于在中间插入确定性=100% 的步骤），整体成功率立刻从 36% 拉回 70% 区间——这就是"人机接管点"设计的数学依据。其三，误差会换形态而非消失：你不能靠"加 retry"消掉复合误差，retry 只是把"某一步失败"换成了"某一步烧更多 token 失败"，甚至触发 200 倍的级联重试税。唯一真正的解法是减少链长、或在断点处插入验证。
自主体的"眼睛"是周期性截图，而真实界面是连续变化的。这制造了一类隐蔽 bug：智能体基于过时观测做决策。典型场景：它点了"删除"，截图还没刷新，它"看到"文件还在，于是再点一次删除——双花（double-spend）。或者它点了下拉框，等下一帧截图时菜单还没展开完，它对着半展开的菜单乱点。这就是"副作用税"在 GUI 场景的变体。
缓解手段有三层。第一层是动作后强制等待+视觉收敛：执行动作后轮询截图，直到画面不再变化（或关键元素出现）才继续，代价是延迟。第二层是双通道对账：截图（视觉）与 accessibility tree / 进程状态（结构）交叉验证，不一致就告警。第三层是事件驱动而非定时驱动：业界 2026 年的新趋势是 step-level cascade、事件触发的步级优化（arXiv:2604.27151 思路），让智能体"等事件"而不是"等时间"，既省 token 又减少失同步。盲目提高截图频率是反向操作——它只会让过时观测更密集，把账单烧穿。
观察任何一段失败的自主体轨迹，最常见的失败模式是：它在正确的地方做了正确的动作，然后立刻宣称任务完成，而没有验证结果真的达成。 这是 grounding 之后的第二道坎——验证（verification）。点击返回 200ms 成功，不等于业务目标达成；表单提交了，不等于订单创建成功。当前多数电脑自主体把"动作执行成功"等同于"任务目标达成"，这中间隔着业务语义。
这正是"自验证假通过"问题在 GUI 落地时的具象化。工程上的正确做法是在每个关键步骤后插入一个独立的验证子目标：不是问"我点了吗"，而是问"屏幕上现在应该出现什么，出现了吗"。例如删除文件后，验证"该文件在文件列表中消失"；提交订单后，验证"订单号出现在确认页"。验证必须用与执行不同的观测通道（执行靠点击，验证靠读屏/查 DOM/查数据库），否则验证器和执行器同源、一起被骗。代价是 token 与延迟——但相比"假完成导致下游连锁错误"，这点税是性价比最高的护栏。
把四款代表性产品摆在一起，能看清三条技术路线的分野。OpenAI Operator 押注纯视觉 + 像素坐标，网页场景强势（WebVoyager 87%），桌面偏弱（OSWorld 38%），优势是无需页面改造、泛化强，劣势是 grounding 随机性高。Claude Computer Use 同样走截图+坐标路线，首发 OSWorld 约 22%，胜在 API 成熟、可嵌入自定义工具，是企业自建落地的首选底座。Devin 聪明地把自己限制在"编码"这个结构化最强的领域——浏览器有 DOM、终端有结构化输出、Git 有明确状态，天然绕开了最难 grounding 的"自由桌面像素"，因此工程任务表现稳定，但让它去操作 Photoshop 就立刻露怯。Manus 主打消费级网页云环境，DOM+视觉混合，体验流畅但天花板受限于网页。
这条对比揭示了一个选型铁律：优先把自主体约束在"结构化坐标可得"的场景。 网页 > 终端 > 桌面原生应用，这个顺序基本就是 grounding 难度的逆序。能在 DOM 层解决，绝不下沉到像素；能调 API，绝不操作 GUI。
既然 grounding 是独立税，缓解它也得独立做。生产级工具栈通常叠四层。第一层 Set-of-Mark（SoM）：在喂给 VLM 的截图上预先标注每个可交互元素（编号/框），把"找坐标"降级成"读编号"，立竿见影但依赖预标注。第二层 专用 grounding 模型：OS-Atlas、UGround 这类小模型专门做"指令→框/坐标"，比通用大模型稳，可离线部署。第三层 结构化坐标兜底：优先用 Playwright/ accessibility tree 拿语义句柄，grounding 模型只在兜底时上场。第四层 视觉注意力校准：像 V2P（ICLR'2026 方向）这类通过背景抑制+中心峰值来校准 VLM 视觉注意力的方法，针对"VLM 看到了却没看对地方"的问题。
代码示意（grounding 兜底编排，伪代码）：
def act(intent):
# 1. 优先结构化句柄（确定性最高）
node = a11y_tree.find(label=intent.target)
if node:
return node.click() # 零 grounding 税
# 2. 退化到专用 grounding 模型（稳）
box = grounding_model.locate(screenshot, intent.target) # UGround/OS-Atlas
if box.confidence > 0.9:
return click(box.center)
# 3. 最低层：让大模型直接吐坐标（最易漂移）
coord = vlm_guess(screenshot, intent.target)
return click(coord) # 随机性最高，需验证兜底
这条优先级链的本质是：把确定性从高到低排，grounding 税按需缴纳，而不是一律让大模型裸眼量像素。
复合误差有一个令人不安的分布特征：失败不是均匀散落的，而是集中在最后几步。 业界把这种现象称为 Last Mile Failure——一个 20 步工单，如果前面 17 步都顺，最后 3 步（确认、提交、收尾验证）的失败率反而偏高。原因有三：末步往往是不可逆操作（提交/付款/发送），错了无法回滚；末步的验证依赖前序所有状态的累积正确性，任何前序漂移在这里集中爆发；末步通常涉及跨系统（本地+服务端），状态最难对账。
这给了两个工程启示。其一，把最强的护栏压在最后 20% 的步骤上：与其全程均匀投入验证，不如在末段（提交、付款、发送）前强制插入二次确认门控与人机接管点，这是性价比最高的防线。其二，接受"95% 完成度"作为人类接管信号：与其追求自主体 100% 自主跑完（数学上几乎不可能），不如设计成"自主体跑到 95%、把最后 5% 交还人类确认"，这反而把整体可靠性从 38% 区间拉到可用区间。归因层面，ICML 2025 spotlight《Which Agent Causes Task Failures and When?》给出的工具能自动定位"是哪一步、哪个环节引爆了失败"，是做这套护栏的前置数据基础设施。
flowchart TD
A[用户工单指令] --> B[感知: 截图/VLM]
B -->|断点1: 截图即过时<br/>状态失同步| C[定位: GUI Grounding]
C -->|断点2: 看得见点不中<br/>坐标漂移不可复现| D[执行: 点击/输入]
D -->|断点3: 双花/重放<br/>副作用未收敛| E[验证: 结果达成?]
E -->|断点4: 点完就当成了<br/>自验证假通过| F{任务完成?}
F -->|复合误差累积<br/>每步95%×10步=60%| G[宣称完成/继续]
F -->|Last Mile: 末段集中塌方| H[末步不可逆操作失败]
G --> I[✅ 成功 或 ❌ 静默假完成]
H --> J[❌ 真失败, 需回滚]
E -.兜底护栏.-> K[人机接管点<br/>确定性=100%]
K --> C
classDef tax fill:#fee,stroke:#c33,color:#900,stroke-width:2px;
classDef ok fill:#efe,stroke:#393,color:#060;
classDef node fill:#eef,stroke:#448,color:#225;
class A,B,C,D,E,F,G node;
class H,J,I tax;
class K ok;
上图把电脑自主体的四道主税（感知失同步、grounding 漂移、副作用双花、验证假通过）与两条结构性塌方（复合误差累积、Last Mile 末段集中）串成一条链。每一道红色断点都对应一种已知的失败模式，而绿色的人机接管点是工程上唯一能注入"确定性=100%"的阀门。
场景 A：纯网页自动化（数据采集、表单填写、电商下单） 首选 DOM/语义优先 + 纯 API 路线。能调 API 绝不操作浏览器；必须操作浏览器时用 Playwright 拿语义句柄，grounding 税几乎为零。Operator/Manus 这类产品在此场景表现最好（WebVoyager 87% 量级）。验证用 DOM 读取，不依赖截图。
场景 B：编码/DevOps 工单（修 bug、跑测试、发版） 首选 终端+结构化优先，Devin 路线。Git 状态、CI 输出、文件系统都是强结构化坐标，天然避开 grounding。配合"计划即债务"的兑现率监控与失败归因（ICML 2025 spotlight 工具）做护栏。
场景 C：桌面原生应用（Office/设计软件/内部系统） 最硬骨头，hybrid grounding 工具栈：accessibility tree 优先 → 专用 grounding 模型（UGround/OS-Atlas）兜底 → VLM 裸眼坐标最后兜底。必须接受 OSWorld 38% 量级的成功率上限，设计成"自主体跑 95% + 末段人机接管"。
场景 D：企业级长程工单（20 步以上跨系统） 接受复合误差数学，主动拆链。把长链拆成 ≤5 步的短子任务，每个子任务后插验证子目标，末段（提交/付款）前强制二次确认门控。把护栏预算的 60% 压在最后 20% 步骤上，这是把可靠性从 36% 拉到可用区间的唯一杠杆。
通则：永远以 端到端任务成功率（而非单步 demo）作为选型依据；永远假设 grounding 不可复现，为关键操作设计重试+验证+人机接管三道闸；永远记得 38% 不是模型不够聪明，而是复合误差的数学必然——降链长比堆模型更有效。
[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。