# 换道差百倍：自主体五通道实测 ## 核心发现 把同一个自主智能体（Autonomous Agent）放进同一个环境，模型、提示词、预算全部不变，只换它"伸手的通道"——从像素截图、无障碍树、DOM、应用 API 到命令行——成功率可以拉开 5 倍以上，单步 token 成本能差上百倍。2026 年的核心结论是：**决定自主体成败的第一变量不是模型，而是"动作通道的海拔"**。OSWorld-MCP（ICLR 2026，arXiv 2510.24563）用跨 7 个应用、158 个工具的公平评测证明：给智能体一条工具通道，普遍碾压纯 GUI 点击。Chrome 也在 2026 年 2 月通过 WebMCP（`navigator.modelContext`）把网页的"工具通道"做成了浏览器原生 API，号称对截图智能体节省 89% token。本文把五条通道逐一拆开，实测它们在**通用性、可靠性、成本**三维上的真实断崖。 ## 五通道对比总表 | 通道（海拔） | 感知成本/步 | 可靠性天花板 | 通用性 | 需要环境配合 | 典型代表 | |---|---|---|---|---|---| | 像素截图（最低） | ~50,000 tok/页 | 低，grounding 0% 崩塌 | 极高（任何界面） | 否 | Claude Computer Use、Operator | | 无障碍树（中低） | ~4,000 tok/页 | 中高，稳定可点 | 中（需 a11y 语义） | 部分 | Playwright MCP、Stagehand | | DOM/HTML（中） | 5k–80k（抖动） | 中，富信息易爆 | 中 | 否 | Browser Use 混合模式 | | 应用 API（高） | 数十–数百 tok | 高，结构化确定 | 低（站点须暴露） | 是 | WebMCP、站点工具集 | | 命令行/Shell（最高） | 极低 | 极高，可复现 | 低（需 CLI） | 是 | Devin、Claude Code、Codex CLI | > 一个直觉反差点：表中"感知成本"并非单调——复杂页面的 DOM/无障碍树可达 80k+ token，反而比一张截图贵，这是后文要拆的"截图反超"悖论。 ## 深度分析 ### 一、像素通道：最通用，却是最脆的一层 像素通道是海拔最低的通道：智能体收到的就是一张截图，动作是 `(x, y)` 坐标点击与键盘事件。它最大的卖点是**零环境改造**——任何能渲染的界面都能操作，这正是 Claude Computer Use、OpenAI Operator 的底层假设。 但脆性全部集中在"grounding（接地）"上。实测中存在大量"看得见、点不中"的案例：模型识别出了按钮，却返回一个偏移几像素甚至完全错位的坐标框。有研究记录到部分模型对某类小元素出现 **0% 点击精度**——不是拒绝回答，而是自信地给出错误框。OSWorld 上桌面智能体在"人类能完成"的任务上仅成功约 12%，WebArena 上智能体约 14% 对人类的 78%，差距几乎全砸在这一层。 成本侧同样惊人：一屏截图常驻 ~50,000 token，多步操作下上下文迅速膨胀。"一个像素毁掉整条流程"不是夸张——一个错点击进入错误的标签页，后续每一步都在错误状态上推理，错误复利放大。 ```python # 像素通道：动作是裸坐标，无语义锚点 agent.act("click", x=842, y=317) # 点偏 3px → 点到相邻输入框 agent.act("type", text="export.csv") # 风险：坐标随窗口尺寸/DPI/布局漂移，无法复现 ``` **变现/训练营评估**：像素通道最适合做"演示型"内容（视觉冲击强），但极不适合做"交付型"产品。训练营若以像素为主轴，学员会陷入无穷的"为什么它又点错了"调试黑洞，复购率低。建议只作为"通用地板"教学，10% 课时足矣。 ### 二、无障碍树通道：性价比的真正甜点 无障碍树（Accessibility Tree，a11y）是 2026 年浏览器智能体的事实主通道。它把页面表达成带角色（role）、名称（name）、唯一引用（如 `[ref=e23]`）的语义树。关键数字：**a11y 约 4,000 token/页，截图约 50,000 token/页，差 12–17 倍**。 它的可靠性优势来自"语义锚点"——动作不再是裸坐标，而是"点击 ref=e23"，元素被重新布局也能命中。这正是 Playwright MCP、Stagehand v3、Browser Use 混合模式的共同选择。在生产环境里，"a11y 为主 + 截图为辅"成为主流配方：需要看图表/画布时回退到截图，其余走 a11y。 但它有两个隐藏陷阱。第一是**格式税**：同一棵 a11y 树，不同序列化格式（是否带坐标、是否折叠不可见节点）token 能差数倍，Playwright MCP 单次曾被记录烧掉 11k+ token。第二是**依赖语义质量**：原生 HTML 表单的 a11y 干净，而重度 Canvas/WebGL 应用几乎没有 a11y，智能体会瞬间"瞎掉"。 ```python # a11y 通道：动作带语义引用，布局变化仍可命中 agent.click("[ref=e23]") # 语义锚点，稳健 agent.fill("[ref=e31]", "export.csv") # 成本：~4k tok/页；前提：页面 a11y 语义完整 ``` **变现/训练营评估**：这是最适合做付费产品的通道层——稳定、便宜、可教学化。一个"a11y 调优 + 回退策略"的实战训练营，能直接产出可交付的 RPA 替代品，是企业客户最愿意买单的方向。 ### 三、DOM 通道：信息富集却随时引爆上下文 DOM 通道把页面 HTML 直接喂给智能体。它比 a11y 更"富"——能看到 class、内联样式、隐藏字段、data-* 属性，这些对 SPA（单页应用）调试极有价值。合理裁剪后，DOM 相对截图可省约 100 倍 token。 但 DOM 的致命问题是**方差极大**。一个干净博客页的 DOM 可能 3k token，而一个企业级后台（嵌套表格 + 动态列表 + 影子 DOM）能飙到 80k+，比一张截图还贵。这就是著名的"截图反超悖论"：在复杂页面上，pagebolt 等实测发现**截图 MCP 的 token 成本可比 Playwright MCP 低 170 倍**——因为 a11y/DOM 序列化在巨页上爆炸，而截图是恒定的。 DOM 通道的另一坑是**噪声比信号多**：模型要在海量 class 名里找出真正可交互的元素，注意力被无关样式耗散，反而降低动作准确率。Browser Use 因此采用"DOM 删枝 + 关键节点截图"的混合策略，本质是在"信息量"与"信噪比"间做权衡。 ```python # DOM 通道：富信息但方差大，巨页上反比截图贵 html = page.content() # 简单页 ~3k tok，企业后台 ~80k+ agent.click("button.export") # 靠 CSS 选择器，脆弱于重构 ``` **变现/训练营评估**：DOM 适合"调试/逆向"类窄场景产品（如爬虫、前端自动化测试），但作为通用自主体主通道风险高。训练营可设为"中阶选修"，重点教"DOM 删枝与混合回退"，避免学员把它当万能锤。 ### 四、应用 API 通道：高海拔的确定上限 API 通道是海拔最高、最可靠的一层：智能体直接调用结构化工具（函数签名、参数、返回 JSON），绕过一切渲染。它的成本极低（一次调用几十到几百 token），结果确定、可验证、可复现。 2026 年这层的最大事件是 **WebMCP**。2026 年 2 月 10 日，Google 与 Microsoft 联合推出 WebMCP（W3C 草案），Chrome 146 落地 `navigator.modelContext` API：**网页可以主动向智能体暴露结构化工具**，无需后台抓取。官方宣称对截图型智能体节省约 89% token。这意味着"通道选择权"从智能体侧转移到了站点侧——站点主动声明"我接受 exportCsv、createTicket 这样的工具调用"，智能体直接在高海拔通道作业。 OSWorld-MCP 把这件事说清楚了：在 158 个工具、7 个桌面应用的公平基准上，**带 MCP 工具的智能体普遍优于纯 GUI 智能体**。原因不神秘——工具通道把"看见→理解→定位→操作"四步压缩成一次确定调用，消除了 grounding 这层脆性。 代价是**通用性最低**：API 通道要求环境配合（站点暴露工具、桌面应用提供 MCP server）。在没有工具的环境中，智能体只能降海拔回退。 ```javascript // API/WebMCP 通道：站点主动暴露工具，智能体直接调用 navigator.modelContext.provideTools([{ name: "exportCsv", params: { range: "string" }, run: ({range}) => fetchExport(range) // 结构化、确定、可复现 }]); // 智能体侧：直接 tool_call("exportCsv", {range:"Q1"})，零 grounding ``` **变现/训练营评估**：API/WebMCP 是 2026 年最值得押注的方向——它把"智能体能不能用"从玄学变成工程。一个"为自家产品接入 WebMCP/MCP 工具"的 to-B 训练营，单价和续费率都远高于通用智能体课，因为产出可量化、可验收。 ### 五、命令行通道：编码智能体的主场 命令行（CLI/Shell）通道本质是 API 通道在开发者场景的特化。它把整个文件系统、版本控制、构建工具、测试套件都变成可调用的"工具"。这正是 Devin、Claude Code、Codex CLI 的主战场。 可靠性的来源是**可复现**：一个 `git diff` + `pytest` 的循环，结果是确定文本，没有 grounding 噪声。Cognition 公开称 Devin 在 SWE-bench 上达到约 78%；而纯 GUI 路线在编码任务上几乎无人采用——因为代码天生适合文本通道。一个有趣实测：同一编码任务，用 Playwright **CLI** 比用 Playwright **MCP** 省约 16% 上下文——因为 CLI 的文本输出比结构化 MCP 响应更紧凑。 命令行通道的局限是**它只在"代码世界"里是最高海拔**。一旦任务需要操作图形软件（Figma、Excel 桌面版）、跨应用拖拽，CLI 就无能为力，必须降海拔。 ```bash # CLI 通道：文本进、文本出，可复现，编码任务的主通道 $ grep -rn "TODO" src/ && npm test -- --coverage # 智能体读 stdout 决策，零 grounding，结果确定 ``` **变现/训练营评估**：CLI/编码智能体是当前商业化最成熟的赛道（Devin、Cursor、Claude Code 已验证）。训练营主推这一层 ROI 最高，但要警惕"过拟合 SWE-bench"的陷阱——真实 PR 的成功率显著低于榜单分数。 ### 六、通道选择本身就是架构决策：混合路由 把五通道并排看，单通道方案都有死穴：像素通用但脆，API 可靠但要环境配合。**2026 年成熟自主体的共同形态是"海拔路由器"**——一个调度层根据当前状态动态选通道： - 有原生工具/API → 走最高海拔（便宜、确定）； - 无工具但有 a11y → 走语义树（性价比甜点）； - a11y 为空（Canvas/游戏/桌面原生）→ 降回像素（兜底）。 OSWorld 的"四象限"结论印证了这点：GUI、Web、CLI、混合四类任务的**天花板完全不同**，OSWorld 总分 79.6% 是把它们平均出来的障眼法——拆开后 CLI 类接近满分区，纯 GUI 桌面类仍在低位挣扎。因此"用一个分数选框架"是错的，**按你的任务地形选通道组合**才是工程正解。 ```mermaid flowchart TD A[任务输入] --> R{通道路由器} R -->|环境暴露工具/API| CH4[API/WebMCP 通道
~数十 tok · 确定] R -->|有 CLI 工具链| CH5[命令行通道
极低 tok · 可复现] R -->|页面 a11y 完整| CH2[无障碍树通道
~4k tok · 稳定] R -->|DOM 干净| CH3[DOM 通道
5k–80k tok · 易爆] R -->|Canvas/原生/无语义| CH1[像素通道
~50k tok · 兜底] CH4 --> OK{成功?} CH5 --> OK CH2 --> OK CH3 --> OK CH1 --> OK OK -->|否| R OK -->|是| DONE[任务完成] ``` 这张图揭示一个反直觉原则：**通道不是"越低越通用越好"，而是"能高则高，被迫才低"**。每一次降海拔都是在用成本和脆性换取通用性，必须由路由器显式决策，而不是默认从像素起步。 ## 通道海拔与三维权衡 下图把五通道按"通用性—可靠性—成本"摆在同一坐标，断崖一目了然： ```mermaid graph LR subgraph 海拔从低到高 P[像素
通用 极高 / 可靠 极低 / 成本 极高]:::low A2[无障碍树
通用 中 / 可靠 中高 / 成本 中低]:::mid D[DOM
通用 中 / 可靠 中 / 成本 抖动]:::mid AP[应用 API/WebMCP
通用 低 / 可靠 高 / 成本 极低]:::high C[命令行
通用 低 / 可靠 极高 / 成本 极低]:::high end P -.升海拔.-> A2 -.升海拔.-> D -.升海拔.-> AP D -.升海拔.-> C classDef low fill:#f4cccc,stroke:#b00; classDef mid fill:#fff2cc,stroke:#b80; classDef high fill:#d9ead3,stroke:#080; ``` 读法：向右升海拔，**可靠性上升、成本下降，但通用性下降**。没有"最优通道"，只有"最匹配地形的通道"。一个生产级自主体，应当在这条光谱上同时挂多条通道，由路由器按环境动态切换——这正是 OSWorld-MCP、WebMCP、混合浏览器智能体在 2026 年共同收敛到的架构。 ## 推荐方案（按场景） - **操作自家 SaaS / 已有 API 的产品**：首选 **API/WebMCP 通道**。立刻为产品暴露结构化工具（MCP server 或 `navigator.modelContext`），智能体在高海拔运行，成本和稳定性都最优。这是 2026 年 ROI 最高的工程投入。 - **通用网页自动化（RPA 替代）**：首选 **a11y 为主 + 像素兜底**的混合路由。4k token/页的甜点配合 Canvas/桌面场景的截图回退，兼顾成本与覆盖。 - **软件工程 / 代码任务**：首选 **CLI 通道**。Devin/Claude Code/Codex 已验证，可复现性最强；警惕榜单过拟合，用真实 PR 评测而非 SWE-bench 分数做决策。 - **桌面原生 / 设计软件 / 游戏**：被迫停在 **像素通道**，但要叠加专用 grounding 模型（如 GoClick/SeeClick 类轻量接地器）降低 0% 点击崩塌，并收紧单步预算防止错误复利。 - **跨地形长程任务**：不要选单通道，**建海拔路由器**。让路由器优先尝试高海拔通道、失败再降级，这是对抗"OSWorld 总分障眼法"的唯一正解。 一句话总结：**2026 年，自主体的胜负在它伸手的通道里就被决定了——换道，差百倍。** ## 参考来源 1. [OSWorld-MCP: Benchmarking MCP Tool Invocation In Computer-Use Agents（arXiv 2510.24563, ICLR 2026）](https://arxiv.org/abs/2510.24563) — 首个公平整合 GUI + MCP 的基准，158 工具跨 7 应用，证明 MCP 工具通道普遍优于纯 GUI。 2. [Accessibility Tree vs Screenshot — perea.ai](https://www.perea.ai/research/accessibility-tree-vs-screenshot-perception) — a11y ~4,000 tok/页 vs 截图 ~50,000 tok/页，12–17 倍成本差的感知层决策依据。 3. [Chrome's WebMCP Promises 89% Token Savings — agentmarketcap.ai](https://agentmarketcap.ai/blog/2026/04/07/chrome-firefox-native-agent-apis-2026-browser-agentic-primitives) — 2026-02-10 Chrome 146 落地 `navigator.modelContext`，站点主动暴露工具，对截图型智能体节省约 89% token。 4. [Computer-Use Agents 2026: GUI, Web, CLI and Hybrid Have Different Ceilings — agentmarketcap.ai](https://agentmarketcap.ai/blog/2026/04/23/computer-use-agents-four-axes-2026-benchmark-reality) — OSWorld 79.6% 总分掩盖了 GUI/Web/CLI/混合四类任务天花板差异，是"总分障眼法"的来源。 5. [OSWorld: Benchmarking Multimodal Agents（arXiv 2404.07972, NeurIPS 2024）](https://arxiv.org/abs/2404.07972) 与 [OSWorld Leaderboard 2026（Steel.dev / CodeSOTA）](https://leaderboard.steel.dev/leaderboards/osworld/) — 369 个真实桌面任务基准与 2026 榜单（Agent S3 bBoN 63.5%），桌面智能体在人类可完成任务上的低成功率对照基线。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。