首页 › ai-agents › 换道差百倍:自主体五通道实测

换道差百倍:自主体五通道实测

核心发现

把同一个自主智能体(Autonomous Agent)放进同一个环境,模型、提示词、预算全部不变,只换它"伸手的通道"——从像素截图、无障碍树、DOM、应用 API 到命令行——成功率可以拉开 5 倍以上,单步 token 成本能差上百倍。2026 年的核心结论是:决定自主体成败的第一变量不是模型,而是"动作通道的海拔"。OSWorld-MCP(ICLR 2026,arXiv 2510.24563)用跨 7 个应用、158 个工具的公平评测证明:给智能体一条工具通道,普遍碾压纯 GUI 点击。Chrome 也在 2026 年 2 月通过 WebMCP(navigator.modelContext)把网页的"工具通道"做成了浏览器原生 API,号称对截图智能体节省 89% token。本文把五条通道逐一拆开,实测它们在通用性、可靠性、成本三维上的真实断崖。

五通道对比总表

通道(海拔) 感知成本/步 可靠性天花板 通用性 需要环境配合 典型代表
像素截图(最低) ~50,000 tok/页 低,grounding 0% 崩塌 极高(任何界面) 否 Claude Computer Use、Operator
无障碍树(中低) ~4,000 tok/页 中高,稳定可点 中(需 a11y 语义) 部分 Playwright MCP、Stagehand
DOM/HTML(中) 5k–80k(抖动) 中,富信息易爆 中 否 Browser Use 混合模式
应用 API(高) 数十–数百 tok 高,结构化确定 低(站点须暴露) 是 WebMCP、站点工具集
命令行/Shell(最高) 极低 极高,可复现 低(需 CLI) 是 Devin、Claude Code、Codex CLI

一个直觉反差点:表中"感知成本"并非单调——复杂页面的 DOM/无障碍树可达 80k+ token,反而比一张截图贵,这是后文要拆的"截图反超"悖论。

深度分析

一、像素通道:最通用,却是最脆的一层

像素通道是海拔最低的通道:智能体收到的就是一张截图,动作是 (x, y) 坐标点击与键盘事件。它最大的卖点是零环境改造——任何能渲染的界面都能操作,这正是 Claude Computer Use、OpenAI Operator 的底层假设。

但脆性全部集中在"grounding(接地)"上。实测中存在大量"看得见、点不中"的案例:模型识别出了按钮,却返回一个偏移几像素甚至完全错位的坐标框。有研究记录到部分模型对某类小元素出现 0% 点击精度——不是拒绝回答,而是自信地给出错误框。OSWorld 上桌面智能体在"人类能完成"的任务上仅成功约 12%,WebArena 上智能体约 14% 对人类的 78%,差距几乎全砸在这一层。

成本侧同样惊人:一屏截图常驻 ~50,000 token,多步操作下上下文迅速膨胀。"一个像素毁掉整条流程"不是夸张——一个错点击进入错误的标签页,后续每一步都在错误状态上推理,错误复利放大。

# 像素通道:动作是裸坐标,无语义锚点
agent.act("click", x=842, y=317)   # 点偏 3px → 点到相邻输入框
agent.act("type", text="export.csv")
# 风险:坐标随窗口尺寸/DPI/布局漂移,无法复现

变现/训练营评估:像素通道最适合做"演示型"内容(视觉冲击强),但极不适合做"交付型"产品。训练营若以像素为主轴,学员会陷入无穷的"为什么它又点错了"调试黑洞,复购率低。建议只作为"通用地板"教学,10% 课时足矣。

二、无障碍树通道:性价比的真正甜点

无障碍树(Accessibility Tree,a11y)是 2026 年浏览器智能体的事实主通道。它把页面表达成带角色(role)、名称(name)、唯一引用(如 [ref=e23])的语义树。关键数字:a11y 约 4,000 token/页,截图约 50,000 token/页,差 12–17 倍。

它的可靠性优势来自"语义锚点"——动作不再是裸坐标,而是"点击 ref=e23",元素被重新布局也能命中。这正是 Playwright MCP、Stagehand v3、Browser Use 混合模式的共同选择。在生产环境里,"a11y 为主 + 截图为辅"成为主流配方:需要看图表/画布时回退到截图,其余走 a11y。

但它有两个隐藏陷阱。第一是格式税:同一棵 a11y 树,不同序列化格式(是否带坐标、是否折叠不可见节点)token 能差数倍,Playwright MCP 单次曾被记录烧掉 11k+ token。第二是依赖语义质量:原生 HTML 表单的 a11y 干净,而重度 Canvas/WebGL 应用几乎没有 a11y,智能体会瞬间"瞎掉"。

# a11y 通道:动作带语义引用,布局变化仍可命中
agent.click("[ref=e23]")      # 语义锚点,稳健
agent.fill("[ref=e31]", "export.csv")
# 成本:~4k tok/页;前提:页面 a11y 语义完整

变现/训练营评估:这是最适合做付费产品的通道层——稳定、便宜、可教学化。一个"a11y 调优 + 回退策略"的实战训练营,能直接产出可交付的 RPA 替代品,是企业客户最愿意买单的方向。

三、DOM 通道:信息富集却随时引爆上下文

DOM 通道把页面 HTML 直接喂给智能体。它比 a11y 更"富"——能看到 class、内联样式、隐藏字段、data-* 属性,这些对 SPA(单页应用)调试极有价值。合理裁剪后,DOM 相对截图可省约 100 倍 token。

但 DOM 的致命问题是方差极大。一个干净博客页的 DOM 可能 3k token,而一个企业级后台(嵌套表格 + 动态列表 + 影子 DOM)能飙到 80k+,比一张截图还贵。这就是著名的"截图反超悖论":在复杂页面上,pagebolt 等实测发现截图 MCP 的 token 成本可比 Playwright MCP 低 170 倍——因为 a11y/DOM 序列化在巨页上爆炸,而截图是恒定的。

DOM 通道的另一坑是噪声比信号多:模型要在海量 class 名里找出真正可交互的元素,注意力被无关样式耗散,反而降低动作准确率。Browser Use 因此采用"DOM 删枝 + 关键节点截图"的混合策略,本质是在"信息量"与"信噪比"间做权衡。

# DOM 通道:富信息但方差大,巨页上反比截图贵
html = page.content()         # 简单页 ~3k tok,企业后台 ~80k+
agent.click("button.export")  # 靠 CSS 选择器,脆弱于重构

变现/训练营评估:DOM 适合"调试/逆向"类窄场景产品(如爬虫、前端自动化测试),但作为通用自主体主通道风险高。训练营可设为"中阶选修",重点教"DOM 删枝与混合回退",避免学员把它当万能锤。

四、应用 API 通道:高海拔的确定上限

API 通道是海拔最高、最可靠的一层:智能体直接调用结构化工具(函数签名、参数、返回 JSON),绕过一切渲染。它的成本极低(一次调用几十到几百 token),结果确定、可验证、可复现。

2026 年这层的最大事件是 WebMCP。2026 年 2 月 10 日,Google 与 Microsoft 联合推出 WebMCP(W3C 草案),Chrome 146 落地 navigator.modelContext API:网页可以主动向智能体暴露结构化工具,无需后台抓取。官方宣称对截图型智能体节省约 89% token。这意味着"通道选择权"从智能体侧转移到了站点侧——站点主动声明"我接受 exportCsv、createTicket 这样的工具调用",智能体直接在高海拔通道作业。

OSWorld-MCP 把这件事说清楚了:在 158 个工具、7 个桌面应用的公平基准上,带 MCP 工具的智能体普遍优于纯 GUI 智能体。原因不神秘——工具通道把"看见→理解→定位→操作"四步压缩成一次确定调用,消除了 grounding 这层脆性。

代价是通用性最低:API 通道要求环境配合(站点暴露工具、桌面应用提供 MCP server)。在没有工具的环境中,智能体只能降海拔回退。

// API/WebMCP 通道:站点主动暴露工具,智能体直接调用
navigator.modelContext.provideTools([{
  name: "exportCsv", params: { range: "string" },
  run: ({range}) => fetchExport(range)   // 结构化、确定、可复现
}]);
// 智能体侧:直接 tool_call("exportCsv", {range:"Q1"}),零 grounding

变现/训练营评估:API/WebMCP 是 2026 年最值得押注的方向——它把"智能体能不能用"从玄学变成工程。一个"为自家产品接入 WebMCP/MCP 工具"的 to-B 训练营,单价和续费率都远高于通用智能体课,因为产出可量化、可验收。

五、命令行通道:编码智能体的主场

命令行(CLI/Shell)通道本质是 API 通道在开发者场景的特化。它把整个文件系统、版本控制、构建工具、测试套件都变成可调用的"工具"。这正是 Devin、Claude Code、Codex CLI 的主战场。

可靠性的来源是可复现:一个 git diff + pytest 的循环,结果是确定文本,没有 grounding 噪声。Cognition 公开称 Devin 在 SWE-bench 上达到约 78%;而纯 GUI 路线在编码任务上几乎无人采用——因为代码天生适合文本通道。一个有趣实测:同一编码任务,用 Playwright CLI 比用 Playwright MCP 省约 16% 上下文——因为 CLI 的文本输出比结构化 MCP 响应更紧凑。

命令行通道的局限是它只在"代码世界"里是最高海拔。一旦任务需要操作图形软件(Figma、Excel 桌面版)、跨应用拖拽,CLI 就无能为力,必须降海拔。

# CLI 通道:文本进、文本出,可复现,编码任务的主通道
$ grep -rn "TODO" src/ && npm test -- --coverage
# 智能体读 stdout 决策,零 grounding,结果确定

变现/训练营评估:CLI/编码智能体是当前商业化最成熟的赛道(Devin、Cursor、Claude Code 已验证)。训练营主推这一层 ROI 最高,但要警惕"过拟合 SWE-bench"的陷阱——真实 PR 的成功率显著低于榜单分数。

六、通道选择本身就是架构决策:混合路由

把五通道并排看,单通道方案都有死穴:像素通用但脆,API 可靠但要环境配合。2026 年成熟自主体的共同形态是"海拔路由器"——一个调度层根据当前状态动态选通道:

OSWorld 的"四象限"结论印证了这点:GUI、Web、CLI、混合四类任务的天花板完全不同,OSWorld 总分 79.6% 是把它们平均出来的障眼法——拆开后 CLI 类接近满分区,纯 GUI 桌面类仍在低位挣扎。因此"用一个分数选框架"是错的,按你的任务地形选通道组合才是工程正解。

flowchart TD
    A[任务输入] --> R{通道路由器}
    R -->|环境暴露工具/API| CH4[API/WebMCP 通道<br/>~数十 tok · 确定]
    R -->|有 CLI 工具链| CH5[命令行通道<br/>极低 tok · 可复现]
    R -->|页面 a11y 完整| CH2[无障碍树通道<br/>~4k tok · 稳定]
    R -->|DOM 干净| CH3[DOM 通道<br/>5k–80k tok · 易爆]
    R -->|Canvas/原生/无语义| CH1[像素通道<br/>~50k tok · 兜底]
    CH4 --> OK{成功?}
    CH5 --> OK
    CH2 --> OK
    CH3 --> OK
    CH1 --> OK
    OK -->|否| R
    OK -->|是| DONE[任务完成]

这张图揭示一个反直觉原则:通道不是"越低越通用越好",而是"能高则高,被迫才低"。每一次降海拔都是在用成本和脆性换取通用性,必须由路由器显式决策,而不是默认从像素起步。

通道海拔与三维权衡

下图把五通道按"通用性—可靠性—成本"摆在同一坐标,断崖一目了然:

graph LR
    subgraph 海拔从低到高
      P[像素<br/>通用 极高 / 可靠 极低 / 成本 极高]:::low
      A2[无障碍树<br/>通用 中 / 可靠 中高 / 成本 中低]:::mid
      D[DOM<br/>通用 中 / 可靠 中 / 成本 抖动]:::mid
      AP[应用 API/WebMCP<br/>通用 低 / 可靠 高 / 成本 极低]:::high
      C[命令行<br/>通用 低 / 可靠 极高 / 成本 极低]:::high
    end
    P -.升海拔.-> A2 -.升海拔.-> D -.升海拔.-> AP
    D -.升海拔.-> C
    classDef low fill:#f4cccc,stroke:#b00;
    classDef mid fill:#fff2cc,stroke:#b80;
    classDef high fill:#d9ead3,stroke:#080;

读法:向右升海拔,可靠性上升、成本下降,但通用性下降。没有"最优通道",只有"最匹配地形的通道"。一个生产级自主体,应当在这条光谱上同时挂多条通道,由路由器按环境动态切换——这正是 OSWorld-MCP、WebMCP、混合浏览器智能体在 2026 年共同收敛到的架构。

推荐方案(按场景)

一句话总结:2026 年,自主体的胜负在它伸手的通道里就被决定了——换道,差百倍。

参考来源

  1. OSWorld-MCP: Benchmarking MCP Tool Invocation In Computer-Use Agents(arXiv 2510.24563, ICLR 2026) — 首个公平整合 GUI + MCP 的基准,158 工具跨 7 应用,证明 MCP 工具通道普遍优于纯 GUI。
  2. Accessibility Tree vs Screenshot — perea.ai — a11y ~4,000 tok/页 vs 截图 ~50,000 tok/页,12–17 倍成本差的感知层决策依据。
  3. Chrome's WebMCP Promises 89% Token Savings — agentmarketcap.ai — 2026-02-10 Chrome 146 落地 navigator.modelContext,站点主动暴露工具,对截图型智能体节省约 89% token。
  4. Computer-Use Agents 2026: GUI, Web, CLI and Hybrid Have Different Ceilings — agentmarketcap.ai — OSWorld 79.6% 总分掩盖了 GUI/Web/CLI/混合四类任务天花板差异,是"总分障眼法"的来源。
  5. OSWorld: Benchmarking Multimodal Agents(arXiv 2404.07972, NeurIPS 2024) 与 OSWorld Leaderboard 2026(Steel.dev / CodeSOTA) — 369 个真实桌面任务基准与 2026 榜单(Agent S3 bBoN 63.5%),桌面智能体在人类可完成任务上的低成功率对照基线。

[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入