把同一个自主智能体(Autonomous Agent)放进同一个环境,模型、提示词、预算全部不变,只换它"伸手的通道"——从像素截图、无障碍树、DOM、应用 API 到命令行——成功率可以拉开 5 倍以上,单步 token 成本能差上百倍。2026 年的核心结论是:决定自主体成败的第一变量不是模型,而是"动作通道的海拔"。OSWorld-MCP(ICLR 2026,arXiv 2510.24563)用跨 7 个应用、158 个工具的公平评测证明:给智能体一条工具通道,普遍碾压纯 GUI 点击。Chrome 也在 2026 年 2 月通过 WebMCP(navigator.modelContext)把网页的"工具通道"做成了浏览器原生 API,号称对截图智能体节省 89% token。本文把五条通道逐一拆开,实测它们在通用性、可靠性、成本三维上的真实断崖。
| 通道(海拔) | 感知成本/步 | 可靠性天花板 | 通用性 | 需要环境配合 | 典型代表 |
|---|---|---|---|---|---|
| 像素截图(最低) | ~50,000 tok/页 | 低,grounding 0% 崩塌 | 极高(任何界面) | 否 | Claude Computer Use、Operator |
| 无障碍树(中低) | ~4,000 tok/页 | 中高,稳定可点 | 中(需 a11y 语义) | 部分 | Playwright MCP、Stagehand |
| DOM/HTML(中) | 5k–80k(抖动) | 中,富信息易爆 | 中 | 否 | Browser Use 混合模式 |
| 应用 API(高) | 数十–数百 tok | 高,结构化确定 | 低(站点须暴露) | 是 | WebMCP、站点工具集 |
| 命令行/Shell(最高) | 极低 | 极高,可复现 | 低(需 CLI) | 是 | Devin、Claude Code、Codex CLI |
一个直觉反差点:表中"感知成本"并非单调——复杂页面的 DOM/无障碍树可达 80k+ token,反而比一张截图贵,这是后文要拆的"截图反超"悖论。
像素通道是海拔最低的通道:智能体收到的就是一张截图,动作是 (x, y) 坐标点击与键盘事件。它最大的卖点是零环境改造——任何能渲染的界面都能操作,这正是 Claude Computer Use、OpenAI Operator 的底层假设。
但脆性全部集中在"grounding(接地)"上。实测中存在大量"看得见、点不中"的案例:模型识别出了按钮,却返回一个偏移几像素甚至完全错位的坐标框。有研究记录到部分模型对某类小元素出现 0% 点击精度——不是拒绝回答,而是自信地给出错误框。OSWorld 上桌面智能体在"人类能完成"的任务上仅成功约 12%,WebArena 上智能体约 14% 对人类的 78%,差距几乎全砸在这一层。
成本侧同样惊人:一屏截图常驻 ~50,000 token,多步操作下上下文迅速膨胀。"一个像素毁掉整条流程"不是夸张——一个错点击进入错误的标签页,后续每一步都在错误状态上推理,错误复利放大。
# 像素通道:动作是裸坐标,无语义锚点
agent.act("click", x=842, y=317) # 点偏 3px → 点到相邻输入框
agent.act("type", text="export.csv")
# 风险:坐标随窗口尺寸/DPI/布局漂移,无法复现
变现/训练营评估:像素通道最适合做"演示型"内容(视觉冲击强),但极不适合做"交付型"产品。训练营若以像素为主轴,学员会陷入无穷的"为什么它又点错了"调试黑洞,复购率低。建议只作为"通用地板"教学,10% 课时足矣。
无障碍树(Accessibility Tree,a11y)是 2026 年浏览器智能体的事实主通道。它把页面表达成带角色(role)、名称(name)、唯一引用(如 [ref=e23])的语义树。关键数字:a11y 约 4,000 token/页,截图约 50,000 token/页,差 12–17 倍。
它的可靠性优势来自"语义锚点"——动作不再是裸坐标,而是"点击 ref=e23",元素被重新布局也能命中。这正是 Playwright MCP、Stagehand v3、Browser Use 混合模式的共同选择。在生产环境里,"a11y 为主 + 截图为辅"成为主流配方:需要看图表/画布时回退到截图,其余走 a11y。
但它有两个隐藏陷阱。第一是格式税:同一棵 a11y 树,不同序列化格式(是否带坐标、是否折叠不可见节点)token 能差数倍,Playwright MCP 单次曾被记录烧掉 11k+ token。第二是依赖语义质量:原生 HTML 表单的 a11y 干净,而重度 Canvas/WebGL 应用几乎没有 a11y,智能体会瞬间"瞎掉"。
# a11y 通道:动作带语义引用,布局变化仍可命中
agent.click("[ref=e23]") # 语义锚点,稳健
agent.fill("[ref=e31]", "export.csv")
# 成本:~4k tok/页;前提:页面 a11y 语义完整
变现/训练营评估:这是最适合做付费产品的通道层——稳定、便宜、可教学化。一个"a11y 调优 + 回退策略"的实战训练营,能直接产出可交付的 RPA 替代品,是企业客户最愿意买单的方向。
DOM 通道把页面 HTML 直接喂给智能体。它比 a11y 更"富"——能看到 class、内联样式、隐藏字段、data-* 属性,这些对 SPA(单页应用)调试极有价值。合理裁剪后,DOM 相对截图可省约 100 倍 token。
但 DOM 的致命问题是方差极大。一个干净博客页的 DOM 可能 3k token,而一个企业级后台(嵌套表格 + 动态列表 + 影子 DOM)能飙到 80k+,比一张截图还贵。这就是著名的"截图反超悖论":在复杂页面上,pagebolt 等实测发现截图 MCP 的 token 成本可比 Playwright MCP 低 170 倍——因为 a11y/DOM 序列化在巨页上爆炸,而截图是恒定的。
DOM 通道的另一坑是噪声比信号多:模型要在海量 class 名里找出真正可交互的元素,注意力被无关样式耗散,反而降低动作准确率。Browser Use 因此采用"DOM 删枝 + 关键节点截图"的混合策略,本质是在"信息量"与"信噪比"间做权衡。
# DOM 通道:富信息但方差大,巨页上反比截图贵
html = page.content() # 简单页 ~3k tok,企业后台 ~80k+
agent.click("button.export") # 靠 CSS 选择器,脆弱于重构
变现/训练营评估:DOM 适合"调试/逆向"类窄场景产品(如爬虫、前端自动化测试),但作为通用自主体主通道风险高。训练营可设为"中阶选修",重点教"DOM 删枝与混合回退",避免学员把它当万能锤。
API 通道是海拔最高、最可靠的一层:智能体直接调用结构化工具(函数签名、参数、返回 JSON),绕过一切渲染。它的成本极低(一次调用几十到几百 token),结果确定、可验证、可复现。
2026 年这层的最大事件是 WebMCP。2026 年 2 月 10 日,Google 与 Microsoft 联合推出 WebMCP(W3C 草案),Chrome 146 落地 navigator.modelContext API:网页可以主动向智能体暴露结构化工具,无需后台抓取。官方宣称对截图型智能体节省约 89% token。这意味着"通道选择权"从智能体侧转移到了站点侧——站点主动声明"我接受 exportCsv、createTicket 这样的工具调用",智能体直接在高海拔通道作业。
OSWorld-MCP 把这件事说清楚了:在 158 个工具、7 个桌面应用的公平基准上,带 MCP 工具的智能体普遍优于纯 GUI 智能体。原因不神秘——工具通道把"看见→理解→定位→操作"四步压缩成一次确定调用,消除了 grounding 这层脆性。
代价是通用性最低:API 通道要求环境配合(站点暴露工具、桌面应用提供 MCP server)。在没有工具的环境中,智能体只能降海拔回退。
// API/WebMCP 通道:站点主动暴露工具,智能体直接调用
navigator.modelContext.provideTools([{
name: "exportCsv", params: { range: "string" },
run: ({range}) => fetchExport(range) // 结构化、确定、可复现
}]);
// 智能体侧:直接 tool_call("exportCsv", {range:"Q1"}),零 grounding
变现/训练营评估:API/WebMCP 是 2026 年最值得押注的方向——它把"智能体能不能用"从玄学变成工程。一个"为自家产品接入 WebMCP/MCP 工具"的 to-B 训练营,单价和续费率都远高于通用智能体课,因为产出可量化、可验收。
命令行(CLI/Shell)通道本质是 API 通道在开发者场景的特化。它把整个文件系统、版本控制、构建工具、测试套件都变成可调用的"工具"。这正是 Devin、Claude Code、Codex CLI 的主战场。
可靠性的来源是可复现:一个 git diff + pytest 的循环,结果是确定文本,没有 grounding 噪声。Cognition 公开称 Devin 在 SWE-bench 上达到约 78%;而纯 GUI 路线在编码任务上几乎无人采用——因为代码天生适合文本通道。一个有趣实测:同一编码任务,用 Playwright CLI 比用 Playwright MCP 省约 16% 上下文——因为 CLI 的文本输出比结构化 MCP 响应更紧凑。
命令行通道的局限是它只在"代码世界"里是最高海拔。一旦任务需要操作图形软件(Figma、Excel 桌面版)、跨应用拖拽,CLI 就无能为力,必须降海拔。
# CLI 通道:文本进、文本出,可复现,编码任务的主通道
$ grep -rn "TODO" src/ && npm test -- --coverage
# 智能体读 stdout 决策,零 grounding,结果确定
变现/训练营评估:CLI/编码智能体是当前商业化最成熟的赛道(Devin、Cursor、Claude Code 已验证)。训练营主推这一层 ROI 最高,但要警惕"过拟合 SWE-bench"的陷阱——真实 PR 的成功率显著低于榜单分数。
把五通道并排看,单通道方案都有死穴:像素通用但脆,API 可靠但要环境配合。2026 年成熟自主体的共同形态是"海拔路由器"——一个调度层根据当前状态动态选通道:
OSWorld 的"四象限"结论印证了这点:GUI、Web、CLI、混合四类任务的天花板完全不同,OSWorld 总分 79.6% 是把它们平均出来的障眼法——拆开后 CLI 类接近满分区,纯 GUI 桌面类仍在低位挣扎。因此"用一个分数选框架"是错的,按你的任务地形选通道组合才是工程正解。
flowchart TD
A[任务输入] --> R{通道路由器}
R -->|环境暴露工具/API| CH4[API/WebMCP 通道<br/>~数十 tok · 确定]
R -->|有 CLI 工具链| CH5[命令行通道<br/>极低 tok · 可复现]
R -->|页面 a11y 完整| CH2[无障碍树通道<br/>~4k tok · 稳定]
R -->|DOM 干净| CH3[DOM 通道<br/>5k–80k tok · 易爆]
R -->|Canvas/原生/无语义| CH1[像素通道<br/>~50k tok · 兜底]
CH4 --> OK{成功?}
CH5 --> OK
CH2 --> OK
CH3 --> OK
CH1 --> OK
OK -->|否| R
OK -->|是| DONE[任务完成]
这张图揭示一个反直觉原则:通道不是"越低越通用越好",而是"能高则高,被迫才低"。每一次降海拔都是在用成本和脆性换取通用性,必须由路由器显式决策,而不是默认从像素起步。
下图把五通道按"通用性—可靠性—成本"摆在同一坐标,断崖一目了然:
graph LR
subgraph 海拔从低到高
P[像素<br/>通用 极高 / 可靠 极低 / 成本 极高]:::low
A2[无障碍树<br/>通用 中 / 可靠 中高 / 成本 中低]:::mid
D[DOM<br/>通用 中 / 可靠 中 / 成本 抖动]:::mid
AP[应用 API/WebMCP<br/>通用 低 / 可靠 高 / 成本 极低]:::high
C[命令行<br/>通用 低 / 可靠 极高 / 成本 极低]:::high
end
P -.升海拔.-> A2 -.升海拔.-> D -.升海拔.-> AP
D -.升海拔.-> C
classDef low fill:#f4cccc,stroke:#b00;
classDef mid fill:#fff2cc,stroke:#b80;
classDef high fill:#d9ead3,stroke:#080;
读法:向右升海拔,可靠性上升、成本下降,但通用性下降。没有"最优通道",只有"最匹配地形的通道"。一个生产级自主体,应当在这条光谱上同时挂多条通道,由路由器按环境动态切换——这正是 OSWorld-MCP、WebMCP、混合浏览器智能体在 2026 年共同收敛到的架构。
navigator.modelContext),智能体在高海拔运行,成本和稳定性都最优。这是 2026 年 ROI 最高的工程投入。一句话总结:2026 年,自主体的胜负在它伸手的通道里就被决定了——换道,差百倍。
navigator.modelContext,站点主动暴露工具,对截图型智能体节省约 89% token。[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。
