文本自主体烧的是 token，操控自主体烧的是像素。当一个自主智能体接管你的桌面或浏览器，它每走一步，都要把整块屏幕重新塞进上下文——而一块屏幕，按 Claude 官方计费公式，等于 (width × height) / 750 个 token。1080p 截图约 2,765 token，4K 截图约 11,059 token。一次长程任务动辄 30–80 步，仅"看屏幕"这一项的开销就足以吃掉一整个文本智能体的全部预算。本文以像素派（Claude Computer Use、OpenAI Operator/CUA）、结构派（Browser-use、A11y-Compressor）、混合 VLA 派（ShowUI、Set-of-Mark）三条主线为对象，实测三栈在单步视觉开销、步数复利、缓存退税与落地成本上的真实账本。
| 维度 | 像素派 Claude Computer Use | 像素派 OpenAI Operator(CUA) | 结构派 Browser-use + a11y | 混合派 ShowUI / SoM |
|---|---|---|---|---|
| 感知方式 | 原始截图 + 视觉定位 | 截图 + 内部视觉模型 | DOM / 可访问性树文本 | 截图叠加标注框 |
| 单步视觉开销 | ~2,700–11,000 token | 像素级，类似量级 | 几十–几百 token | 截图 + 轻量标注 |
| OSWorld/榜单 | 72.5%（2026）/ Mythos 5 达 85% | 紧随其后 | 文本任务强，纯桌面弱 | 开源接地强 |
| 步数敏感度 | 极高（每步重发截图） | 极高 | 中（树可增量） | 高 |
| 上手难度 | API + 截图循环 | 闭源产品为主 | 开源 Python，易改 | 需自托管 VLA 模型 |
| 变现潜力 | 高（通用桌面） | 高（产品化） | 中（垂直爬虫/自动化） | 中（私有化、降本） |
操控自主体的全部经济性，都锁死在 Anthropic 公开的图片计费公式里：tokens = (width × height) / 750。这不是隐藏成本，而是一条线性、可预测、且极其陡峭的直线。常见屏幕分辨率的单张截图账本如下——1920×1080 约 2,765 token，2560×1440 约 4,915 token，3840×2160（4K）约 11,059 token。
可怕的不是单张，而是累积与复用。自主体的工作循环是 截屏 → 推理 → 动作 → 再截屏，每一步几乎都要重新喂一张完整截图。Anthropic 自己在《Best practices for computer and browser use》里点破：截图的 token 会随分辨率二次增长，并建议开发者"裁剪无关区域、降低分辨率、对历史截图做剪枝"。这条官方劝退，本身就是像素税存在的铁证。
更隐蔽的是历史污染。一个跑了几十步的自主体，其上下文里往往还堆着最早期的截图——那些 UI 早已天翻地覆，对当前决策毫无价值，却仍在每轮被重新计费。文本 agent 的历史是"消息"，操控 agent 的历史是"一摞高分辨率照片"，二者的 token 曲线根本不是一个量级。
# Claude 图片 token 官方公式
def screenshot_tokens(width, height):
return (width * height) // 750
# 单任务仅截图开销（粗估）
steps, res = 40, (1920, 1080)
print(steps * screenshot_tokens(*res)) # ≈ 110,600 token，纯"看屏幕"
Claude Computer Use 是像素派的标杆。它通过 computer_20250124 工具把截图、键鼠动作直接交给模型，模型在视觉空间里完成接地（grounding）——即"看到按钮、算出坐标、点击"。2026 年其 OSWorld 得分已推到 72.5%，下一代 Claude Mythos 5 在 OSWorld-Verified 上据榜単冲到 85%，纯能力上无出其右。
但能力曲线与成本曲线是同步爬升的。一个典型的桌面任务（如"打开 LibreLib，把某列格式改成货币，另存为 PDF"）往往需要 20–50 步，每步一张 1080p 截图。仅截图就是 5.5 万–13.8 万 input token，再叠加每步的系统提示、工具定义与模型输出，单任务 token 消耗轻松突破 50 万。按公开输入价折算，一次完整桌面自动化可能烧掉数美元甚至更多——而同样的逻辑任务，若走 API/function calling，往往只要几美分。
像素派的优势在通用性与上限：它不依赖网页结构、不怕反爬、能操作任何有图形界面的软件。代价是单价天花板。在 Web Bench（5,750 任务、452 网站）这类榜单上，Claude 系成绩领跑，但单任务成本同样领跑。像素派适合"非它不可"的封闭桌面场景，而非高频、批量的网页任务。
# Claude Computer Use 工具调用骨架
response = client.messages.create(
model="claude-opus-4-...",
max_tokens=4096,
tools=[{"type": "computer_20250124", "name": "computer",
"display_width_px": 1280, "display_height_px": 800}], # 降分辨率=直接降税
messages=[{"role": "user", "content": "把第一个表格导出为 PDF"}],
)
结构派的核心思想是别看屏幕，读结构。网页与多数应用都能吐出一份可访问性树（a11y tree）或 DOM——一个按钮不是一片像素，而是一行 [button] "提交" (id=submit-btn, bbox=[120,340,180,380]) 的文本。Browser-use 正是这条路线的代表，它官方直言：让 agent"直接拿到它需要的，而没有视觉编码开销或上下文膨胀"。
账本立竿见影。一个网页的 a11y 树通常只有几百到一两千 token，比一张截图低一个数量级；更关键的是，树是结构化、可增量、可裁剪的——无关分支直接砍掉，变了的部分才重发。WebArena（812 个可复现网页任务）与 WorkArena（ServiceNow 企业任务，GPT-4o 综合 42.7%，但难档接近 0%）这类榜单上，结构派 agent 的 token 效率远高于像素派，单任务成本常常只有后者的十分之一。
结构派的软肋是覆盖与接地漂移。a11y 树依赖应用主动暴露语义——Canvas 画布、Electron 自绘控件、游戏画面、远程桌面里的老旧软件，往往没有可用的树，或者树与像素严重错位。A11y-Compressor 这类工作正是在补这一刀：它把线性化的 a11y 树做模态检测、冗余消减、重新打包成更紧凑的形式，"显著降低 token 开销的同时保留结构信息"。结构派是高频网页自动化的最优解，但把它的边界误当成通用能力，就会在最需要视觉的场景里翻车。
混合派试图两头通吃：还是要看图，但不让模型裸眼看。Set-of-Mark（SoM）做法是在截图上叠加编号框，每个可交互元素画一个数字标签，模型只需"报数字"而非"算坐标"，接地精度与 token 效率同时改善。ShowUI（CVPR 2025）把这个思路做成端到端的 Vision-Language-Action（VLA）模型：它用 UI 引导的视觉-语言-动作交错流，让开源模型也能完成像素级接地，而不必每次都调用昂贵的闭源 API。
混合派的账本介于两派之间。截图仍在，但接地不再烧推理 token——坐标计算被前移到标注或小模型里，主模型只做高层决策。ShowUI 的价值尤其在私有化部署：当企业不愿把内网截图发给闭源 API 时，一个本地 VLA 模型能拿到接近像素派的能力，却把数据与单价都摁在自己手里。开源、端到端、可定制，是它相对 Claude Computer Use 的差异化护城河。
代价是工程门槛与生态。自托管 VLA 需要 GPU、需要标注流水线、需要自己维护接地质量；Set-of-Mark 则依赖稳定的元素检测，遇到动态加载、iframe、影子 DOM 仍会失准。混合派不是开箱即用的产品，而是一种架构选型——在"像素派太贵、结构派太瞎"的中间地带，它用工程复杂度换取成本与覆盖的平衡。
flowchart LR
subgraph 感知三栈
A1[像素派<br/>Claude Computer Use<br/>OpenAI Operator]
A2[结构派<br/>Browser-use / a11y 树<br/>A11y-Compressor]
A3[混合派<br/>ShowUI / Set-of-Mark]
end
A1 -->|截图 width*height/750| B{视觉接地<br/>烧 token}
A2 -->|DOM 文本 几百 token| C{符号接地<br/>省 token}
A3 -->|截图+标注框| D{标注前置<br/>降推理}
B --> E[通用强 / 单价高]
C --> F[网页强 / 桌面瞎]
D --> G[平衡 / 工程重]
像素税的真正杀招是步数复利。它不是单步线性叠加，而是与失败重试相乘——每多一次"点错了，回退，重试"，就多一整轮截图+推理。OSWorld-Human 这类效率基准正是为此而生：它不再只问"能不能完成"，而是问"完成它烧了多少步、多少 token、多少美元"。结论一致——能力榜上的高分，在效率榜上常常塌方。
一个能 72% 完成任务的自主体，若平均走 40 步，另一个只能 60% 完成的结构派 agent 若平均只走 12 步，后者在单位成功成本上反而碾压。这也是 WebArena、WorkArena 普遍报告"难档接近 0%"的潜台词：不是因为模型不会，而是因为在烧穿预算之前根本走不到终点。任何评估操控自主体，若只看成功率、不看步数与 token，都是在给像素税盖橡皮章。
工程上的应对是三条降步曲线：一是规划下沉——把"高层做什么"交给便宜的文本模型，只在"具体点哪里"时才唤醒视觉，避免每步都用最贵的模型；二是截图剪枝——历史只留最近 2–3 张与关键里程碑，老截图一律丢弃；三是断点重放——把任务切成可恢复的段，失败不必从头烧。Agent JIT Compilation 这类工作甚至把规划与调度做即时编译，专门压缩计算机操控 agent 的延迟与步数。
既然截图不可避免，下一步就是把可复用的部分缓存住。Anthropic 的 prompt caching 把系统提示、工具定义、固定指令这类"不变前缀"缓存起来，命中后输入价降到十分之一甚至更低。对操控自主体而言，工具定义（computer 工具那套 schema）和系统提示是稳定前缀，是天然的缓存对象；但截图本身几乎不可缓存——每步都在变，缓存命中率趋近于零。
这恰恰揭示了一个反直觉的事实：操控自主体是 prompt caching 最大的受益者，也是它最无能为力的场景。能省的是骨架，省不了的是血肉。token-efficient tool use（让工具输出更短）能在结构派上立竿见影——a11y 树被压缩后，既降了输入又保了缓存前缀；但在像素派上，截图 token 的主导地位让一切文本优化都成了杯水车薪。
真正有效的"截图侧退税"只有三招：降分辨率（1280×800 比 1920×1080 省 55%）、裁剪区域（只截活动窗口，不截全屏）、频次控制（连续小动作合并，不每动一下就截一次）。Claude 官方文档把"用低分辨率虚拟显示器"列为头号建议，本质就是用 (width×height)/750 的分母往下压。这三招合起来，能在不损失成功率的前提下把单步像素税砍掉一半以上——这是像素派能走向生产的唯一台阶。
# 三招退税：低分辨率 + 裁剪 + 频控
DISPLAY_W, DISPLAY_H = 1280, 800 # ① 降分辨率：1370 token/张
def should_screenshot(history, action):
if action.type in ("scroll", "type"): # ② 频控：连续输入合并截图
return history.last_screenshot_age > 3
return True
def crop_to_active(shot, bbox):
return shot.crop(bbox) # ③ 裁剪：只留活动窗口
从变现角度，三栈的定位清晰分层。像素派最适合"通用桌面自动化 / RPA 升级"叙事——对标 Devin、Operator，包装成"AI 员工接管你的电脑"，单客户价值高但获客成本也高，适合企业级训练营与高端定制。结构派是性价比之王，适合"垂直爬虫 / 电商比价 / SaaS 数据搬运"这类高频场景，可做成低价 SaaS 或批量自动化服务，复制性强、边际成本低，是训练营最容易出成果、最能快速变现的方向。
混合 VLA 派的变现点是私有化与合规——金融、医疗、政务等不能把内网截图外发的客户，是 ShowUI 这类本地 VLA 的天然买点。它的产品形态是"私有部署包 + 定制标注服务"，客单价高、实施周期长，适合做成"AI 内网自动化"的咨询+产品组合。训练营场景里，混合派适合作为"进阶/高阶"课程，门槛高但议价空间大。
一句话总结变现优先级：结构派做量、像素派做牌面、混合派做利润。预算有限的团队应从结构派切入，用 Browser-use + a11y 跑通高频网页任务，快速拿到营收；待有桌面需求时再叠加像素派；当出现合规大客户时，混合派的私有化才是利润的护城河。
本文由「51学通信」与站长爱卫生（微信：gprshome201101）原创整理。如需深入理解 5G/6G 与 AI 自主体的协议级落地，欢迎关注同名公众号获取系列实战拆解。
[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。