## 你还在为"电脑操作 Agent"按 token 付云费吗？ 如果你这一年用过 Claude Computer Use、OpenAI Operator 或 Google 的 Project Mariner，你大概率有过同一个心梗瞬间：让 Agent 帮你在浏览器里点几下、填个表，结果一轮任务跑下来，账单上赫然躺着 0.3 美元——因为它每一步都要把你整屏截图传上云、再让大模型"看图说话"。更扎心的是，那截图里可能有你的邮箱、客户名单、内部后台。 **这就是 2026 年 Computer-Use Agent（屏幕操控智能体）最大的信息差：所有人都以为它天生属于云巨头、天生按 token 计费、天生要把你的屏幕数据上传。** 但就在 6 月第一周，海外四块开源拼图几乎同时落地，把它们拼起来，你就能在自己机器上跑一个"几乎零边际成本、数据不出本机、可随意改造"的屏幕操控 Agent。国内目前几乎没人系统讲这件事——这篇就是给你把拼图摆好。 --- ## 拼图一（大脑）：Holo3.1 —— 把 Computer-Use 塞进本地显卡 这是本周分量最重的一块。法国创业公司 **H Company**（前身为"H"，做通用智能体）在 Hugging Face 开源了 **Holo3.1** 全家族——一组专为"看屏幕、动鼠标键盘"设计的视觉语言模型（VLM）。 - **官网/仓库**：[huggingface.co/collections/Hcompany/holo31](https://huggingface.co/collections/Hcompany/holo31)｜产品页 [hcompany.ai/holo3.1](https://hcompany.ai/holo3.1)｜上手 [hub.hcompany.ai/quickstart](https://hub.hcompany.ai/quickstart) - **规格**：一次放出 4 档——`0.8B`、`4B`、`9B`，以及旗舰 `35B-A3B`（总参 35B、MoE 每 token 仅激活 3B）。原生支持 function-calling，并提供量化版 checkpoint 专门为本地推理优化。 - **能干嘛**：在 Web、桌面、移动三类界面里做导航和操控，即"看截图→决定下一步点哪、输入什么"。它是 edge-to-cloud 的——既能在云端跑，也能在你本地消费级显卡/Mac 上跑。 - **价格**：**开源、可商用**，没有托管价；成本就是你的电费和硬件折旧。 - **为什么值得关注**：这是"Computer-Use 不再是云专利"的标志性事件。以前你只有 Claude Computer Use、Operator 这类按 token 计费的云选项；现在 4B 这个尺寸的版本，一张 16GB 显存的卡甚至高端 Mac 就能推理，跑一天不花一分 API 钱。 - **国内对比**：国内大量"RPA + 大模型"方案仍走云端 VLM，或干脆套 GPT-4o 的视觉接口，既贵又受限于出海网络。Holo3.1 给了一条**纯本地、断网可用、数据零外泄**的路线，对合规敏感的政企、金融、医疗场景几乎是刚需。 - **适合谁**：做自动化/RPA 的工程师、Agent 开发者、有私有桌面应用想自动化的运维、以及想研究"computer-use"这一范式的研究者。 > 信息差点：很多人以为"操控电脑"必须用 Anthropic/OpenAI 的闭源接口。Holo3.1 证明这件事的模型层已经开放了——差距只在"有没有人知道它存在"。 --- ## 拼图二（小脑/路由）：JetBrains Mellum2 —— 12B MoE，每 token 只烧 2.5B 一个真正能干活的屏幕 Agent 不会只用一个大模型。它要规划、要决定"该调哪个子工具"、要做摘要、要做 RAG 检索——这些"中间脏活"如果都丢给旗舰模型，成本和延迟都会爆炸。JetBrains 这周开源的 **Mellum2** 就是干这些中间活的"小脑"。 - **官网/仓库**：[Hugging Face 上的 Mellum2 集合](https://huggingface.co/JetBrains)｜产品页 [jetbrains.com 的 Mellum 页](https://www.jetbrains.com/) - **规格**：12B 总参的 MoE，**每 token 只激活 2.5B 参数**；用自然语言 + 代码混合训练；Apache 2.0 协议、可商用。 - **定位**：官方明确把它放在 **routing（路由）、RAG、summarization（摘要）、sub-agents（子智能体）、coding workflow、私有部署**这几条线上。换句话说，它是"塞进 Agent 栈里跑高频低成本任务"的那一层。 - **价格**：Apache 2.0 免费；自托管或选推理供应商，成本由你决定。 - **为什么值得关注**：成熟的生产级 Agent 架构是"大模型做最终决策 + 小模型做苦力"。Mellum2 是目前少有的、明确为"Agent 栈中间层"调教的开源小模型，2.5B 激活意味着延迟极低、本地也能飞快跑。 - **国内对比**：国内同类多用 Qwen 系列的小尺寸版本做苦力，但 Mellum2 的"MoE + 代码 + 自然语言"混合训练，在 IDE/代码场景的中间任务上更对口。可以理解为 JetBrains 把自己 IntelliJ 的 AI 能力下沉成了一个可独立部署的引擎。 - **适合谁**：做 IDE 插件、RAG 产品、Agent 基础设施、有私有代码库不想出云的团队。 --- ## 拼图三（护栏）：NVIDIA Nemotron 3.5 Content Safety —— 给 Agent 装一个本地"刹车" 让一个本地 Agent 自由操控你的屏幕，最怕什么？怕它"自信地"点错了按钮——比如把"删除"当成"确认"、把内部数据贴进公网输入框。NVIDIA 6 月初发布的 **Nemotron 3.5 Content Safety** 正好补上这块：一个**本地的安全审查小模型**，在 Agent 动手前先审一遍 prompt、图片、甚至它准备输出的内容。 - **官网/仓库**：[Hugging Face 上的 NVIDIA Nemotron 3.5 Content Safety 模型卡](https://huggingface.co/nvidia) - **规格**：小型语言模型，支持**文本 + 可选图片 + 可选响应**的多模态审查；提供"标准安全分类法模式"和"自定义策略模式"——后者允许你写自己的规则。 - **价格**：模型卡标注**可商用**（受所列 license 约束）；同样无托管价，本地跑零边际。 - **为什么值得关注**：通用的内容审核标签（暴力、色情）套不住企业内部那套"不能外发客户清单、不能点批量删除"的业务规则。Nemotron 3.5 的**自定义策略模式**意味着你能把公司红线写成规则、让模型在 Agent 每次操作前做一次毫秒级本地校验。GDPR/CCPA 等合规也更容易满足。 - **国内对比**：国内合规审核多依赖云端敏感词服务，对"多模态截图内容 + 自定义业务策略"的支持弱。把审查层做成本地、可定制的小模型，是合规与效率的双赢。 - **适合谁**：安全工程师、企业 AI 团队、做多模态应用的、合规/法务团队、以及"所有要让 Agent 自动点屏幕"的人——你都需要一个本地刹车。 --- ## 拼图四（管道）：Hugging Face 把 hf CLI 重写成"Agent 友好" 前三块拼图都来自 Hugging Face，所以"怎么用脚本把它们拉下来、跑起来、接进 Agent"成了关键。Hugging Face 团队本周同步发布了一篇指南，把 **`hf` 命令行工具**重设计成"对 Agent 友好"的入口。 - **要点**：**结构化输出**（machine-readable，方便 Agent 解析）、**错误码标准化**（一致的错误信息，方便 Agent 处理失败）、**高频工作流优化**、**可扩展**（留了加 Agent 专属能力的口子）。 - **为什么值得关注**：它代表一个被忽视的趋势——**连开发者工具本身都在为"被 AI Agent 调用"而重写**。你的 Agent 不再需要靠正则解析 `git log` 或 `pip` 的散乱文本，而是拿到干净的结构化数据。这对搭自动化流水线的人是实打实的提效。 --- ## 把四块拼图拼起来：一个本地 Computer-Use Agent 长什么样 ```mermaid flowchart TD U[用户下达任务
例如：整理本地表格并发邮件] --> R[Mellum2 路由/规划层
2.5B激活·毫秒级·本地] R --> S{需要操作屏幕?} S -- 是 --> G[Nemotron 3.5 安全审查
自定义策略·本地刹车] G -- 放行 --> H[Holo3.1 操控屏幕
看截图·点鼠标·敲键盘·本地] G -- 拦截 --> B[阻断并回报
避免误删/外泄] H --> O[执行结果] S -- 否 --> D[直接走 RAG/摘要
Mellum2 处理] O --> R D --> DONE[任务完成·全程数据不出本机] HF[hf CLI 结构化管道
拉取/部署/编排以上模型] -.支撑.-> R HF -.支撑.-> G HF -.支撑.-> H classDef local fill:#e8f5e9,stroke:#2e7d32,stroke-width:2px; class R,G,H,D,B,O,DONE local; ``` 这张图就是这周海外开源圈给你的"免费礼物"：**规划、护栏、操控、管道，四层全部本地、全部开源、全部可商用。** 而一年前，你要凑齐这四层，要么花大价钱买云 API，要么自己从零训模型。 --- ## 信息差总结：你知道的 vs 别人已经能做的 | 维度 | 多数人的认知（信息差劣势方） | 本周开源圈已经做到（信息差优势方） | |---|---|---| | Computer-Use 模型 | 必须用 Claude/OpenAI 云接口 | Holo3.1 本地开源，4B 即可推理 | | Agent 中间任务 | 全丢旗舰模型，又慢又贵 | Mellum2 做 routing/RAG，2.5B 激活 | | 安全护栏 | 云端敏感词，管不住业务规则 | Nemotron 3.5 自定义策略，本地毫秒级 | | 开发者工具 | 靠正则解析命令行输出 | hf CLI 重写成结构化、Agent 友好 | | 数据归属 | 截图必须上云 | 全链路数据不出本机 | | 边际成本 | 按 token 计费，越用越贵 | 硬件折旧，跑越多越省 | ## 成本对比（参考值，2026 年 6 月） | 方案 | 单任务成本估算 | 数据是否出本机 | 可定制性 | |---|---|---|---| | Claude Computer Use（云，Sonnet 级） | 约 $0.05–0.5/任务（重度截图会更高） | 是，截图上云 | 低（闭源） | | OpenAI Operator（云） | 按 token/订阅，单任务类似量级 | 是 | 低 | | **本地 Holo3.1 + Mellum2 + Nemotron** | **接近 $0（硬件折旧）** | **否** | **高（全开源）** | > 说明：云端价格为公开文档参考值，受具体模型、缓存、用量影响波动大；本地方案的真实成本是电费 + 一次性硬件投入（一张 16–24GB 显存卡或 M 系列高配 Mac 即可起步）。 --- ## 行动指南：今天就能做的四步 1. **先摸 Holo3.1**：打开 [Holo3.1 集合页](https://huggingface.co/collections/Hcompany/holo31)，从 `Holo-3.1-4B` 起步，按 [quickstart](https://hub.hcompany.ai/quickstart) 在本地跑通一个"看截图→给动作"的最小例子。 2. **加一层 Mellum2 做规划**：用 Apache 2.0 的 Mellum2 接管"先想再做"的中间步骤，把 Holo3.1 留给真正的屏幕操控，省 token 又降延迟。 3. **装本地护栏**：把 Nemotron 3.5 Content Safety 挡在 Agent 动手前，先写 3–5 条你最在意的业务红线（如"禁止点击删除/批量操作""禁止把含身份证号的截图外发"）。 4. **用 hf CLI 串起来**：用结构化的 hf CLI 做模型拉取与编排，丢掉脆弱的正则解析，让整套流水线可以被你自己的 Agent 稳定调用。 如果你只有一台 M 系列 Mac，先从 4B 版本 + Mellum2 的 CPU/GPU 推理试水；如果有 24GB 显存的游戏卡，直接上 35B-A3B 体验旗舰级本地操控。 --- ## 对中国技术从业者的启示 这周的四连发共同指向一个判断：**Computer-Use 正在从"云巨头的增值服务"变成"开源的基建能力"。** 对国内开发者有三层机会—— - **合规红利**：政企、金融、医疗那些"屏幕数据绝不能出境"的场景，过去没有可用方案，现在有了。 - **成本红利**：从"按次付费的 RPA"转向"一次性买卡的本地 Agent"，跑得越多省得越多。 - **产品红利**：谁能把这四块拼图封装成"开箱即用的本地电脑管家"，谁就能吃到国内 RPA 升级的第一波。 差距不在技术——技术已经开源摆在那；差距在**信息**：知道它存在、知道它能拼起来、知道怎么落地。 --- ## 参考来源 - Holo3.1 模型集合 — [huggingface.co/collections/Hcompany/holo31](https://huggingface.co/collections/Hcompany/holo31) - Holo3.1 产品页与快速上手 — [hcompany.ai/holo3.1](https://hcompany.ai/holo3.1) ｜ [hub.hcompany.ai/quickstart](https://hub.hcompany.ai/quickstart) - JetBrains Mellum2（Apache 2.0）— [huggingface.co/JetBrains](https://huggingface.co/JetBrains) - NVIDIA Nemotron 3.5 Content Safety 模型卡 — [huggingface.co/nvidia](https://huggingface.co/nvidia) - kingy.ai《AI Launch Radar — June 8, 2026》— [kingy.ai/news/ai-launch-radar-june-8-2026](https://kingy.ai/news/ai-launch-radar-june-8-2026/) - dev.to《Latest AI Model Releases: June 2026 Roundup》— [dev.to/vjswamy/latest-ai-model-releases-june-2026-roundup-49j5](https://dev.to/vjswamy/latest-ai-model-releases-june-2026-roundup-49j5) --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护。 > 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。