# 把 agent 栈白嫖到本地：本周三个开源新角色 ## 导语：你以为 agent 等于 API 账单，但它的三大件本周全免费了 国内技术圈一聊起"做 agent"，第一反应就是"得开 Claude/OpenAI 的会员""得给 Anthropic 充值""一个跑电脑操作的 agent 一晚上烧几十刀"。这套认知在 2026 年 6 月初被狠狠打了个补丁：**海外一周内连续放出三个开放权重模型，恰好覆盖一个完整 agent 栈最烧钱、最频繁的三个角色——操作屏幕的"手"、给任务派活的"调度员"、给输入输出站岗的"安检员"。** 全部可本地部署、可商用、零 token 费用。本文拆解 Holo3.1、Mellum2、Nemotron 3.5 Content Safety 这三把新刀，告诉你中国开发者怎么用它们把月度推理账单砍掉一大块，同时把数据留在自己机房。 --- ## 信息差主线：一个 agent 栈，真正烧钱的不是"最强大脑" 很多人对 agent 的误解是"选个最强模型就够了"。但 Jetbrains 在 Mellum2 的发布博客里点破了真相：**生产级 AI 系统的瓶颈早就从"能力"转移到了"延迟、吞吐、成本"**——不是每个步骤都该用前沿大模型。一个真实跑起来的 agent，每天的调用里 80% 是高频、低复杂度的中间步骤：判断这条请求该交给谁、总结一段上下文、扫一眼这串输入有没有违规、把屏幕上的按钮点一下。这些"脏活"过去要么硬塞给贵模型（烧钱），要么停掉（出 bug）。现在，海外把这三类脏活分别做成了可自托管的开放模型。 ```mermaid flowchart LR U([用户请求 / 触发事件]) --> S{"Nemotron 3.5
安检站岗
本机 ~4B"} S -- 合规放行 --> R{"Mellum2
调度路由
本机 12B MoE"} S -- 命中策略 --> B([拦截 / 脱敏]) R -- "操作屏幕" --> H["Holo3.1
computer-use
本机 4B/9B/35B"] R -- "代码/摘要/子任务" --> M["Mellum2
直接干活"] R -- "硬核推理" --> F["前沿大模型
(可选, 量少价贵)"] H --> O M --> O F --> O O([最终输出]) --> S2["Nemotron 3.5
出站安检"] S2 --> D([返回用户]) classDef local fill:#e8f5e9,stroke:#2e7d32,stroke-width:2px; class S,R,H,M,S2 local; ``` 上图里**绿色框全是本机免费跑的**，只有"硬核推理"那一步才按需付费给前沿模型。这就是这套信息差的核心：**把 agent 栈从"全租"变成"自有一栋楼、只偶尔叫外援"。** --- ## 第一把刀：Holo3.1 —— 能在你电脑/手机上"动手"的本地 computer-use agent **是什么**：法国 H Company 在 2026 年 6 月 2 日放出的 Holo3.1 模型家族，是当前最强的开源"computer-use"（电脑操作）agent 模型之一。它能看屏幕截图、理解 GUI、自己生成点击/输入等操作，覆盖浏览器、桌面和**手机**三种环境。 **关键链接**： - 模型集合（4 个尺寸 + 量化版）：`https://huggingface.co/collections/Hcompany/holo31` - 官方发布博客：`https://huggingface.co/blog/Hcompany/holo31` - 托管 API（不想本地跑时）：`https://hcompany.ai/holo-models-api` **核心规格与亮点**： - **四个尺寸**：`0.8B`（超轻量边缘部署）/ `4B`（性价比）/ `9B`（性能与延迟平衡）/ `35B-A3B`（旗舰，MoE 架构，激活 3B）。 - **首次放出量化权重**：FP8、NVFP4、Q4 GGUF 三种。在 NVIDIA DGX Spark 上，NVFP4 比 FP8 吞吐高 **1.41×**、比 BF16 高 **1.74×**，且 OSWorld 得分只比全精度低约 2 分——几乎不掉点。 - **手机操作大跃进**：AndroidWorld 基准上，35B 从 67% 涨到 **79.3%**，4B/9B 从 58% 涨到 **72%**。 - **完全本地、零出网**：官方明确，agent 跑在 Windows/Mac 上，模型可同机跑（给出 Apple Silicon 参考数据），或跑在同网段的 DGX Spark 上，**数据不出局域网**。结合自家 harness 优化，平均单步耗时从 6.8 秒压到 **3.3 秒**（约 2× 端到端提速）。 - 底座基于 Qwen 家族，原生支持 function-calling，方便嵌进第三方 agent 框架。 **为什么中国开发者值得关注**：computer-use 是 2026 年最贵的能力之一。云端 computer-use 按动作/步数计费，重度自动化（比如批量填表、抓取、运维巡检）很容易一晚几十上百刀。Holo3.1 让你把"动手"这件事彻底搬回本机：一张 4090 或一台 M 系列 Mac 就能跑 4B/9B，**边际成本为零，且截图、账号、cookie 全程不过云**——这对金融、政企、个人隐私场景是刚需。 **国内对比**：国内已有 GUI agent 方向的探索，但多停留在学术 demo 或闭源 API 形态；像 Holo3.1 这样"4 档尺寸 + 3 种量化 + 手机桌面通吃 + 给 Apple Silicon 参考数"的完整生产级开源包，目前是稀缺的。出海团队用它做内部 RPA 替代，能绕开海外 computer-use API 的合规与计费双重坑。 **适合人群**：自动化/RPA 开发者、爬虫与运维工程师、做内部工具的中小企业、隐私敏感行业、想压成本的独立开发者。 --- ## 第二把刀：Mellum2 —— agent 栈里那条又快又便宜的"调度线" **是什么**：JetBrains 在 2026 年 6 月 1 日开源的 Mellum2，一个 **12B 的 MoE（混合专家）模型，但每个 token 只激活 2.5B 参数**。它的定位非常清楚——不做"全能大脑"，专做 agent 流水线里那些**高频、低延迟、怕贵**的中间活。 **关键链接**： - HF 发布博客：`https://huggingface.co/blog/JetBrains/mellum2-launch` - JetBrains 官方博客：`https://blog.jetbrains.com/ai/2026/06/mellum2-goes-open-source-a-fast-model-for-ai-workflows/` - 模型权重（含 Thinking 变体）：`https://huggingface.co/JetBrains/Mellum2-12B-A2.5B-Thinking` **核心规格与亮点**： - **协议**：Apache 2.0，**可商用**，权重完全开放。 - **架构**：12B 总参 / 2.5B 激活，专门用自然语言 + 代码训练，**刻意不做多模态**——为了又瘦又快。 - **速度**：官方称相比同等规模模型，**推理时间砍到一半以下**。 - **"Focal Model"哲学**：JetBrains 直白地说，未来属于"协调系统"而非"单一模型"。前沿大模型继续冲上限，而 Mellum2 这类**焦距模型**负责把高频中间步骤接走——路由、RAG 摘要、子 agent、轻量编码、私有部署。 **为什么中国开发者值得关注**：这是把信息差从"选模型"升级到"设计系统"。很多人不知道，agent 之所以贵，往往不是最后那一步答得太好，而是**每一步都在用顶配模型做路由判断**。把 Mellum2 塞进网关当 dispatcher（判断这条请求要不要上大模型、上哪个、要不要先去检索），能把 70% 的"调度类"调用截留在本机，**只把真正复杂的请求转给付费模型**。配合上期讲过的"排名第一的网关认了 GLM"那套路由思路，Mellum2 就是网关里那条又快又便宜的决策线。 **国内对比**：国产 Qwen-Coder、DeepSeek-Coder 在"编码"单项上很强，但 Mellum2 的差异化卖点是**MoE 极致吞吐 + 明确的"非编码场景也行（路由/摘要）"定位**。把它当 agent 中间件而非"代码补全主力"，是国内还很少人这么用的角度。 **适合人群**：AI 基础设施工程师、RAG/agent 平台团队、IDE 与 dev-tool 开发者、有私有代码库不能上云的团队、想给现有网关加一层"廉价预筛"的独立开发者。 --- ## 第三把刀：Nemotron 3.5 Content Safety —— 能自定义规矩的"安检员" **是什么**：NVIDIA 在 2026 年 6 月初（约 6/2–6/4）放出的 Nemotron 3.5 Content Safety，一个小型语言模型（SLM，基于 Google Gemma-3-4B-IT 微调），专做**内容安全审核**。 **关键链接**： - HF 模型卡：`https://huggingface.co/nvidia/Nemotron-3.5-Content-Safety` - NVIDIA NIM 在线试用 + 部署：`https://build.nvidia.com/nvidia/nemotron-3.5-content-safety/modelcard` - 官方博客：`https://huggingface.co/blog/nvidia/nemotron-3-5-content-safety` **核心规格与亮点**： - **多模态审核**：能同时看 prompt、可选的图片、可选的模型回复——三个维度都审。 - **双模式**：标准安全分类法（开箱即用）+ **自定义策略模式（custom policy mode）**——这是杀手锏，你可以喂自己的规则，让它按**你自己定的红线**判，而不是黑盒厂商的不可控标准。 - **许可**：NVIDIA Open Model License，研究与商用均可（以官方卡为准）。 - 体量小（~4B 量级），可塞进推理管线做**高频、低延迟的实时审核**。 **为什么中国开发者值得关注**：**出海合规**和**私有审核**是两个长期痛点。OpenAI 的 moderation API 免费但只覆盖文本、规则不可控；很多团队的"合规审核"只能依赖黑盒，既贵又不可解释。Nemotron 3.5 让你把安检员搬进自己机房，规则自己写、判例自己留痕、数据不外发。对做 UGC、AI 客服、社交类出海产品的团队，这是把"合规"从成本中心变成可控资产。 **国内对比**：国内容审多为云厂商的托管 API，规则黑盒、计费按量。Nemotron 这种"自托管 + 自定义策略 + 多模态 + 可商用"的组合，尤其适合需要可解释合规证据的金融、医疗、政企项目。 **适合人群**：安全/合规工程师、出海 SaaS 团队、AI 产品负责人、Agent 运营方、有自定义内容红线需求的企业。 --- ## 信息差总结：你知道的 vs 别人已经在白嫖的 | 维度 | 国内常见做法（你知道的） | 本周开源方案（别人在白嫖的） | 差距 | |---|---|---|---| | **电脑操作（computer-use）** | 调云端 API，按动作计费，重度用月烧数百刀 | Holo3.1 本地跑，边际成本 0，截图不过云 | 价格差 + 隐私差 | | **任务路由/中间步骤** | 全部转给前沿大模型，token 烧在"判断"上 | Mellum2 本地做路由/摘要/子 agent，只把硬骨头转付费 | 方法差 + 成本差 | | **内容安全审核** | 黑盒托管 API，规则不可控、按量计费 | Nemotron 3.5 自托管，自定义策略、多模态、可留痕 | 视角差 + 合规差 | | **数据走向** | 全程过云 | 三件全本地，数据不出局域网 | 隐私差 | | **架构认知** | "agent = 一个最强模型" | "agent = 协调系统，脏活交给 focal model" | 认知差（最大） | --- ## 行动指南：今晚就能动手的三步 1. **先跑通"调度员" Mellum2**。它是三件里部署门槛最低、收益最快显现的。Apache 2.0 权重下载后，单卡量化即可起服务；先把它接在你现有网关的"预筛"位置，观察有多少请求被它就地解决，省下了多少前沿模型 token。一个月后看账单对比。 2. **按硬件挑一个 Holo3.1 尺寸试水**。Mac M 系列 / 单张 4060-4070 → 从 `Holo-3.1-4B` 的 Q4 GGUF 版入手；有 4090 或 DGX Spark → 上 `9B` 或 `35B-A3B` 的 FP8/NVFP4。挑一个你正在用云端 computer-use 跑的重复任务（报表抓取、表单填写、巡检）迁到本地，**用一个月的真实账单差额自己算 ROI**。 3. **给管线装上"安检员" Nemotron 3.5**。在你的 agent 输入与输出两端各放一道；先用标准模式跑通，再把你们业务的真实红线写成自定义策略切到 custom policy mode。出海团队尤其建议在出站那一道卡住，留好判例日志。 > 一个务实提醒：这三件是**分工明确的中层干部**，不是用来替代前沿大模型做最复杂推理的。最优解是"本地三件套兜住 80% 高频活 + 按需叫外援做 20% 硬核活"——这正是 Jetbrains 所谓"协调系统"的本意。 --- ## 参考来源 - Holo3.1 模型集合与发布博客（H Company，2026-06-02）：`https://huggingface.co/collections/Hcompany/holo31` / `https://huggingface.co/blog/Hcompany/holo31` - Mellum2 开源公告（JetBrains，2026-06-01）：`https://blog.jetbrains.com/ai/2026/06/mellum2-goes-open-source-a-fast-model-for-ai-workflows/` - Nemotron 3.5 Content Safety 模型卡（NVIDIA）：`https://huggingface.co/nvidia/Nemotron-3.5-Content-Safety` - AI Launch Radar 周度发布盘点（kingy.ai，2026-06-08，页面元数据 2026-06-29）：`https://kingy.ai/news/ai-launch-radar-june-8-2026/` - 最新一期发布雷达（含 Gemini Computer Use、Mistral OCR 4，2026-06-28，可交叉验证 computer-use 赛道最新动态）：`https://kingy.ai/news/` --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护。 > 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。