首页 › new-tools › 把agent栈白嫖到本地：三个新开源

把 agent 栈白嫖到本地：本周三个开源新角色

导语：你以为 agent 等于 API 账单，但它的三大件本周全免费了

国内技术圈一聊起"做 agent"，第一反应就是"得开 Claude/OpenAI 的会员""得给 Anthropic 充值""一个跑电脑操作的 agent 一晚上烧几十刀"。这套认知在 2026 年 6 月初被狠狠打了个补丁：海外一周内连续放出三个开放权重模型，恰好覆盖一个完整 agent 栈最烧钱、最频繁的三个角色——操作屏幕的"手"、给任务派活的"调度员"、给输入输出站岗的"安检员"。 全部可本地部署、可商用、零 token 费用。本文拆解 Holo3.1、Mellum2、Nemotron 3.5 Content Safety 这三把新刀，告诉你中国开发者怎么用它们把月度推理账单砍掉一大块，同时把数据留在自己机房。

信息差主线：一个 agent 栈，真正烧钱的不是"最强大脑"

很多人对 agent 的误解是"选个最强模型就够了"。但 Jetbrains 在 Mellum2 的发布博客里点破了真相：生产级 AI 系统的瓶颈早就从"能力"转移到了"延迟、吞吐、成本"——不是每个步骤都该用前沿大模型。一个真实跑起来的 agent，每天的调用里 80% 是高频、低复杂度的中间步骤：判断这条请求该交给谁、总结一段上下文、扫一眼这串输入有没有违规、把屏幕上的按钮点一下。这些"脏活"过去要么硬塞给贵模型（烧钱），要么停掉（出 bug）。现在，海外把这三类脏活分别做成了可自托管的开放模型。

flowchart LR
    U([用户请求 / 触发事件]) --> S{"Nemotron 3.5<br/>安检站岗<br/>本机 ~4B"}
    S -- 合规放行 --> R{"Mellum2<br/>调度路由<br/>本机 12B MoE"}
    S -- 命中策略 --> B([拦截 / 脱敏])
    R -- "操作屏幕" --> H["Holo3.1<br/>computer-use<br/>本机 4B/9B/35B"]
    R -- "代码/摘要/子任务" --> M["Mellum2<br/>直接干活"]
    R -- "硬核推理" --> F["前沿大模型<br/>(可选, 量少价贵)"]
    H --> O
    M --> O
    F --> O
    O([最终输出]) --> S2["Nemotron 3.5<br/>出站安检"]
    S2 --> D([返回用户])
    classDef local fill:#e8f5e9,stroke:#2e7d32,stroke-width:2px;
    class S,R,H,M,S2 local;

上图里绿色框全是本机免费跑的，只有"硬核推理"那一步才按需付费给前沿模型。这就是这套信息差的核心：把 agent 栈从"全租"变成"自有一栋楼、只偶尔叫外援"。

第一把刀：Holo3.1 —— 能在你电脑/手机上"动手"的本地 computer-use agent

是什么：法国 H Company 在 2026 年 6 月 2 日放出的 Holo3.1 模型家族，是当前最强的开源"computer-use"（电脑操作）agent 模型之一。它能看屏幕截图、理解 GUI、自己生成点击/输入等操作，覆盖浏览器、桌面和手机三种环境。

关键链接： - 模型集合（4 个尺寸 + 量化版）：https://huggingface.co/collections/Hcompany/holo31 - 官方发布博客：https://huggingface.co/blog/Hcompany/holo31 - 托管 API（不想本地跑时）：https://hcompany.ai/holo-models-api

核心规格与亮点： - 四个尺寸：0.8B（超轻量边缘部署）/ 4B（性价比）/ 9B（性能与延迟平衡）/ 35B-A3B（旗舰，MoE 架构，激活 3B）。 - 首次放出量化权重：FP8、NVFP4、Q4 GGUF 三种。在 NVIDIA DGX Spark 上，NVFP4 比 FP8 吞吐高 1.41×、比 BF16 高 1.74×，且 OSWorld 得分只比全精度低约 2 分——几乎不掉点。 - 手机操作大跃进：AndroidWorld 基准上，35B 从 67% 涨到 79.3%，4B/9B 从 58% 涨到 72%。 - 完全本地、零出网：官方明确，agent 跑在 Windows/Mac 上，模型可同机跑（给出 Apple Silicon 参考数据），或跑在同网段的 DGX Spark 上，数据不出局域网。结合自家 harness 优化，平均单步耗时从 6.8 秒压到 3.3 秒（约 2× 端到端提速）。 - 底座基于 Qwen 家族，原生支持 function-calling，方便嵌进第三方 agent 框架。

为什么中国开发者值得关注：computer-use 是 2026 年最贵的能力之一。云端 computer-use 按动作/步数计费，重度自动化（比如批量填表、抓取、运维巡检）很容易一晚几十上百刀。Holo3.1 让你把"动手"这件事彻底搬回本机：一张 4090 或一台 M 系列 Mac 就能跑 4B/9B，边际成本为零，且截图、账号、cookie 全程不过云——这对金融、政企、个人隐私场景是刚需。

国内对比：国内已有 GUI agent 方向的探索，但多停留在学术 demo 或闭源 API 形态；像 Holo3.1 这样"4 档尺寸 + 3 种量化 + 手机桌面通吃 + 给 Apple Silicon 参考数"的完整生产级开源包，目前是稀缺的。出海团队用它做内部 RPA 替代，能绕开海外 computer-use API 的合规与计费双重坑。

适合人群：自动化/RPA 开发者、爬虫与运维工程师、做内部工具的中小企业、隐私敏感行业、想压成本的独立开发者。

第二把刀：Mellum2 —— agent 栈里那条又快又便宜的"调度线"

是什么：JetBrains 在 2026 年 6 月 1 日开源的 Mellum2，一个 12B 的 MoE（混合专家）模型，但每个 token 只激活 2.5B 参数。它的定位非常清楚——不做"全能大脑"，专做 agent 流水线里那些高频、低延迟、怕贵的中间活。

关键链接： - HF 发布博客：https://huggingface.co/blog/JetBrains/mellum2-launch - JetBrains 官方博客：https://blog.jetbrains.com/ai/2026/06/mellum2-goes-open-source-a-fast-model-for-ai-workflows/ - 模型权重（含 Thinking 变体）：https://huggingface.co/JetBrains/Mellum2-12B-A2.5B-Thinking

核心规格与亮点： - 协议：Apache 2.0，可商用，权重完全开放。 - 架构：12B 总参 / 2.5B 激活，专门用自然语言 + 代码训练，刻意不做多模态——为了又瘦又快。 - 速度：官方称相比同等规模模型，推理时间砍到一半以下。 - "Focal Model"哲学：JetBrains 直白地说，未来属于"协调系统"而非"单一模型"。前沿大模型继续冲上限，而 Mellum2 这类焦距模型负责把高频中间步骤接走——路由、RAG 摘要、子 agent、轻量编码、私有部署。

为什么中国开发者值得关注：这是把信息差从"选模型"升级到"设计系统"。很多人不知道，agent 之所以贵，往往不是最后那一步答得太好，而是每一步都在用顶配模型做路由判断。把 Mellum2 塞进网关当 dispatcher（判断这条请求要不要上大模型、上哪个、要不要先去检索），能把 70% 的"调度类"调用截留在本机，只把真正复杂的请求转给付费模型。配合上期讲过的"排名第一的网关认了 GLM"那套路由思路，Mellum2 就是网关里那条又快又便宜的决策线。

国内对比：国产 Qwen-Coder、DeepSeek-Coder 在"编码"单项上很强，但 Mellum2 的差异化卖点是MoE 极致吞吐 + 明确的"非编码场景也行（路由/摘要）"定位。把它当 agent 中间件而非"代码补全主力"，是国内还很少人这么用的角度。

适合人群：AI 基础设施工程师、RAG/agent 平台团队、IDE 与 dev-tool 开发者、有私有代码库不能上云的团队、想给现有网关加一层"廉价预筛"的独立开发者。

第三把刀：Nemotron 3.5 Content Safety —— 能自定义规矩的"安检员"

是什么：NVIDIA 在 2026 年 6 月初（约 6/2–6/4）放出的 Nemotron 3.5 Content Safety，一个小型语言模型（SLM，基于 Google Gemma-3-4B-IT 微调），专做内容安全审核。

关键链接： - HF 模型卡：https://huggingface.co/nvidia/Nemotron-3.5-Content-Safety - NVIDIA NIM 在线试用 + 部署：https://build.nvidia.com/nvidia/nemotron-3.5-content-safety/modelcard - 官方博客：https://huggingface.co/blog/nvidia/nemotron-3-5-content-safety

核心规格与亮点： - 多模态审核：能同时看 prompt、可选的图片、可选的模型回复——三个维度都审。 - 双模式：标准安全分类法（开箱即用）+ 自定义策略模式（custom policy mode）——这是杀手锏，你可以喂自己的规则，让它按你自己定的红线判，而不是黑盒厂商的不可控标准。 - 许可：NVIDIA Open Model License，研究与商用均可（以官方卡为准）。 - 体量小（~4B 量级），可塞进推理管线做高频、低延迟的实时审核。

为什么中国开发者值得关注：出海合规和私有审核是两个长期痛点。OpenAI 的 moderation API 免费但只覆盖文本、规则不可控；很多团队的"合规审核"只能依赖黑盒，既贵又不可解释。Nemotron 3.5 让你把安检员搬进自己机房，规则自己写、判例自己留痕、数据不外发。对做 UGC、AI 客服、社交类出海产品的团队，这是把"合规"从成本中心变成可控资产。

国内对比：国内容审多为云厂商的托管 API，规则黑盒、计费按量。Nemotron 这种"自托管 + 自定义策略 + 多模态 + 可商用"的组合，尤其适合需要可解释合规证据的金融、医疗、政企项目。

适合人群：安全/合规工程师、出海 SaaS 团队、AI 产品负责人、Agent 运营方、有自定义内容红线需求的企业。

信息差总结：你知道的 vs 别人已经在白嫖的

维度 国内常见做法（你知道的） 本周开源方案（别人在白嫖的） 差距
电脑操作（computer-use） 调云端 API，按动作计费，重度用月烧数百刀 Holo3.1 本地跑，边际成本 0，截图不过云 价格差 + 隐私差
任务路由/中间步骤 全部转给前沿大模型，token 烧在"判断"上 Mellum2 本地做路由/摘要/子 agent，只把硬骨头转付费 方法差 + 成本差
内容安全审核 黑盒托管 API，规则不可控、按量计费 Nemotron 3.5 自托管，自定义策略、多模态、可留痕 视角差 + 合规差
数据走向 全程过云 三件全本地，数据不出局域网 隐私差
架构认知 "agent = 一个最强模型" "agent = 协调系统，脏活交给 focal model" 认知差（最大）

行动指南：今晚就能动手的三步

  1. 先跑通"调度员" Mellum2。它是三件里部署门槛最低、收益最快显现的。Apache 2.0 权重下载后，单卡量化即可起服务；先把它接在你现有网关的"预筛"位置，观察有多少请求被它就地解决，省下了多少前沿模型 token。一个月后看账单对比。

  2. 按硬件挑一个 Holo3.1 尺寸试水。Mac M 系列 / 单张 4060-4070 → 从 Holo-3.1-4B 的 Q4 GGUF 版入手；有 4090 或 DGX Spark → 上 9B 或 35B-A3B 的 FP8/NVFP4。挑一个你正在用云端 computer-use 跑的重复任务（报表抓取、表单填写、巡检）迁到本地，用一个月的真实账单差额自己算 ROI。

  3. 给管线装上"安检员" Nemotron 3.5。在你的 agent 输入与输出两端各放一道；先用标准模式跑通，再把你们业务的真实红线写成自定义策略切到 custom policy mode。出海团队尤其建议在出站那一道卡住，留好判例日志。

一个务实提醒：这三件是分工明确的中层干部，不是用来替代前沿大模型做最复杂推理的。最优解是"本地三件套兜住 80% 高频活 + 按需叫外援做 20% 硬核活"——这正是 Jetbrains 所谓"协调系统"的本意。

参考来源

本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入

📎 本分类最新文章