先说一个扎心的对比:你还在为「AI Agent 跑一次任务烧掉几美元 token 费」肉疼的时候,海外一批独立开发者已经把桌面自动化的单步成本打到了 0.0002 美元——一千步两毛美元,一万步两美元,成本 incarceration 低到可以忽略。这件事就发生在最近 7 天,证据全在 GitHub 上:awlevin/typesafe-computer-use(⭐626)、TheO LeeCJ/SemIf(⭐2437)、mizorewww/laya-mlx(⭐1645),还有一个登上 Hacker News 首页的实测帖「Laya 在 Mac M4 上离线每秒 45 次决策」(124 分)。这篇文章把这条「便宜决策层 + 屏幕自动化」的技术拼成一条可接单、可复制的赚钱流水线给你拆开:用什么工具、怎么组装、成本账怎么算、单子从哪来、哪些红线不能碰。看完你至少能省下一笔学费——知道为什么 2026 年还在用大模型逐帧「看屏幕」做 RPA,是在用茅台煮茶叶蛋。
这轮爆发的背景,是海外社区最近反复在讨论的一个共识:Agent 的大部分时间根本不需要大模型。一个自动化流程里,90% 的动作是「固定规则」(打开这个软件、点这个按钮、把这个字段填进去),只有少数几步需要「理解语义」(这封邮件是投诉还是咨询?这个按钮是不是我要找的?)。过去大家图省事,把每一步都丢给 GPT 级别的大模型去判断,账单自然爆炸。这一周冒出来的几个项目,全是冲着这个浪费去的:
TheO LeeCJ/SemIf(⭐2437)— 自我介绍就一句话:「Semantic ifs from open models, on a 3090 at home」——用开源小模型在家里那张 3090 显卡上跑「语义版 if 语句」。作者还特意标注了「独立项目,与 Jev 或 TypeSafe 官方无关」,可见这个赛道的生态已经热到需要划清界限的程度。awlevin/typesafe-computer-use(⭐626)— 本文的主角:Computer use 每步成本约 0.0002 美元。思路是「OCR 读屏 → 用 TypeSafe 小模型分类下一个动作 → 模拟点击」,全程不调用大视觉模型。mizorewww/laya-mlx(⭐1645)— Mac 党的福音:Laya 类型化决策模型的原生 MLX 运行时,在 M3 Max 上单次决策只要 7–14 毫秒,不依赖文本生成。bespokelabsai/nimble(⭐1091)和 jaredpalmer/kev(⭐1009)— 补齐了本地类型化决策的训练和数据策展环节,kev 甚至可以直接基于 Qwen3.5 在自己机器上训练一个「迷你决策模型」。一个「awesome-jev」清单(⭐604)一周内就攒了出来,专门收录这类项目。生态密度到了这个程度,说明不是孤例,而是一波路线切换。
理解这套路线的关键,是看懂它砍掉了什么。传统 computer use 的每一步都在做「生成」:把截图喂给多模态大模型,让它用自然语言推理「我接下来该点什么」,再由框架把这句话翻译成坐标点击。截图大、上下文长、推理慢,费用和延迟都压不下来。
新路线把每一步拆成了两半:
一句话总结这个信息差:大模型负责写规则,小模型负责执行规则。写规则一天一次,执行规则一天一万次——你把贵的东西用在刀刃上,便宜的东西用在流水线上。
路线 A:极客自用型 —— awlevin(typesafe-computer-use) 把现成的 TypeSafe 决策模型接上屏幕 OCR 和鼠标控制,做成了计算机操作 Agent。它的价值不在技术多深,而在把单位成本写进了项目简介——这是给接单的人看的报价单思维。适合想直接上手做自动化交付的人。
路线 B:硬件群众路线 —— TheO LeeCJ(SemIf)
明确告诉你:一张家里的 3090 就够。它不绑定任何商业框架,专门提供「语义 if」这个最小能力——你自己的脚本里原本写 if 的地方,现在可以写一个「看懂屏幕再分支」的语义判断。适合已经有自动化脚本、想升级成「半智能」的开发者。注意它是独立项目,作者主动声明与 Jev/TypeSafe 官方无关——引用时别张冠李戴。
路线 C:苹果生态型 —— mizorewww(laya-mlx) 没有显卡?M3 Max 上 7–14 毫秒一次决策,HN 上还有人实测 M4 离线每秒 45 次。意味着一台你本来就有的 Mac 就是产线。HN 那个 124 分的热帖就是最好的背书——社区已经开始把它当「离线小决策引擎」的标准配置来讨论。
结果验证:三个项目全部是近 7 天新建仓库,合计星数超过 4700,其中 SemIf 冲到 2437;配套的 awesome 清单、训练工具(nimble、kev)、甚至本地运行时(githubnext 亲自下场做了 localjev,⭐609)全部到位。从模型、运行时、训练到应用层,一周内长完整条链——这才是「信息差」真正值钱的地方:路线已经被人验证,你只需要抄组装方式。
下面是把这套东西变成生意的操作路径。先说清楚:这是一条根据上述工具文档和社区热度整理的打法蓝图,不附带任何收入担保——能不能接到单、交付好不好,取决于你的获客和工程能力,不取决于算力。
flowchart TD
A["客户自动化需求"] --> B["拆成规则与判断"]
B --> C{"需要语义判断吗"}
C -->|纯固定步骤| D["传统脚本硬编码"]
C -->|要读懂屏幕| E["小模型决策层"]
E --> F["OCR读屏成文本"]
F --> G["分类器选下一动作"]
D --> H["模拟点击执行"]
G --> H
H --> I{"动作成功吗"}
I -->|失败| J["回退并记日志"]
J --> E
I -->|成功| K["进入下一循环"]
K --> F
H --> L["交付与对账"]
typesafe-computer-use,按 README 跑通一个「读屏→分类→点击」的完整循环;有 3090 的配 SemIf,有 Mac 的配 laya-mlx。全程离线,客户数据不出你的机器——这在交付话术里是加分项。| 项目 | 方案 | 成本 | 依据 |
|---|---|---|---|
| 决策模型 | SemIf / kev 开源权重本地跑 | 0(电费级) | 仓库开源,3090 家用即可 |
| 执行框架 | typesafe-computer-use | 0 | MIT 类开源仓库 |
| Mac 路线 | laya-mlx 原生 MLX | 0(用现有设备) | M3 Max 实测 7–14ms/次 |
| 单步算力 | OCR + 分类器路线 | $0.0002/步 | 仓库简介原文 |
| 换算 | 500 步任务 ≈ $0.1;1 万步 ≈ $2 | — | 算术换算 |
ROI 的本质:固定投入接近零(用你已有的电脑),变动成本几乎可以忽略,收入端按「任务」而非「算力」计价。这个结构和一个虚拟助理按小时收费、你按「已经跑通的流程」收费是同一个生意逻辑——你卖的是流程资产,不是工时。
国内的 RPA 市场(影刀、来也这一类商业产品)走的是「拖拽配置 + 企业订阅」路线,适合公司采购,个人玩家按条数付费、按机器人付费,灵活性受制于产品边界。而海外这一波是反过来的:开源决策模型 + 屏幕读取 + 自组装脚本,产品就是你自己攒的那条流水线,没有任何平台抽成和功能围墙。对有动手能力的中国技术从业者来说,这条路线还有两个附加好处:全程离线可内网部署,数据敏感的客户接得住;而且这套工程能力反过来也能卖给国内做数字化的小公司——同一套流水线,两个市场。
| 你以为的 | 实际上的 |
|---|---|
| 桌面自动化必须调大模型,跑一次几美元 | OCR+小分类器路线,每步 $0.0002 |
| 需要 GPU 集群或云 API | 一张家用 3090,或者一台 Mac(离线每秒 45 次决策) |
| 小模型只能玩具场景 | 分类式决策已在 HN 首页被实测背书(124 分) |
| 自动化接单是大外包公司的生意 | 一周内工具链全部开源就位,个人自组装成本趋近电费 |
| 这类项目要等大厂发布 | 三个核心仓库全部是近 7 天社区独立开发者的产物 |
typesafe-computer-use,跑通官方示例循环,记录你机器上的单步耗时和成本。awesome-jev 清单(⭐604)的更新频率——一个 awesome 页面的增速,就是这个生态的温度计。本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。
[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。
