首页 › new-tools › 卷完云端卷桌面:三件货把AI搬回家

卷完云端卷桌面:三件货把AI搬回家

先给你看一个精神分裂现场。HN 首页挂着一条 284 分热帖《Tokens too cheap to meter》——token 便宜到不用装电表了;可同一时间的 GitHub 新星榜上,蹿得最快的 AI 项目却在齐刷刷干一件反方向的事:把推理、评测、3D 创作,从云端搬回你自己的机器。云越便宜,越有人往回搬——这不是情怀,是延迟、隐私和「改得动」三个硬需求在起作用。

今天从 2026-09-24 的 GitHub 新星榜里捞三件正在这么干的新货:一件给 Mac 做专属推理引擎,一件把模型评测搬回本地,一件让 AI 直接交付可编辑的 Blender 工程。全部开源免费。Star 数截至 2026-09-24,来自 GitHub Search API;本轮实时抓取通道受限,未能二次核验官网,时效细节请以各仓库 README 为准。

一、splash:给 Apple Silicon 装一台「专用发动机」

仓库:incoai/splash(近 7 天新仓库,⭐709)

官方一句话定位:"A local inference engine for Apple silicon, built around the model"——围绕模型本身构建的苹果芯片本地推理引擎。

单看 Star 它只是「小而美」,但放进赛道里看就不一样了。同一份榜上,laya 生态一周内冒出两个 Mac 端运行时:laya-mlx(⭐6073,宣称 M3 Max 上 7–14 毫秒出一次短决策)和 laya-coreml(⭐1403,宣称在 Neural Engine 上约 5 毫秒)。三家不约而同押注苹果芯片,说明一件事:M 系列统一内存跑本地模型,已经从极客玩具变成正经赛道。通用工具求广,splash 这类「围绕模型造引擎」求尖——引擎和模型协同设计,通常是压延迟、压内存的路数。

国内对比:国内 Mac 用户跑本地模型基本两条路——Ollama 一条命令拉模型,或 LM Studio 点 GUI。都是「通用货架」逻辑,什么模型都能放,但没人针对你的具体机型和模型做协同优化。「专用引擎」这个空位,国内公开项目还几乎没人占。

价格:开源免费。适用人群:手握 M 系列 Mac、对延迟敏感的开发者——本地 Agent、输入法级小决策、端上 RAG。

二、Nimble:把「评测」这件苦活也本地化

仓库:bespokelabsai/nimble(⭐1704,Python)

官方描述三件事:本地类型化决策(typed decisions)、对比式数据策展(contrastive data curation)、模型评测(model evaluation)。

三个能力里,评测最值钱。国内团队选模型大多还是「刷公开榜单 + 听朋友说」,但榜单分高 ≠ 在你的任务上好使。真正的解法是攒一个自己的小评测集,每次换模型、改 prompt 都跑一遍——这就是 eval 闭环。海外这一年已经把 eval 做成了独立工具赛道,Nimble 更进一步,把它和数据策展缝在一起:不光给你的输出打分,还帮你从真实数据里挑出最有信息量的样本去养评测集。顺带一提,它把 typed decisions 也搬到了本地——和 laya 押的是同一个判断:小而快的结构化决策,不必过云。团队背景方面,Bespoke Labs 据公开资料此前就以数据合成与质量基建出名。

国内对比:OpenCompass 这类公开评测体系解决了「榜单」问题,但「我自己任务的评测集怎么搭、怎么持续养」,国内公开的轻量工具很少。Nimble 给的思路可以直接抄:评测集不是一次性资产,是随业务长大的资产。

价格:开源免费。适用人群:做微调、RAG、prompt 工程的工程师——只要你会反复换模型,就需要这类东西。

三、holo-card-studio:AI 不给你一张图,给你一个能改的工程

仓库:EverettFish/holo-card-studio(近 45 天新仓库,⭐1775,Python)

它干的事:把你的一句话描述或上传的参考图,变成成品级、可编辑的 Blender 卡片。

大多数 AI 生 3D 工具(Meshy、Tripo 这类)的产出是网格资产——模型导出了,后期还得你自己进 Blender 重塑、展 UV、打灯。holo-card-studio 直接跳到「成品工程」:产出就是可编辑的 .blend 文件,改材质、换字、调灯光,进 Blender 接着改就行。AI 管从 0 到 70%,人管最后 30% 的「像不像个作品」——这个「交工程、不交半成品」的思路,才是 AI 内容工具从玩具变生产力的分水岭。

flowchart TD
    P1["一句话描述或参考图"] --> P2["AI生成卡片结构与材质"]
    P2 --> P3["输出可编辑Blender工程"]
    P3 --> P4["人工改字体灯光构图"]
    P4 --> P5["渲染导出成品"]

场景:独立开发者做应用图标的立体展示卡、电商产品视觉、自媒体封面立体字。国内对比:国内在 AI 生 3D 上并不落后(Tripo 就是国产),但整条链路停在「出模型」,往下走到「出可编辑工程」的公开项目很少。做电商视觉的朋友可以参考定制行情算笔账:一张定制 3D 立牌卡片外包报价几百到上千元,本地跑一遍的边际成本就是电费。

价格:开源免费,本机需装 Blender。适用人群:会一点 Blender 的设计向开发者、电商视觉、独立游戏/应用作者。

彩蛋:一条 HN 谈资

Mercury 2.5——据 HN 首页帖(92 分),号称跑到 770 tokens/秒。背景一句:这条路线不是自回归地一个字一个字往外蹦,而是像扩散图像模型那样整段「显影」,速度是它的卖点(该数字未经官方渠道二次核实)。谈资价值在于:自回归模型把速度卷到头之后,速度战换了条赛道打。

一张图选型

flowchart TD
    Q["先问一句:这活必须上云吗"] --> A["要跑模型推理"]
    Q --> B["要评模型好不好"]
    Q --> C["要做3D视觉素材"]
    A --> A1["用Mac:试splash"]
    A --> A2["不折腾:Ollama也够用"]
    B --> B1["借Nimble思路搭评测集"]
    C --> C1["holo-card出可改工程"]
    A1 --> Z["数据不出门,还改得动"]
    B1 --> Z
    C1 --> Z
    A2 --> Y["继续付云费,记得砍价"]

信息差总结

你以为 实际上
本地推理 = 装个 Ollama 凑合 「围绕模型造专用引擎」已成新品类,苹果芯片是被押注的主场(splash 上榜同周,laya 一口气出了两个 Mac runtime)
评测 = 看公开榜单 海外把「本地评测 + 数据策展」做成了工具,评测集是随业务长大的资产(Nimble)
AI 生 3D = 导出一个网格 新一代直接交付可编辑 Blender 工程:AI 干 70%,人改 30%(holo-card-studio)
token 白菜价就该全上云 云越便宜,越有人为延迟/隐私/可改动性往回搬——HN 284 分热帖刷屏的同一周,三件「回搬」新货上榜

行动指南

  1. M 系列 Mac 用户:打开 splash 仓库,按 README 跑通第一个模型,拿你最在意的那段 prompt 测体感延迟,和云 API 对比;
  2. 做微调/RAG 的工程师:借 Nimble 的思路,今天先攒 20 条最典型的业务输入 + 期望输出,一周就能滚动成一个属于自己的评测集;
  3. 设计向读者:装好 Blender 后跑 holo-card-studio,用你产品的 slogan 生成第一张 3D 卡片,然后进工程改字体材质,体会「AI 交工程」和「AI 交图片」的差别;
  4. 信息源习惯:每周花 10 分钟扫一遍 GitHub 新星榜,专挑 Star 在 500–2000 区间的「小而美」——几千星的早被写烂了,信息差都藏在半山腰。

参考来源

  1. splash 仓库:https://github.com/incoai/splash
  2. Nimble 仓库:https://github.com/bespokelabsai/nimble
  3. holo-card-studio 仓库:https://github.com/EverettFish/holo-card-studio
  4. laya-mlx(Mac 本地赛道佐证):https://github.com/mizorewww/laya-mlx
  5. HN 热帖《Tokens too cheap to meter》:https://news.ycombinator.com/item?id=49813482

    本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。

1. 完成摘要(What was done)

2. 下一步计划(What's next)

3. 注意事项(If applicable)

[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入