先给你看一个精神分裂现场。HN 首页挂着一条 284 分热帖《Tokens too cheap to meter》——token 便宜到不用装电表了;可同一时间的 GitHub 新星榜上,蹿得最快的 AI 项目却在齐刷刷干一件反方向的事:把推理、评测、3D 创作,从云端搬回你自己的机器。云越便宜,越有人往回搬——这不是情怀,是延迟、隐私和「改得动」三个硬需求在起作用。
今天从 2026-09-24 的 GitHub 新星榜里捞三件正在这么干的新货:一件给 Mac 做专属推理引擎,一件把模型评测搬回本地,一件让 AI 直接交付可编辑的 Blender 工程。全部开源免费。Star 数截至 2026-09-24,来自 GitHub Search API;本轮实时抓取通道受限,未能二次核验官网,时效细节请以各仓库 README 为准。
仓库:incoai/splash(近 7 天新仓库,⭐709)
官方一句话定位:"A local inference engine for Apple silicon, built around the model"——围绕模型本身构建的苹果芯片本地推理引擎。
单看 Star 它只是「小而美」,但放进赛道里看就不一样了。同一份榜上,laya 生态一周内冒出两个 Mac 端运行时:laya-mlx(⭐6073,宣称 M3 Max 上 7–14 毫秒出一次短决策)和 laya-coreml(⭐1403,宣称在 Neural Engine 上约 5 毫秒)。三家不约而同押注苹果芯片,说明一件事:M 系列统一内存跑本地模型,已经从极客玩具变成正经赛道。通用工具求广,splash 这类「围绕模型造引擎」求尖——引擎和模型协同设计,通常是压延迟、压内存的路数。
国内对比:国内 Mac 用户跑本地模型基本两条路——Ollama 一条命令拉模型,或 LM Studio 点 GUI。都是「通用货架」逻辑,什么模型都能放,但没人针对你的具体机型和模型做协同优化。「专用引擎」这个空位,国内公开项目还几乎没人占。
价格:开源免费。适用人群:手握 M 系列 Mac、对延迟敏感的开发者——本地 Agent、输入法级小决策、端上 RAG。
仓库:bespokelabsai/nimble(⭐1704,Python)
官方描述三件事:本地类型化决策(typed decisions)、对比式数据策展(contrastive data curation)、模型评测(model evaluation)。
三个能力里,评测最值钱。国内团队选模型大多还是「刷公开榜单 + 听朋友说」,但榜单分高 ≠ 在你的任务上好使。真正的解法是攒一个自己的小评测集,每次换模型、改 prompt 都跑一遍——这就是 eval 闭环。海外这一年已经把 eval 做成了独立工具赛道,Nimble 更进一步,把它和数据策展缝在一起:不光给你的输出打分,还帮你从真实数据里挑出最有信息量的样本去养评测集。顺带一提,它把 typed decisions 也搬到了本地——和 laya 押的是同一个判断:小而快的结构化决策,不必过云。团队背景方面,Bespoke Labs 据公开资料此前就以数据合成与质量基建出名。
国内对比:OpenCompass 这类公开评测体系解决了「榜单」问题,但「我自己任务的评测集怎么搭、怎么持续养」,国内公开的轻量工具很少。Nimble 给的思路可以直接抄:评测集不是一次性资产,是随业务长大的资产。
价格:开源免费。适用人群:做微调、RAG、prompt 工程的工程师——只要你会反复换模型,就需要这类东西。
仓库:EverettFish/holo-card-studio(近 45 天新仓库,⭐1775,Python)
它干的事:把你的一句话描述或上传的参考图,变成成品级、可编辑的 Blender 卡片。
大多数 AI 生 3D 工具(Meshy、Tripo 这类)的产出是网格资产——模型导出了,后期还得你自己进 Blender 重塑、展 UV、打灯。holo-card-studio 直接跳到「成品工程」:产出就是可编辑的 .blend 文件,改材质、换字、调灯光,进 Blender 接着改就行。AI 管从 0 到 70%,人管最后 30% 的「像不像个作品」——这个「交工程、不交半成品」的思路,才是 AI 内容工具从玩具变生产力的分水岭。
flowchart TD
P1["一句话描述或参考图"] --> P2["AI生成卡片结构与材质"]
P2 --> P3["输出可编辑Blender工程"]
P3 --> P4["人工改字体灯光构图"]
P4 --> P5["渲染导出成品"]
场景:独立开发者做应用图标的立体展示卡、电商产品视觉、自媒体封面立体字。国内对比:国内在 AI 生 3D 上并不落后(Tripo 就是国产),但整条链路停在「出模型」,往下走到「出可编辑工程」的公开项目很少。做电商视觉的朋友可以参考定制行情算笔账:一张定制 3D 立牌卡片外包报价几百到上千元,本地跑一遍的边际成本就是电费。
价格:开源免费,本机需装 Blender。适用人群:会一点 Blender 的设计向开发者、电商视觉、独立游戏/应用作者。
Mercury 2.5——据 HN 首页帖(92 分),号称跑到 770 tokens/秒。背景一句:这条路线不是自回归地一个字一个字往外蹦,而是像扩散图像模型那样整段「显影」,速度是它的卖点(该数字未经官方渠道二次核实)。谈资价值在于:自回归模型把速度卷到头之后,速度战换了条赛道打。
flowchart TD
Q["先问一句:这活必须上云吗"] --> A["要跑模型推理"]
Q --> B["要评模型好不好"]
Q --> C["要做3D视觉素材"]
A --> A1["用Mac:试splash"]
A --> A2["不折腾:Ollama也够用"]
B --> B1["借Nimble思路搭评测集"]
C --> C1["holo-card出可改工程"]
A1 --> Z["数据不出门,还改得动"]
B1 --> Z
C1 --> Z
A2 --> Y["继续付云费,记得砍价"]
| 你以为 | 实际上 |
|---|---|
| 本地推理 = 装个 Ollama 凑合 | 「围绕模型造专用引擎」已成新品类,苹果芯片是被押注的主场(splash 上榜同周,laya 一口气出了两个 Mac runtime) |
| 评测 = 看公开榜单 | 海外把「本地评测 + 数据策展」做成了工具,评测集是随业务长大的资产(Nimble) |
| AI 生 3D = 导出一个网格 | 新一代直接交付可编辑 Blender 工程:AI 干 70%,人改 30%(holo-card-studio) |
| token 白菜价就该全上云 | 云越便宜,越有人为延迟/隐私/可改动性往回搬——HN 284 分热帖刷屏的同一周,三件「回搬」新货上榜 |
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。
[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。
