把大模型塞进端侧的开源七剑掘金

当云端 API 按调用计费、按 token 抽血，越来越多团队把目光转向"端侧"——手机、树莓派、AI PC、浏览器、车载盒子、工业网关。本周深挖的七款开源工具，覆盖了端侧 AI 的完整链条：从"我的硬件到底能跑什么模型"的选型（whichllm），到移动端推理引擎（MNN、ncnn、OpenVINO、shimmy），再到端侧语音（supertonic）和端侧向量检索（zvec）。它们共同回答一个商业问题：如何在不付云费、不传数据的前提下，把大模型塞进受限设备，并把这能力卖出去。 数据截至 2026-07-06，全部为 GitHub 实时核验，七款仓库过去一周内均有提交。

筛选标准

维度	权重	说明
变现潜力	40%	能否包装为 SDK 授权、私有化部署、硬件捆绑或训练营付费产品
训练营适用性	25%	嵌入式/移动/前端开发者能否在 2–4 小时跑通端到端 demo
技术新颖度	20%	是否代表端侧 AI 前沿方向（端侧 LLM、on-device RAG、WebGPU 推理）
维护活跃度	15%	最近一周是否有 commit、Issue 响应速度

核心判断：端侧 AI 是一条被"砍 SaaS 年费"叙事掩盖的隐形赛道。它的客户不是个人用户，而是传统硬件厂商、App 开发商、政企私有化客户——这些客户预算厚、对"数据不出端"有刚需，正是知识付费与外包变现的肥土。

一、whichllm —— 端侧 AI 的"导购员"

项目：Andyyyy64/whichllm ｜ 5,578 ⭐ ｜创建于 2026-03-04，最近提交 2026-07-03 ｜许可证 MIT

核心功能：一条命令检测本机 CPU/GPU/内存，再对照 LiveBench、Aider、Arena ELO 等真实基准，给出"你这台机器真正能跑、且性能最优的本地模型"排名，而非按参数量瞎猜。

上手难度：⭐⭐（pip 装一行，纯 CLI，输出 JSON 可脚本化）

变现评估：这是整个端侧链条里最轻、最适合个人起步的入口。可以包装成三类产品：(1) 面向小白的"本地大模型装机服务"，¥199–¥499 上门/远程帮人配好能跑的模型，附 whichllm 选型报告；(2) "AI PC / GPU 选购咨询"，结合 whichllm 的 GPU 模拟功能，给想买显卡跑模型的人出装机单，¥99 单次咨询、¥999 年度会员；(3) 给企业做"私有化部署可行性评估"，按工位数报价，单项目 ¥3,000 起。

训练营评估：极度适合做《2 小时让你的旧电脑跑起来大模型》入门课。学员收益明确——结课带走的不是 PPT，而是一份针对自己机器的"可运行模型清单"。教学时长 1.5–2 小时，可作为端侧 AI 训练营的第 0 节"破冰课"。

差异化：相比 Ollama 只管"拉模型不管能不能跑顺"，whichllm 解决的是选型决策，填补了"参数量误导"的认知空白。

二、zvec —— 阿里开源的"向量版 SQLite"

项目：alibaba/zvec ｜ 12,919 ⭐ ｜创建于 2025-12-05，最近提交 2026-07-03 ｜许可证 Apache-2.0

核心功能：一个进程内（in-process）嵌入式向量数据库，无需起服务、无需配置，支持稠密/稀疏向量与混合检索，提供 Python、Node、Dart/Flutter 绑定，专为端侧与移动端 RAG 设计。

上手难度：⭐⭐（像 import sqlite3 一样 import zvec，库形态嵌入应用）

变现评估：zvec 是端侧 RAG 的"地基"，变现走 B 端与生态两条路。(1) 移动端离线问答 SDK：把企业知识库 + zvec + 量化模型打包成离线 App，卖给医院、律所、制造业，单客户 ¥50,000–¥200,000，主打"资料不出手机"；(2) Flutter/跨平台 AI 模板：做一个"端侧 RAG App 脚手架"卖源码授权，¥1,999–¥4,999 一套，开发者拿来二次开发；(3) 阿里背书 + Apache-2.0 商用零障碍，是外包项目里"甲方一看就放心"的技术选型。

训练营评估：适合《4 小时做出一个离线知识库 App》实战课。学员用 Flutter + zvec 在手机上跑通"导入 PDF→向量化→检索→本地模型回答"全流程，作品可直接当作品集。这类"端侧 RAG"课程在移动开发者圈稀缺，定价 ¥399–¥699 不亏。

差异化：传统向量库（Milvus、Qdrant）都是"服务器"，zvec 是"库"，把 RAG 能力压进 App 进程，这是端侧独有的形态。

三、supertonic —— 把语音合成压进 99M 参数

项目：supertone-inc/supertonic ｜ 12,894 ⭐ ｜创建于 2025-11-18，最近提交 2026-06-30 ｜代码许可证 MIT（模型 OpenRAIL-M，商用需留意使用条款）

核心功能：超轻量端侧 TTS，模型仅约 99M 参数，原生走 ONNX，纯 CPU 即可实时，支持 31 种语言，甚至能在浏览器里通过 WebGPU 推理，覆盖 Python/Node/Swift/iOS/Rust/Flutter 全平台 SDK。

上手难度：⭐⭐⭐（多端 SDK 丰富，但 OpenRAIL-M 模型条款需读清）

变现评估：语音是端侧最显性的能力，最容易做出"看得见听得到"的 demo。(1) 离线语音播报模组/盒子：给无障碍设备、老年机、车载终端做离线语音，硬件 + 固件捆绑销售，单台利润 ¥50–¥200，走量；(2) 儿童绘本/教育 App 的离线朗读 SDK，按 App 授权 ¥5,000–¥30,000；(3) 注意：模型是 OpenRAIL-M（开放权重但带使用限制），做商业产品前必须核对条款，必要时替换为完全开放的 VoxCPM2 作为引擎——这一点本身就是训练营里"如何避坑开源许可证"的好素材。

训练营评估：适合《端侧语音合成实战》课，3 小时内让学员在网页里跑通"输入文字→浏览器本地朗读"，零 API、零云费，演示效果炸裂。定价 ¥299–¥499。

差异化：市面上 ElevenLabs 类方案全是云端按字符收费，supertonic 把它免费搬到本地与浏览器，对教育/无障碍等成本敏感场景是降维打击。

四、ncnn —— 腾讯的移动端推理老牌

项目：Tencent/ncnn ｜ 23,482 ⭐ ｜最近提交 2026-07-03 ｜许可证 BSD（宽松）

核心功能：为移动端、嵌入式、边缘设备优化的高性能神经网络推理框架，支持 ARM/ Vulkan/苹果生态，体积小、无依赖，已被大量工业级 App 实战验证。

上手难度：⭐⭐⭐⭐（C++ 为主，面向有移动/嵌入式基础的工程师）

变现评估：ncnn 是"老钱"项目，变现成熟度高。(1) 移动端 AI 模型部署外包：帮 App 厂商把视觉模型（人脸、OCR、检测）压进手机，单项目 ¥20,000–¥100,000，需求稳定；(2) 工业相机/边缘盒子方案：把 ncnn + NPU 模型做成缺陷检测、车牌识别模组，卖给制造业，硬件毛利 + 软件授权；(3) BSD 许可证对商用最友好，甲方合规审查无障碍，是外包接单的"安全牌"。

训练营评估：适合进阶课《C++ 移动端模型部署》，4 小时讲清模型转换→ncnn 部署→Android/iOS 集成。学员门槛偏高（需 C++ 与移动基础），适合定位 ¥999–¥1,999 的"高单价技术训练营"，面向已是移动工程师的进阶人群。

差异化：相比新潮的 Rust/MLX 引擎，ncnn 在 ARM 移动端的极致优化与十年生态积累，短期内无可替代，是端侧视觉的事实标准之一。

五、MNN —— 阿里的轻量推理引擎

项目：alibaba/MNN ｜ 15,610 ⭐ ｜最近提交 2026-07-01 ｜许可证 Apache-2.0

核心功能：阿里实战打磨的轻量推理引擎，覆盖移动、嵌入式、IoT 与端侧大模型，支持模型量化、几何计算优化与多后端，近年已扩展到端侧 LLM 推理。

变现评估：MNN 与 ncnn 形成端侧推理"双子星"，但 MNN 对端侧大模型支持更激进，变现点更新。(1) 端侧 LLM 私有化部署：用 MNN-LLM 在中端手机/车机上跑量化大模型，给车企、手机厂商做 PoC，单 PoC ¥50,000 起；(2) IoT 语音/视觉模组：MNN 体积小、跨平台，适合塞进智能音箱、儿童机器人，软硬一体方案；(3) 阿里背书 + Apache-2.0，政企私有化项目可放心选用。

训练营评估：适合《端侧大模型部署实战》课，4 小时让学员在手机上跑通一个量化后的对话模型，体验"离线 ChatBot"。这是 2026 年最热的端侧命题，定价 ¥699–¥1,299，目标人群为 IoT/移动工程师。

差异化：ncnn 强在视觉，MNN 强在"端侧跑大模型"这条新战线，两者互补不冲突。

六、OpenVINO —— Intel 的 AI PC / 边缘部署工具链

项目：openvinotoolkit/openvino ｜ 10,474 ⭐ ｜最近提交 2026-07-04 ｜许可证 Apache-2.0

核心功能：Intel 开源的高性能 AI 部署工具链，覆盖 x86 CPU、Intel 集显、AI PC 的 NPU 与边缘硬件，支持模型优化、量化与异构推理，2026.2 版本强化了端侧 LLM 与多模态支持。

上手难度：⭐⭐⭐（Python/C++ 双接口，文档完善，门槛低于 ncnn/MNN）

变现评估：OpenVINO 的红利在"AI PC 浪潮"。(1) AI PC 应用开发外包：2026 年大量企业采购 NPU 笔记本，急需"能用上 NPU 加速"的本地 AI 应用，帮客户把模型从云端搬到本地 NPU，单项目 ¥30,000 起；(2) 政企私有化办公助手：文档摘要、会议转录等场景，OpenVINO 在 Intel 服务器/工控机上零成本加速，私有化部署单客户 ¥100,000+；(3) Intel 官方有 ISV 生态与算力补贴，接 Intel 渠道的单子利润更厚。

训练营评估：适合《AI PC 本地 AI 应用开发》课，3 小时讲清模型转 OpenVINO→NPU 加速→打包桌面应用。学员多为 Windows/Python 背景，门槛友好，定价 ¥499–¥899。

差异化：其他六款偏 ARM/移动/Apple，OpenVINO 独占 x86 + NPU 这块"AI PC"新大陆，是 Windows 阵营端侧 AI的稀缺选项。

七、shimmy —— 纯 Rust 的单二进制推理引擎

项目：Michael-A-Kuykendall/shimmy ｜ 5,618 ⭐ ｜创建于 2025-08-28，最近提交 2026-06-30 ｜许可证 Apache-2.0

核心功能：纯 Rust 实现的 WebGPU 推理引擎，原生支持 GGUF，提供 OpenAI 兼容 API，靠 Vulkan/D3D12/Metal 跑在任何 GPU 上——无需 Python、无需 llama.cpp、无需 CUDA，单文件交付。

上手难度：⭐⭐⭐（单二进制，但部分 GPU 核心不可由公众自行构建，需留意）

变现评估：shimmy 的卖点是"一份二进制跑遍所有显卡"，对混合硬件的边缘场景极具吸引力。(1) 国产显卡/老显卡推理方案：在无 CUDA 的国产 GPU、老 N 卡、集显上跑本地模型，卖给国产化替代项目，单项目 ¥20,000 起；(2) 边缘盒子一键推理镜像：把 shimmy 打包成即插即用的 Docker/固件，卖给 homelab 与小企业，¥299–¥999/套；(3) 单二进制特性让私有化交付极轻，复制即用，运维成本几乎为零。

训练营评估：适合《无 CUDA 也能本地推理》专题课，2 小时演示在纯集显/国产卡上跑通对话，技术新颖度高，吸引硬件党与国产化方向学员，定价 ¥299–¥499。

差异化：当 Ollama/llama.cpp 深度绑定 CUDA，shimmy 用 WebGPU 绕开 NVIDIA，是国产化与边缘场景的独特选项。

端侧 AI 工具链全景

mindmap
  root((端侧AI工具链))
    选型决策
      whichllm[whichllm 硬件选型]
    推理引擎
      ncnn[ncnn 移动端视觉]
      MNN[MNN 端侧大模型]
      OpenVINO[OpenVINO x86/AI PC]
      shimmy[shimmy WebGPU无CUDA]
    数据与能力
      zvec[zvec 嵌入式向量库]
      supertonic[supertonic 端侧TTS]
    变现出口
      私有化部署
      硬件捆绑模组
      SDK授权
      端侧AI训练营

变现潜力 Top 5 排行榜

结论与延伸

排名	项目	最佳变现方向	预估定价
1	zvec	移动端离线知识库 SDK / 跨平台 RAG 脚手架源码	单客户 ¥50k–¥200k；源码 ¥1,999–¥4,999
2	MNN	端侧 LLM 私有化部署（车机/手机 PoC）	单 PoC ¥50,000 起
3	OpenVINO	AI PC 本地应用开发 / 政企私有化办公助手	单项目 ¥30k–¥100k+
4	supertonic	离线语音模组 / 教育 App 朗读 SDK	硬件单台 ¥50–¥200；SDK ¥5k–¥30k
5	whichllm	本地模型装机服务 + GPU 选购咨询	¥199–¥499/单；咨询 ¥999/年

端侧 AI 不是"本地优先 App"的重复，而是面向受限硬件 + 数据不出端 + 零云费的工程链条。它的客户结构（硬件厂商、App 开发商、政企私有化）决定了客单价远高于 toC 工具，且"卖铲人"属性强——你帮别人把 AI 装进设备，自己收工程费、授权费、咨询费。本周七剑恰好构成闭环：whichllm 选型 → MNN/ncnn/OpenVINO/shimmy 推理 → zvec 存知识 → supertonic 出语音。建议从 whichllm 切入做低价训练营获客，再用 zvec + MNN 的组合接私有化外包单，这是个人开发者最稳的端侧掘金路径。