当云端 API 按调用计费、按 token 抽血，越来越多团队把目光转向"端侧"——手机、树莓派、AI PC、浏览器、车载盒子、工业网关。本周深挖的七款开源工具，覆盖了端侧 AI 的完整链条：从"我的硬件到底能跑什么模型"的选型（whichllm），到移动端推理引擎（MNN、ncnn、OpenVINO、shimmy），再到端侧语音（supertonic）和端侧向量检索（zvec）。它们共同回答一个商业问题：**如何在不付云费、不传数据的前提下，把大模型塞进受限设备，并把这能力卖出去。** 数据截至 2026-07-06，全部为 GitHub 实时核验，七款仓库过去一周内均有提交。 ## 筛选标准 | 维度 | 权重 | 说明 | |------|------|------| | 变现潜力 | 40% | 能否包装为 SDK 授权、私有化部署、硬件捆绑或训练营付费产品 | | 训练营适用性 | 25% | 嵌入式/移动/前端开发者能否在 2–4 小时跑通端到端 demo | | 技术新颖度 | 20% | 是否代表端侧 AI 前沿方向（端侧 LLM、on-device RAG、WebGPU 推理） | | 维护活跃度 | 15% | 最近一周是否有 commit、Issue 响应速度 | **核心判断**：端侧 AI 是一条被"砍 SaaS 年费"叙事掩盖的隐形赛道。它的客户不是个人用户，而是**传统硬件厂商、App 开发商、政企私有化客户**——这些客户预算厚、对"数据不出端"有刚需，正是知识付费与外包变现的肥土。 --- ## 一、whichllm —— 端侧 AI 的"导购员" **项目**：[Andyyyy64/whichllm](https://github.com/Andyyyy64/whichllm) ｜ 5,578 ⭐ ｜ 创建于 2026-03-04，最近提交 2026-07-03 ｜ 许可证 MIT **核心功能**：一条命令检测本机 CPU/GPU/内存，再对照 LiveBench、Aider、Arena ELO 等真实基准，给出"你这台机器真正能跑、且性能最优的本地模型"排名，而非按参数量瞎猜。 **上手难度**：⭐⭐（pip 装一行，纯 CLI，输出 JSON 可脚本化） **变现评估**：这是整个端侧链条里最轻、最适合个人起步的入口。可以包装成三类产品：(1) **面向小白的"本地大模型装机服务"**，¥199–¥499 上门/远程帮人配好能跑的模型，附 whichllm 选型报告；(2) **"AI PC / GPU 选购咨询"**，结合 whichllm 的 GPU 模拟功能，给想买显卡跑模型的人出装机单，¥99 单次咨询、¥999 年度会员；(3) 给企业做"私有化部署可行性评估"，按工位数报价，单项目 ¥3,000 起。 **训练营评估**：极度适合做《2 小时让你的旧电脑跑起来大模型》入门课。学员收益明确——结课带走的不是 PPT，而是一份针对自己机器的"可运行模型清单"。教学时长 1.5–2 小时，可作为端侧 AI 训练营的第 0 节"破冰课"。 **差异化**：相比 Ollama 只管"拉模型不管能不能跑顺"，whichllm 解决的是选型决策，填补了"参数量误导"的认知空白。 --- ## 二、zvec —— 阿里开源的"向量版 SQLite" **项目**：[alibaba/zvec](https://github.com/alibaba/zvec) ｜ 12,919 ⭐ ｜ 创建于 2025-12-05，最近提交 2026-07-03 ｜ 许可证 Apache-2.0 **核心功能**：一个进程内（in-process）嵌入式向量数据库，无需起服务、无需配置，支持稠密/稀疏向量与混合检索，提供 Python、Node、Dart/Flutter 绑定，专为端侧与移动端 RAG 设计。 **上手难度**：⭐⭐（像 import sqlite3 一样 import zvec，库形态嵌入应用） **变现评估**：zvec 是端侧 RAG 的"地基"，变现走 B 端与生态两条路。(1) **移动端离线问答 SDK**：把企业知识库 + zvec + 量化模型打包成离线 App，卖给医院、律所、制造业，单客户 ¥50,000–¥200,000，主打"资料不出手机"；(2) **Flutter/跨平台 AI 模板**：做一个"端侧 RAG App 脚手架"卖源码授权，¥1,999–¥4,999 一套，开发者拿来二次开发；(3) 阿里背书 + Apache-2.0 商用零障碍，是外包项目里"甲方一看就放心"的技术选型。 **训练营评估**：适合《4 小时做出一个离线知识库 App》实战课。学员用 Flutter + zvec 在手机上跑通"导入 PDF→向量化→检索→本地模型回答"全流程，作品可直接当作品集。这类"端侧 RAG"课程在移动开发者圈稀缺，定价 ¥399–¥699 不亏。 **差异化**：传统向量库（Milvus、Qdrant）都是"服务器"，zvec 是"库"，把 RAG 能力压进 App 进程，这是端侧独有的形态。 --- ## 三、supertonic —— 把语音合成压进 99M 参数 **项目**：[supertone-inc/supertonic](https://github.com/supertone-inc/supertonic) ｜ 12,894 ⭐ ｜ 创建于 2025-11-18，最近提交 2026-06-30 ｜ 代码许可证 MIT（模型 OpenRAIL-M，商用需留意使用条款） **核心功能**：超轻量端侧 TTS，模型仅约 99M 参数，原生走 ONNX，纯 CPU 即可实时，支持 31 种语言，甚至能在浏览器里通过 WebGPU 推理，覆盖 Python/Node/Swift/iOS/Rust/Flutter 全平台 SDK。 **上手难度**：⭐⭐⭐（多端 SDK 丰富，但 OpenRAIL-M 模型条款需读清） **变现评估**：语音是端侧最显性的能力，最容易做出"看得见听得到"的 demo。(1) **离线语音播报模组/盒子**：给无障碍设备、老年机、车载终端做离线语音，硬件 + 固件捆绑销售，单台利润 ¥50–¥200，走量；(2) **儿童绘本/教育 App 的离线朗读 SDK**，按 App 授权 ¥5,000–¥30,000；(3) 注意：模型是 OpenRAIL-M（开放权重但带使用限制），做商业产品前必须核对条款，必要时替换为完全开放的 VoxCPM2 作为引擎——这一点本身就是训练营里"如何避坑开源许可证"的好素材。 **训练营评估**：适合《端侧语音合成实战》课，3 小时内让学员在网页里跑通"输入文字→浏览器本地朗读"，零 API、零云费，演示效果炸裂。定价 ¥299–¥499。 **差异化**：市面上 ElevenLabs 类方案全是云端按字符收费，supertonic 把它免费搬到本地与浏览器，对教育/无障碍等成本敏感场景是降维打击。 --- ## 四、ncnn —— 腾讯的移动端推理老牌 **项目**：[Tencent/ncnn](https://github.com/Tencent/ncnn) ｜ 23,482 ⭐ ｜ 最近提交 2026-07-03 ｜ 许可证 BSD（宽松） **核心功能**：为移动端、嵌入式、边缘设备优化的高性能神经网络推理框架，支持 ARM/ Vulkan/苹果生态，体积小、无依赖，已被大量工业级 App 实战验证。 **上手难度**：⭐⭐⭐⭐（C++ 为主，面向有移动/嵌入式基础的工程师） **变现评估**：ncnn 是"老钱"项目，变现成熟度高。(1) **移动端 AI 模型部署外包**：帮 App 厂商把视觉模型（人脸、OCR、检测）压进手机，单项目 ¥20,000–¥100,000，需求稳定；(2) **工业相机/边缘盒子方案**：把 ncnn + NPU 模型做成缺陷检测、车牌识别模组，卖给制造业，硬件毛利 + 软件授权；(3) BSD 许可证对商用最友好，甲方合规审查无障碍，是外包接单的"安全牌"。 **训练营评估**：适合进阶课《C++ 移动端模型部署》，4 小时讲清模型转换→ncnn 部署→Android/iOS 集成。学员门槛偏高（需 C++ 与移动基础），适合定位 ¥999–¥1,999 的"高单价技术训练营"，面向已是移动工程师的进阶人群。 **差异化**：相比新潮的 Rust/MLX 引擎，ncnn 在 ARM 移动端的极致优化与十年生态积累，短期内无可替代，是端侧视觉的事实标准之一。 --- ## 五、MNN —— 阿里的轻量推理引擎 **项目**：[alibaba/MNN](https://github.com/alibaba/MNN) ｜ 15,610 ⭐ ｜ 最近提交 2026-07-01 ｜ 许可证 Apache-2.0 **核心功能**：阿里实战打磨的轻量推理引擎，覆盖移动、嵌入式、IoT 与端侧大模型，支持模型量化、几何计算优化与多后端，近年已扩展到端侧 LLM 推理。 **上手难度**：⭐⭐⭐⭐（C++/多平台，配套 MNN-LLM 工具链） **变现评估**：MNN 与 ncnn 形成端侧推理"双子星"，但 MNN 对**端侧大模型**支持更激进，变现点更新。(1) **端侧 LLM 私有化部署**：用 MNN-LLM 在中端手机/车机上跑量化大模型，给车企、手机厂商做 PoC，单 PoC ¥50,000 起；(2) **IoT 语音/视觉模组**：MNN 体积小、跨平台，适合塞进智能音箱、儿童机器人，软硬一体方案；(3) 阿里背书 + Apache-2.0，政企私有化项目可放心选用。 **训练营评估**：适合《端侧大模型部署实战》课，4 小时让学员在手机上跑通一个量化后的对话模型，体验"离线 ChatBot"。这是 2026 年最热的端侧命题，定价 ¥699–¥1,299，目标人群为 IoT/移动工程师。 **差异化**：ncnn 强在视觉，MNN 强在"端侧跑大模型"这条新战线，两者互补不冲突。 --- ## 六、OpenVINO —— Intel 的 AI PC / 边缘部署工具链 **项目**：[openvinotoolkit/openvino](https://github.com/openvinotoolkit/openvino) ｜ 10,474 ⭐ ｜ 最近提交 2026-07-04 ｜ 许可证 Apache-2.0 **核心功能**：Intel 开源的高性能 AI 部署工具链，覆盖 x86 CPU、Intel 集显、AI PC 的 NPU 与边缘硬件，支持模型优化、量化与异构推理，2026.2 版本强化了端侧 LLM 与多模态支持。 **上手难度**：⭐⭐⭐（Python/C++ 双接口，文档完善，门槛低于 ncnn/MNN） **变现评估**：OpenVINO 的红利在"**AI PC 浪潮**"。(1) **AI PC 应用开发外包**：2026 年大量企业采购 NPU 笔记本，急需"能用上 NPU 加速"的本地 AI 应用，帮客户把模型从云端搬到本地 NPU，单项目 ¥30,000 起；(2) **政企私有化办公助手**：文档摘要、会议转录等场景，OpenVINO 在 Intel 服务器/工控机上零成本加速，私有化部署单客户 ¥100,000+；(3) Intel 官方有 ISV 生态与算力补贴，接 Intel 渠道的单子利润更厚。 **训练营评估**：适合《AI PC 本地 AI 应用开发》课，3 小时讲清模型转 OpenVINO→NPU 加速→打包桌面应用。学员多为 Windows/Python 背景，门槛友好，定价 ¥499–¥899。 **差异化**：其他六款偏 ARM/移动/Apple，OpenVINO 独占 x86 + NPU 这块"AI PC"新大陆，是 Windows 阵营端侧 AI的稀缺选项。 --- ## 七、shimmy —— 纯 Rust 的单二进制推理引擎 **项目**：[Michael-A-Kuykendall/shimmy](https://github.com/Michael-A-Kuykendall/shimmy) ｜ 5,618 ⭐ ｜ 创建于 2025-08-28，最近提交 2026-06-30 ｜ 许可证 Apache-2.0 **核心功能**：纯 Rust 实现的 WebGPU 推理引擎，原生支持 GGUF，提供 OpenAI 兼容 API，靠 Vulkan/D3D12/Metal 跑在任何 GPU 上——无需 Python、无需 llama.cpp、无需 CUDA，单文件交付。 **上手难度**：⭐⭐⭐（单二进制，但部分 GPU 核心不可由公众自行构建，需留意） **变现评估**：shimmy 的卖点是"**一份二进制跑遍所有显卡**"，对混合硬件的边缘场景极具吸引力。(1) **国产显卡/老显卡推理方案**：在无 CUDA 的国产 GPU、老 N 卡、集显上跑本地模型，卖给国产化替代项目，单项目 ¥20,000 起；(2) **边缘盒子一键推理镜像**：把 shimmy 打包成即插即用的 Docker/固件，卖给 homelab 与小企业，¥299–¥999/套；(3) 单二进制特性让私有化交付极轻，复制即用，运维成本几乎为零。 **训练营评估**：适合《无 CUDA 也能本地推理》专题课，2 小时演示在纯集显/国产卡上跑通对话，技术新颖度高，吸引硬件党与国产化方向学员，定价 ¥299–¥499。 **差异化**：当 Ollama/llama.cpp 深度绑定 CUDA，shimmy 用 WebGPU 绕开 NVIDIA，是国产化与边缘场景的独特选项。 --- ## 端侧 AI 工具链全景 ```mermaid mindmap root((端侧AI工具链)) 选型决策 whichllm[whichllm 硬件选型] 推理引擎 ncnn[ncnn 移动端视觉] MNN[MNN 端侧大模型] OpenVINO[OpenVINO x86/AI PC] shimmy[shimmy WebGPU无CUDA] 数据与能力 zvec[zvec 嵌入式向量库] supertonic[supertonic 端侧TTS] 变现出口 私有化部署 硬件捆绑模组 SDK授权 端侧AI训练营 ``` ## 变现潜力 Top 5 排行榜 | 排名 | 项目 | 最佳变现方向 | 预估定价 | |------|------|--------------|----------| | 1 | **zvec** | 移动端离线知识库 SDK / 跨平台 RAG 脚手架源码 | 单客户 ¥50k–¥200k；源码 ¥1,999–¥4,999 | | 2 | **MNN** | 端侧 LLM 私有化部署（车机/手机 PoC） | 单 PoC ¥50,000 起 | | 3 | **OpenVINO** | AI PC 本地应用开发 / 政企私有化办公助手 | 单项目 ¥30k–¥100k+ | | 4 | **supertonic** | 离线语音模组 / 教育 App 朗读 SDK | 硬件单台 ¥50–¥200；SDK ¥5k–¥30k | | 5 | **whichllm** | 本地模型装机服务 + GPU 选购咨询 | ¥199–¥499/单；咨询 ¥999/年 | ## 结论与延伸 端侧 AI 不是"本地优先 App"的重复，而是面向**受限硬件 + 数据不出端 + 零云费**的工程链条。它的客户结构（硬件厂商、App 开发商、政企私有化）决定了客单价远高于 toC 工具，且"卖铲人"属性强——你帮别人把 AI 装进设备，自己收工程费、授权费、咨询费。本周七剑恰好构成闭环：whichllm 选型 → MNN/ncnn/OpenVINO/shimmy 推理 → zvec 存知识 → supertonic 出语音。**建议从 whichllm 切入做低价训练营获客，再用 zvec + MNN 的组合接私有化外包单**，这是个人开发者最稳的端侧掘金路径。 ## 参考来源 1. [Open-Source AI Radar: 19 Rising GitHub Repos (June 2026)](https://aitoolradar.io/blog/open-source-ai-radar-june-2026) — 端侧推理、语音、向量库等 19 个新兴项目的许可证与成熟度交叉核验 2. [Zvec: Alibaba's Open-Source In-Process Vector Database (2026)](https://www.marktechpost.com/2026/02/10/alibaba-open-sources-zvec-an-embedded-vector-database-bringing-sqlite-like-simplicity-and-high-performance-on-device-rag-to-edge-applications/) — 阿里 zvec 嵌入式向量库的"向量版 SQLite"定位与端侧 RAG 性能数据 3. [Edge AI in 2026: Running LLMs and Vision Models On-Device](https://devstarsj.github.io/2026/02/21/edge-ai-on-device-inference-guide/) — Apple Neural Engine、高通 Hexagon NPU、MediaTek APU 推动端侧 LLM 与视觉模型落地的工程指南 4. [Best Local LLM for Your Hardware: whichllm Guide [2026]](https://www.qwe.edu.pl/tutorial/best-local-llm-for-your-hardware-whichllm/) — whichllm 基于真实基准为硬件匹配最优本地模型的选型方法论 5. [GitHub Trending & Repos API](https://github.com/trending) — 本文 Star 数、提交时间、许可证均经 GitHub API 于 2026-07-06 实时核验 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。