导语： 提到跑大模型，多数人脑子里只有两条路：花大价钱订阅ChatGPT会员，或者自己租GPU开API。但海外开发者圈正在悄悄卷第三条路——端侧AI：把几十亿参数的小模型直接塞进手机和浏览器里跑，不联网、不要API key、不按token计费，模型权重还是开放下载的。这条路线的工具链在海外已经成型，但中文圈几乎没有像样的拆解。今天这篇文章，我把三件最实用的端侧工具一次讲透：谷歌官方的 AI Edge Gallery、开源跨端的 PocketPal AI、以及能让你的网页自己“长出大脑”的 WebLLM。看完你至少能省下一笔API账单，还能解锁一批“无网也智能”的新玩法。
两年前在手机上跑大模型还是极客玩具：跑一个7B模型要旗舰机，速度慢得像PPT。但现在三件事同时发生了：
海外开发者已经开始把端侧模型嵌进真实产品：飞机上能用、工厂里能用、健康日记这类隐私数据不用出设备。而国内现状是——端侧AI基本被手机厂商锁在自家助手里（小米、荣耀、vivo的内置大模型，你用得了但嵌不进自己的App），开发者自己想做端侧，资料少、路子野。这就是信息差所在。
官网/仓库： https://github.com/google-ai-edge/gallery
这是谷歌AI Edge团队2025年放出的开源项目，Apache 2.0协议，完全免费。它的定位很直白：给你一个官方壳子，把 Gemma 系列模型直接跑在手机上。
核心功能：
怎么上手： 安卓端从 GitHub 仓库下载 APK 安装（国内应用商店没有，这是第一道信息差），首次打开选择模型（建议先试 4B 级别），下载完成后所有推理都在本地芯片上完成，数据不出设备。
为什么值得关注： 它是谷歌官方的端侧技术展示窗口——谷歌在端侧押注的 Gemma 3n 系列（2025年I/O上发布，专为内存受限设备设计的多模态小模型）会第一时间在这里落地。想预研“手机厂商之外”的端侧方案，跟着这个仓库走最省力。
国内对比： 国内的端侧推理框架里，阿里开源的 MNN 是最硬核的一个，配套的 MNN Chat App 也能离线跑模型，对国产模型（Qwen、DeepSeek 小杯）的支持反而更好。但 MNN 偏底层、面向引擎开发者；AI Edge Gallery 胜在“谷歌全家桶的官方通路”，如果你要做的是海外市场产品，它是更对口的参考系。
适用人群： 出海App开发者、想在安卓产品里嵌离线AI功能的工程师、想低成本体验端侧多模态的产品经理。
仓库： https://github.com/a-ghorbani/pocketpal-ai
如果说 AI Edge Gallery 是谷歌的“官方样板间”，PocketPal AI 就是社区里的“全能选手”：开源、免费、iOS 和安卓双端支持，基于 llama.cpp 引擎，能跑市面上几乎所有 GGUF 格式的量化模型——包括 Qwen、Gemma、Phi、Llama 各家的小模型。
核心玩法：
为什么值得关注： 三个理由——
国内对比： 国内应用商店里同类型产品极少，大部分“AI助手App”本质上还是云端API套壳。想在iPhone上真正离线跑模型，海外开源这条路几乎是唯一解。唯一要习惯的是：模型要自己下（动辄1-2GB），第一次用建议连Wi-Fi。
适用人群： iPhone用户（这是它对 AI Edge Gallery 的最大优势）、需要在无网环境用AI的一线岗位、想参考端侧应用架构的独立开发者。
仓库： https://github.com/mlc-ai/web-llm
前两件工具解决“手机上跑”，这件工具更狠：让模型直接跑在用户的浏览器里。WebLLM 出自 MLC 社区（卡内基梅隆大学陈天奇团队主导的机器学习编译生态），核心技术是 WebGPU——浏览器原生的GPU计算接口。模型权重以网页缓存的形式存储，用户打开网页、加载一次，之后推理全部发生在他自己的设备上。
三个杀手级特性：
webllm 的接口，写法和调 OpenAI SDK 几乎一样，你的前端代码几乎不用改思维模型官方的 WebLLM Chat 演示页可以直接体验：选个模型，全程不经过任何服务器完成对话。
为什么值得关注： 它开启了一类全新的产品形态——“无后端AI功能”。想象一下：你的网页工具箱、你的浏览器插件、你的静态博客，都能塞进一个AI功能，而代价仅仅是首次加载时多下几百MB到2GB的模型缓存。海外已经有人拿它做离线写作助手、本地代码解释器；国内用这套玩法的还寥寥无几。
限制也要说清楚： WebGPU 目前在 Chrome/Edge 上支持最成熟，Safari 跟进较晚；模型缓存吃浏览器存储空间；首次加载等待时间需要产品化的 loading 设计。适合轻量任务（改写、摘要、分类），别指望在网页里跑重活。
国内对比： 国内前端圈对 WebGPU 的讨论集中在图形渲染，把它用于LLM推理的实践非常少。这意味着：如果国内开发者先把“浏览器端侧AI工具箱”这类产品做出来，是有窗口期优势的——技术全部开源现成，差的只是意识。
适用人群： 前端工程师、浏览器插件开发者、做静态站点/工具站的独立开发者、对企业内网数据敏感的B端产品团队。
flowchart TD
A["想给产品或自己加端侧AI"] --> B{"跑在什么设备"}
B -->|安卓手机| C["AI Edge Gallery"]
B -->|iPhone或双端| D["PocketPal AI"]
B -->|网页和插件| E["WebLLM"]
C --> F["下载Gemma系模型"]
D --> G["下载GGUF量化模型"]
E --> H["权重缓存进浏览器"]
F --> I["离线可用"]
G --> I
H --> I
I --> J["零API费 零月费"]
选型口诀：个人体验优先 iPhone 选 PocketPal，安卓尝鲜选官方 Gallery，做产品给用户用选 WebLLM。 模型选择上，先从 1B-4B 档位试起，任务复杂度不够再加尺寸；中文任务 Qwen 小模型目前是开源里最能打的。
| 维度 | 你以为的 | 海外玩家已经在做的 |
|---|---|---|
| 跑模型的设备 | 云端GPU或高配电脑 | 8GB内存的手机、普通笔记本的浏览器 |
| 成本 | 每月20刀订阅或按token付费 | 模型开放权重免费下，推理电费都算不上 |
| 隐私方案 | 承诺“数据加密” | 数据物理上不出设备，没法泄 |
| 端侧模型来源 | 手机厂商内置，开发者无缘 | Hugging Face 上一堆开放权重，Qwen/Gemma随便下 |
| 产品形态 | API套壳App | 无后端AI网页、离线优先应用 |
注：文中各工具的具体版本与功能细节以官方仓库最新说明为准；模型体积与运行速度因机型和量化档位而异。
本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生（微信ID: gprshome201101）维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。
[!tip] 51学通信知识星球 星主：爱卫生（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 星球定位：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 当前规模：5200 篇主题 / 990 个回答，198 元/年。 加入福利：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 AI 加持：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。