# 把大模型塞进手机和浏览器：海外端侧AI三件套，零月费零API **导语：** 提到跑大模型，多数人脑子里只有两条路：花大价钱订阅ChatGPT会员，或者自己租GPU开API。但海外开发者圈正在悄悄卷第三条路——**端侧AI**：把几十亿参数的小模型直接塞进手机和浏览器里跑，不联网、不要API key、不按token计费，模型权重还是开放下载的。这条路线的工具链在海外已经成型，但中文圈几乎没有像样的拆解。今天这篇文章，我把三件最实用的端侧工具一次讲透：谷歌官方的 AI Edge Gallery、开源跨端的 PocketPal AI、以及能让你的网页自己“长出大脑”的 WebLLM。看完你至少能省下一笔API账单，还能解锁一批“无网也智能”的新玩法。 --- ## 先说清楚：为什么端侧AI突然能打了 两年前在手机上跑大模型还是极客玩具：跑一个7B模型要旗舰机，速度慢得像PPT。但现在三件事同时发生了： 1. **小模型变聪明了。** Google 的 Gemma 系列、阿里通义千问的 Qwen3 小尺寸版本（0.6B/1.7B/4B，Apache 2.0 开放权重）这些模型，能力已经追上两年前的中型模型。写摘要、改文案、做分类、抽实体这些任务，4B级别的小模型完全够用。 2. **量化技术成熟了。** 4B模型做Q4量化后体积只有2GB出头，一台8GB内存的普通手机就能装下，速度视机型而定，日常对话场景完全可用。 3. **推理框架把门槛打没了。** llama.cpp、MLC这些开源推理引擎，把“下载模型—量化—运行”全流程做成了点几下按钮的事。 海外开发者已经开始把端侧模型嵌进真实产品：飞机上能用、工厂里能用、健康日记这类隐私数据不用出设备。而国内现状是——端侧AI基本被手机厂商锁在自家助手里（小米、荣耀、vivo的内置大模型，你用得了但嵌不进自己的App），开发者自己想做端侧，资料少、路子野。这就是信息差所在。 --- ## 工具一：AI Edge Gallery——谷歌官方发的端侧试验场 **官网/仓库：** https://github.com/google-ai-edge/gallery 这是谷歌AI Edge团队2025年放出的开源项目，Apache 2.0协议，**完全免费**。它的定位很直白：给你一个官方壳子，把 Gemma 系列模型直接跑在手机上。 **核心功能：** - **AI Chat**：下载 Gemma 模型后直接离线对话，断网照聊不误 - **Prompt Lab**：内置提示词实验台，可以调系统提示词、温度等参数，把小模型调教成摘要器、改写器这类专用工具 - **模型走 Hugging Face**：应用内直接浏览下载 HF 上的开放权重模型，不用自己折腾格式 **怎么上手：** 安卓端从 GitHub 仓库下载 APK 安装（国内应用商店没有，这是第一道信息差），首次打开选择模型（建议先试 4B 级别），下载完成后所有推理都在本地芯片上完成，数据不出设备。 **为什么值得关注：** 它是谷歌官方的端侧技术展示窗口——谷歌在端侧押注的 Gemma 3n 系列（2025年I/O上发布，专为内存受限设备设计的多模态小模型）会第一时间在这里落地。想预研“手机厂商之外”的端侧方案，跟着这个仓库走最省力。 **国内对比：** 国内的端侧推理框架里，阿里开源的 MNN 是最硬核的一个，配套的 MNN Chat App 也能离线跑模型，对国产模型（Qwen、DeepSeek 小杯）的支持反而更好。但 MNN 偏底层、面向引擎开发者；AI Edge Gallery 胜在“谷歌全家桶的官方通路”，如果你要做的是海外市场产品，它是更对口的参考系。 **适用人群：** 出海App开发者、想在安卓产品里嵌离线AI功能的工程师、想低成本体验端侧多模态的产品经理。 --- ## 工具二：PocketPal AI——iOS和安卓通吃的开源口袋助手 **仓库：** https://github.com/a-ghorbani/pocketpal-ai 如果说 AI Edge Gallery 是谷歌的“官方样板间”，PocketPal AI 就是社区里的“全能选手”：开源、免费、iOS 和安卓双端支持，基于 llama.cpp 引擎，能跑市面上几乎所有 GGUF 格式的量化模型——包括 Qwen、Gemma、Phi、Llama 各家的小模型。 **核心玩法：** 1. 应用商店直接装（iOS 有 App Store 版），零门槛 2. 应用内浏览 Hugging Face 上的模型库，按参数量、量化等级筛选下载 3. 下载完即用，还能在设置里调上下文长度、GPU offload 层数，把老机器榨出剩余性能 **为什么值得关注：** 三个理由—— - **它解决了“模型自由”**：不用注册任何账号，不用管什么免费额度，模型下到手机里就是你的，想跑多少轮跑多少轮 - **它是最接近“正式产品形态”的开源端侧应用**：界面、模型管理、会话记录都是成品级的，想做端侧App的人可以直接读它的源码抄作业（MIT协议） - **离线场景刚需**：差旅飞机上、仓库地下室里、以及在意的用户面前（“数据不出手机”是能写进产品卖点的） **国内对比：** 国内应用商店里同类型产品极少，大部分“AI助手App”本质上还是云端API套壳。想在iPhone上真正离线跑模型，海外开源这条路几乎是唯一解。唯一要习惯的是：模型要自己下（动辄1-2GB），第一次用建议连Wi-Fi。 **适用人群：** iPhone用户（这是它对 AI Edge Gallery 的最大优势）、需要在无网环境用AI的一线岗位、想参考端侧应用架构的独立开发者。 --- ## 工具三：WebLLM——把推理引擎嵌进浏览器里 **仓库：** https://github.com/mlc-ai/web-llm 前两件工具解决“手机上跑”，这件工具更狠：**让模型直接跑在用户的浏览器里**。WebLLM 出自 MLC 社区（卡内基梅隆大学陈天奇团队主导的机器学习编译生态），核心技术是 WebGPU——浏览器原生的GPU计算接口。模型权重以网页缓存的形式存储，用户打开网页、加载一次，之后推理全部发生在他自己的设备上。 **三个杀手级特性：** 1. **OpenAI 兼容 API**：在浏览器里调用 `webllm` 的接口，写法和调 OpenAI SDK 几乎一样，你的前端代码几乎不用改思维模型 2. **零推理成本**：用户访问一万个次，你的服务器开支是零——GPU 在用户自己电脑上 3. **隐私即卖点**：数据根本不上传，这对企业内网工具、医疗教育类应用是硬需求 官方的 WebLLM Chat 演示页可以直接体验：选个模型，全程不经过任何服务器完成对话。 **为什么值得关注：** 它开启了一类全新的产品形态——“**无后端AI功能**”。想象一下：你的网页工具箱、你的浏览器插件、你的静态博客，都能塞进一个AI功能，而代价仅仅是首次加载时多下几百MB到2GB的模型缓存。海外已经有人拿它做离线写作助手、本地代码解释器；国内用这套玩法的还寥寥无几。 **限制也要说清楚：** WebGPU 目前在 Chrome/Edge 上支持最成熟，Safari 跟进较晚；模型缓存吃浏览器存储空间；首次加载等待时间需要产品化的 loading 设计。适合轻量任务（改写、摘要、分类），别指望在网页里跑重活。 **国内对比：** 国内前端圈对 WebGPU 的讨论集中在图形渲染，把它用于LLM推理的实践非常少。这意味着：如果国内开发者先把“浏览器端侧AI工具箱”这类产品做出来，是有窗口期优势的——技术全部开源现成，差的只是意识。 **适用人群：** 前端工程师、浏览器插件开发者、做静态站点/工具站的独立开发者、对企业内网数据敏感的B端产品团队。 --- ## 三件套怎么选：一张图看懂 ```mermaid flowchart TD A["想给产品或自己加端侧AI"] --> B{"跑在什么设备"} B -->|安卓手机| C["AI Edge Gallery"] B -->|iPhone或双端| D["PocketPal AI"] B -->|网页和插件| E["WebLLM"] C --> F["下载Gemma系模型"] D --> G["下载GGUF量化模型"] E --> H["权重缓存进浏览器"] F --> I["离线可用"] G --> I H --> I I --> J["零API费 零月费"] ``` 选型口诀：**个人体验优先 iPhone 选 PocketPal，安卓尝鲜选官方 Gallery，做产品给用户用选 WebLLM。** 模型选择上，先从 1B-4B 档位试起，任务复杂度不够再加尺寸；中文任务 Qwen 小模型目前是开源里最能打的。 --- ## 信息差总结 | 维度 | 你以为的 | 海外玩家已经在做的 | |------|---------|------------------| | 跑模型的设备 | 云端GPU或高配电脑 | 8GB内存的手机、普通笔记本的浏览器 | | 成本 | 每月20刀订阅或按token付费 | 模型开放权重免费下，推理电费都算不上 | | 隐私方案 | 承诺“数据加密” | 数据物理上不出设备，没法泄 | | 端侧模型来源 | 手机厂商内置，开发者无缘 | Hugging Face 上一堆开放权重，Qwen/Gemma随便下 | | 产品形态 | API套壳App | 无后端AI网页、离线优先应用 | --- ## 行动指南 1. **今晚就能做**：iPhone 装 PocketPal AI，安卓下载 AI Edge Gallery 的 APK，各下一个 4B 级模型（Qwen 4B 或 Gemma 4B），断网试一轮，亲身体会端侧速度 2. **周末项目**：fork WebLLM 仓库跑通官方示例，把 OpenAI 兼容接口接到你现有项目的对话框里，体验“零后端AI功能” 3. **产品化思考**：拿出你的一个现有功能（摘要？分类？改写？），评估能不能从云端API迁到端侧——算一笔账：月调用量 × 单价 vs 一次性模型下载，高频低复杂度场景几乎稳赚 4. **持续跟踪**：star 这三个仓库，端侧模型和框架的迭代速度很快，Gemma 和 Qwen 每发新小模型，这些工具第一天就能用上 --- ## 参考来源 1. Google AI Edge Gallery 官方仓库：https://github.com/google-ai-edge/gallery 2. PocketPal AI 官方仓库：https://github.com/a-ghorbani/pocketpal-ai 3. WebLLM 官方仓库：https://github.com/mlc-ai/web-llm 4. Google Gemma 系列开放模型（Hugging Face）：https://huggingface.co/google 5. 阿里 MNN 端侧推理引擎：https://github.com/alibaba/MNN > 注：文中各工具的具体版本与功能细节以官方仓库最新说明为准；模型体积与运行速度因机型和量化档位而异。 --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护。 > 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。