你可能也是这样：某天心血来潮装了 Ollama，敲下 `ollama run llama3`，玩了一把「本地跑大模型」的新鲜感，然后它就在你的硬盘角落里吃灰了。在很多人眼里，Ollama 就是个「模型下载器」——pull 下来、run 起来、对话两句、关掉。 但海外社区把 Ollama 玩成了另一副样子：它是本地 AI 工作流的「发动机」。16G 内存的老笔记本跑 671B 巨兽、给完全离线的模型插上网线、一行命令造出你自己的专属模型、把微调好的模型一键分发给全世界——这些全都是它本体就有的能力，不装任何插件。 据官方仓库和官方博客，以下八个暗格是免费开源的 Ollama（MIT 协议）里真实存在、但中文圈教程几乎不讲的功能。每一个都有具体操作，今晚就能试。 ## 暗格一：`ollama signin`，16G 笔记本跑 671B 这是过去一年 Ollama 最容易被忽略的大更新：官方推出了云端模型。操作只要两步： ```bash ollama signin # 浏览器登录 ollama.com 账号 ollama run gpt-oss:120b-cloud ``` 模型名带 `-cloud` 后缀的就是云端模型，据官方博客介绍，目录里有 `qwen3-coder:480b-cloud`、`deepseek-v3.1:671b-cloud` 这类本地根本跑不动的级别。推理发生在 Ollama 的数据中心，你的命令行体验和本地模型完全一样。 **预期效果**：内存 16G 的普通笔记本，可以流式跑万亿参数级模型；**适用场景**：出差带的轻薄本、只想偶尔用一次大模型的场合。计费模式官方调整过几轮，用前看一眼 ollama.com 的最新标价即可，新账号有免费额度可以先试。 ## 暗格二：`/v1` 兼容端点，一行配置接入全家桶 Ollama 自带 OpenAI 兼容 API，端点是 `http://localhost:11434/v1`。这意味着：几乎所有支持「自定义 OpenAI base_url」的工具——你在用的各种 AI 客户端、IDE 插件、RAG 框架——把 base_url 改成这一行、API key 随便填个 `ollama`，就切到了本地模型，零改造。 ```bash curl http://localhost:11434/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{"model":"qwen3","messages":[{"role":"user","content":"你好"}]}' ``` **预期效果**：已付费工具直接换引擎，订阅费归零；**适用场景**：批量脱敏数据处理、不想把代码发给云端的场合。 ## 暗格三：Web Search API，给离线模型插上网线 据 Ollama 官方博客，官方还上线了 Web Search API——本地模型可以联网搜索了，而且这条「网线」可以给你自己写的任何程序用： ```bash curl https://ollama.com/api/web_search \ -H "Authorization: Bearer 你的KEY" \ -d '{"query":"qwen3 coder 最新评测"}' ``` KEY 在 ollama.com 账号设置的 API Keys 页面生成。配套还有 `/api/web_fetch`，能抓取指定网页的正文。**预期效果**：让纯本地、零外发数据的模型具备时效性信息检索能力；**适用场景**：做本地知识库+联网兜底的个人助手，这是中文圈教程里几乎没人提的新零件。 ## 暗格四：结构化输出，彻底告别「手修 JSON」 以前让本地模型吐 JSON，十次里有三次少个括号。据官方博客「Structured outputs」，现在 API 的 `format` 字段可以直接传 JSON Schema，模型被约束在 schema 里生成，物理上不可能输出不合规格式： ```bash curl http://localhost:11434/api/chat -d '{ "model": "llama3.2", "messages": [{"role": "user", "content": "小王，28岁，北京人，返回JSON"}], "format": { "type": "object", "properties": { "name": {"type": "string"}, "age": {"type": "number"} }, "required": ["name", "age"] }, "stream": false }' ``` **预期效果**：提取、分类、打标类任务直接进数据库，不用再写修 JSON 的胶水代码；**适用场景**：所有把 LLM 当「数据管道」用的自动化脚本。 ## 暗格五：Modelfile，一条命令造专属模型 这就是 Ollama 界的 Dockerfile。把你常用的系统提示词、参数固化成一个模型： ``` FROM qwen3 SYSTEM "你是公司内部IT客服，只回答打印机、VPN、报销系统相关问题，其他一律拒答" PARAMETER num_ctx 32768 PARAMETER temperature 0.3 ``` ```bash ollama create it-bot -f Modelfile ollama run it-bot ``` 反方向也行：`ollama show qwen3 --modelfile` 可以把任意模型的完整配方导出来改；交互界面里调好参数后敲 `/save it-bot` 直接存档。**预期效果**：不用微调、不用写代码，30 秒做出一个「人设永不漂移」的专属模型；**适用场景**：固定角色的客服、审校、代码审查员。 ## 暗格六：显存翻倍三开关，老显卡再战三年 这三个环境变量是官方 FAQ 里写明的正路，组合起来常常能决定「跑得动 32B」还是「只能跑 14B」： ```bash OLLAMA_FLASH_ATTENTION=1 # 开 Flash Attention，降显存提速 OLLAMA_KV_CACHE_TYPE=q8_0 # KV cache 量化，显存占用近乎减半 OLLAMA_KEEP_ALIVE=-1 ollama serve # 模型常驻内存，不再5分钟后卸载 ``` KV cache 量化到 `q8_0` 时几乎无感损失，激进一点用 `q4_0`。`keep_alive` 默认只有 5 分钟，设成 `-1` 模型常驻，再次调用秒回。配合 `ollama ps` 可以查看模型到底分在 GPU 还是 CPU 上跑。**预期效果**：同卡跑更大模型、长对话不再每次等冷启动；**适用场景**：8G-12G 显存的消费级显卡，这是国内装机党最该抄的一页。 ## 暗格七：`OLLAMA_MODELS`，C 盘救星 Windows 上 Ollama 默认把模型全塞在 C 盘用户目录，几个模型下来硬盘飘红。官方解法是一个环境变量： ```bash # Windows (PowerShell) setx OLLAMA_MODELS "D:\ollama\models" # macOS / Linux export OLLAMA_MODELS=/data/ollama/models ``` 重启 Ollama 后重新 pull，模型就落到新位置。**预期效果**：C 盘瘦身、多机共享一块模型盘；**适用场景**：所有 Windows 用户，装完第一天就该做的事。 ## 暗格八：`ollama push`，把你的模型发出去 在暗格五造好的模型，三条命令就能发布到 ollama.com 供任何人拉取： ```bash ollama cp it-bot 你的用户名/it-bot ollama push 你的用户名/it-bot # 别人一行即可使用：ollama run 你的用户名/it-bot ``` **预期效果**：把「人设+参数+基座模型」打包成一个可分发的制品，团队内统一配置，或者作为开源项目附赠物发布；**适用场景**：小团队工具链标准化、出海开发者给项目做「附带模型」。想看别人怎么玩，去 ollama.com 的模型库搜 `agent`、`coder`，大量社区配方可直接 `run`。 ## 八个暗格的全景地图 ```mermaid flowchart TD A["装好 Ollama 之后"] --> B["跑得动组"] A --> C["接得上组"] A --> D["玩得开组"] B --> B1["signin 上云"] B1 --> B2["小本跑 671B"] B --> B3["Flash Attention 加速"] B3 --> B4["KV cache 量化"] B --> B5["MODELS 搬出 C 盘"] C --> C1["/v1 端点接全家桶"] C --> C2["Web Search 插网线"] C --> C3["Schema 锁死输出"] D --> D1["Modelfile 造模型"] D --> D2["num_ctx 撑上下文"] D --> D3["push 发布分发"] ``` ## 信息差总结 | 你以为的 Ollama | 实际的 Ollama | |---|---| | 模型下载器，pull 完就吃灰 | 本地 AI 引擎：能上云、能联网、能造模型、能分发 | | 本地只能跑小模型，没意义 | `signin` 之后 16G 笔记本能跑 671B 云端巨兽 | | 输出 JSON 靠运气，得手修 | `format` 传 Schema，格式物理合规 | | 显存不够就得换卡 | KV cache 量化 + Flash Attention，同卡上一档 | | C 盘爆了只能重装 | `OLLAMA_MODELS` 一个环境变量搬家 | | 自用工具，没有生态 | `push` 一键发布，模型即制品 | ## 行动指南 1. **今晚 10 分钟**：`setx OLLAMA_MODELS` 搬家（Windows 用户），然后 `ollama signin`，在轻薄本上跑一次 `gpt-oss:120b-cloud` 感受一下量级差。 2. **本周**：把你最常用的那套系统提示词写成 Modelfile，`ollama create` 一个专属模型，配合 `OLLAMA_KV_CACHE_TYPE=q8_0` 常驻显存。 3. **本月**：写脚本时全部走 `localhost:11434/v1` + JSON Schema 结构化输出，需要时效信息时调 Web Search API——从此你的本地工作流既省钱又不外发数据。 ## 参考来源 - [Ollama 官方仓库与主文档（含 FAQ 环境变量全表）](https://github.com/ollama/ollama) - [Modelfile 官方文档](https://github.com/ollama/ollama/blob/main/docs/modelfile.md) - [Ollama FAQ：显存、keep_alive、OLLAMA_MODELS 等官方说明](https://github.com/ollama/ollama/blob/main/docs/faq.md) - [官方博客：Structured outputs 结构化输出](https://ollama.com/blog/structured-outputs) - [官方博客：Web Search API](https://ollama.com/blog/web-search) --- > 本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵**爱卫生**（微信ID: gprshome201101）维护。 > 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。 > [!tip] 51学通信知识星球 > **星主：爱卫生**（微信：gprshome201101）——公众号「51学通信」创办者，19 年通信行业运维与讲师经验，著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书（各大电商平台有售）。 > **星球定位**：深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域，主打运维岗位与信令分析。 > **当前规模**：5200 篇主题 / 990 个回答，198 元/年。 > **加入福利**：加入星球后请加爱卫生微信，拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题，另有群内分享。 > **AI 加持**：51学通信知识星球已作为 skill 接入 WorkBuddy，使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例，做总结、找文档和 PPT 等场景全覆盖。