你可能也是这样:某天心血来潮装了 Ollama,敲下 ollama run llama3,玩了一把「本地跑大模型」的新鲜感,然后它就在你的硬盘角落里吃灰了。在很多人眼里,Ollama 就是个「模型下载器」——pull 下来、run 起来、对话两句、关掉。
但海外社区把 Ollama 玩成了另一副样子:它是本地 AI 工作流的「发动机」。16G 内存的老笔记本跑 671B 巨兽、给完全离线的模型插上网线、一行命令造出你自己的专属模型、把微调好的模型一键分发给全世界——这些全都是它本体就有的能力,不装任何插件。
据官方仓库和官方博客,以下八个暗格是免费开源的 Ollama(MIT 协议)里真实存在、但中文圈教程几乎不讲的功能。每一个都有具体操作,今晚就能试。
ollama signin,16G 笔记本跑 671B这是过去一年 Ollama 最容易被忽略的大更新:官方推出了云端模型。操作只要两步:
ollama signin # 浏览器登录 ollama.com 账号
ollama run gpt-oss:120b-cloud
模型名带 -cloud 后缀的就是云端模型,据官方博客介绍,目录里有 qwen3-coder:480b-cloud、deepseek-v3.1:671b-cloud 这类本地根本跑不动的级别。推理发生在 Ollama 的数据中心,你的命令行体验和本地模型完全一样。
预期效果:内存 16G 的普通笔记本,可以流式跑万亿参数级模型;适用场景:出差带的轻薄本、只想偶尔用一次大模型的场合。计费模式官方调整过几轮,用前看一眼 ollama.com 的最新标价即可,新账号有免费额度可以先试。
/v1 兼容端点,一行配置接入全家桶Ollama 自带 OpenAI 兼容 API,端点是 http://localhost:11434/v1。这意味着:几乎所有支持「自定义 OpenAI base_url」的工具——你在用的各种 AI 客户端、IDE 插件、RAG 框架——把 base_url 改成这一行、API key 随便填个 ollama,就切到了本地模型,零改造。
curl http://localhost:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"qwen3","messages":[{"role":"user","content":"你好"}]}'
预期效果:已付费工具直接换引擎,订阅费归零;适用场景:批量脱敏数据处理、不想把代码发给云端的场合。
据 Ollama 官方博客,官方还上线了 Web Search API——本地模型可以联网搜索了,而且这条「网线」可以给你自己写的任何程序用:
curl https://ollama.com/api/web_search \
-H "Authorization: Bearer 你的KEY" \
-d '{"query":"qwen3 coder 最新评测"}'
KEY 在 ollama.com 账号设置的 API Keys 页面生成。配套还有 /api/web_fetch,能抓取指定网页的正文。预期效果:让纯本地、零外发数据的模型具备时效性信息检索能力;适用场景:做本地知识库+联网兜底的个人助手,这是中文圈教程里几乎没人提的新零件。
以前让本地模型吐 JSON,十次里有三次少个括号。据官方博客「Structured outputs」,现在 API 的 format 字段可以直接传 JSON Schema,模型被约束在 schema 里生成,物理上不可能输出不合规格式:
curl http://localhost:11434/api/chat -d '{
"model": "llama3.2",
"messages": [{"role": "user", "content": "小王,28岁,北京人,返回JSON"}],
"format": {
"type": "object",
"properties": {
"name": {"type": "string"},
"age": {"type": "number"}
},
"required": ["name", "age"]
},
"stream": false
}'
预期效果:提取、分类、打标类任务直接进数据库,不用再写修 JSON 的胶水代码;适用场景:所有把 LLM 当「数据管道」用的自动化脚本。
这就是 Ollama 界的 Dockerfile。把你常用的系统提示词、参数固化成一个模型:
FROM qwen3
SYSTEM "你是公司内部IT客服,只回答打印机、VPN、报销系统相关问题,其他一律拒答"
PARAMETER num_ctx 32768
PARAMETER temperature 0.3
ollama create it-bot -f Modelfile
ollama run it-bot
反方向也行:ollama show qwen3 --modelfile 可以把任意模型的完整配方导出来改;交互界面里调好参数后敲 /save it-bot 直接存档。预期效果:不用微调、不用写代码,30 秒做出一个「人设永不漂移」的专属模型;适用场景:固定角色的客服、审校、代码审查员。
这三个环境变量是官方 FAQ 里写明的正路,组合起来常常能决定「跑得动 32B」还是「只能跑 14B」:
OLLAMA_FLASH_ATTENTION=1 # 开 Flash Attention,降显存提速
OLLAMA_KV_CACHE_TYPE=q8_0 # KV cache 量化,显存占用近乎减半
OLLAMA_KEEP_ALIVE=-1 ollama serve # 模型常驻内存,不再5分钟后卸载
KV cache 量化到 q8_0 时几乎无感损失,激进一点用 q4_0。keep_alive 默认只有 5 分钟,设成 -1 模型常驻,再次调用秒回。配合 ollama ps 可以查看模型到底分在 GPU 还是 CPU 上跑。预期效果:同卡跑更大模型、长对话不再每次等冷启动;适用场景:8G-12G 显存的消费级显卡,这是国内装机党最该抄的一页。
OLLAMA_MODELS,C 盘救星Windows 上 Ollama 默认把模型全塞在 C 盘用户目录,几个模型下来硬盘飘红。官方解法是一个环境变量:
# Windows (PowerShell)
setx OLLAMA_MODELS "D:\ollama\models"
# macOS / Linux
export OLLAMA_MODELS=/data/ollama/models
重启 Ollama 后重新 pull,模型就落到新位置。预期效果:C 盘瘦身、多机共享一块模型盘;适用场景:所有 Windows 用户,装完第一天就该做的事。
ollama push,把你的模型发出去在暗格五造好的模型,三条命令就能发布到 ollama.com 供任何人拉取:
ollama cp it-bot 你的用户名/it-bot
ollama push 你的用户名/it-bot
# 别人一行即可使用:ollama run 你的用户名/it-bot
预期效果:把「人设+参数+基座模型」打包成一个可分发的制品,团队内统一配置,或者作为开源项目附赠物发布;适用场景:小团队工具链标准化、出海开发者给项目做「附带模型」。想看别人怎么玩,去 ollama.com 的模型库搜 agent、coder,大量社区配方可直接 run。
flowchart TD
A["装好 Ollama 之后"] --> B["跑得动组"]
A --> C["接得上组"]
A --> D["玩得开组"]
B --> B1["signin 上云"]
B1 --> B2["小本跑 671B"]
B --> B3["Flash Attention 加速"]
B3 --> B4["KV cache 量化"]
B --> B5["MODELS 搬出 C 盘"]
C --> C1["/v1 端点接全家桶"]
C --> C2["Web Search 插网线"]
C --> C3["Schema 锁死输出"]
D --> D1["Modelfile 造模型"]
D --> D2["num_ctx 撑上下文"]
D --> D3["push 发布分发"]
| 你以为的 Ollama | 实际的 Ollama |
|---|---|
| 模型下载器,pull 完就吃灰 | 本地 AI 引擎:能上云、能联网、能造模型、能分发 |
| 本地只能跑小模型,没意义 | signin 之后 16G 笔记本能跑 671B 云端巨兽 |
| 输出 JSON 靠运气,得手修 | format 传 Schema,格式物理合规 |
| 显存不够就得换卡 | KV cache 量化 + Flash Attention,同卡上一档 |
| C 盘爆了只能重装 | OLLAMA_MODELS 一个环境变量搬家 |
| 自用工具,没有生态 | push 一键发布,模型即制品 |
setx OLLAMA_MODELS 搬家(Windows 用户),然后 ollama signin,在轻薄本上跑一次 gpt-oss:120b-cloud 感受一下量级差。ollama create 一个专属模型,配合 OLLAMA_KV_CACHE_TYPE=q8_0 常驻显存。localhost:11434/v1 + JSON Schema 结构化输出,需要时效信息时调 Web Search API——从此你的本地工作流既省钱又不外发数据。本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护。 聚焦5G/6G核心网、3GPP标准、AI工具实战。知识星球「51学通信」提供深度技术答疑和行业洞察。
[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。
